影响力评估|影响力评估的十大误区

影响力评估(影响力评估的十大误区)
贾西津 , 清华大学公共管理学院副教授 , 清华大学公益慈善研究院副院长:
影响力评估是“结果说话”和“数据说话”两个维度的交点 。“结果说话”意味着可能会忽略什么呢?可能会忽略要解决的问题 , 还没有执行好过程就忙于显示绩效 。“数据说话”意味着可能会忽略什么呢?可能会忽略假设、理论、测试、思考 , 或者用更简单的方法收集信息 。
这正是本文作者列出的4类10种不适合评估影响力的情境 , 即:无的放矢、未做就评、力不从心、无用之举 。作者对每种情境提出的替代方案则是回到被忽略的那一面 。如果说“建立适宜的数据体系”是作者想提出的实操原则 , 那其背后的问题更值得相关者关注:工具是好的 , 数据是好的 , 但不要忘记百思特网时时反省 , 回到目的 。
影响力评估|影响力评估的十大误区



好的影响力评估能对相关政策问题提供严谨的答案 , 促进相关领域知识、政策和实践的发展 。但仍有大量资金和时间被浪费在了设计不良、执行不力、构思不佳的影响力评估项目上 。
影响力评估的泛滥不仅会引发劣质研究和资金浪费 , 还会分散和抢夺数据收集所需要的资源 , 而正确的数据收集方式可以帮助组织提高项目绩效 。
为了建立一个适合的证据体系 , 我们要考虑的不仅是何时去衡量影响力 , 更重要的是知道何时不要去衡量影响力 。


01、影响力评估不是当务之急
既然影响力评估如此重要 , 那么我们为何还要倡导对其使用加以限制?影响力评估迅速升温的背后是收集和分析数据成本的急剧下降 。以往非营利组织可能觉得收集数据太过耗时、耗钱 , 而如今收集、储存和分析数据的费用已经大幅降低 。
衡量项目成果变得容易了 , 公共和社会部门也对问责有了更多的要求 。盖茨基金会等资助机构都要求被资助的组织能够提供影响力的证据 。社会影响力债券和按成果付费等做法通过将资金与被证实的成果绑定 , 来资助有效的行动 。
虽然影响力评估的潮流目前多半是积极的 , 但是 , 对彰显影响力的强行要求也造成了资源的浪费 , 使得项目监测向影响力评估妥协 , 还助长了劣质甚至是误导性的影响力体现方式 。例如 , 许多组织收集的数据都超出了它们手头的资源能够分析的范围 , 导致时间和人力的浪费 。糟糕的影响力评估还可能带来误导性的甚至全然错误的结果 , 从而引发未来决策的偏差 。
这些浪费许多是源自对“影响力”这个词的滥用 。影响力不仅仅是个流行语 , 也体现了某种因果关系 。它告诉我们 , 一个项目或组织如何改变了周遭的世界 。也就是说 , 影响力评估必须包括对这一项目不存在的情境进行的评估 , 即评估者们所说的“反向事实” 。在条件允许的情况下 , 创建一个反向事实的最直接方式就是随机对照试验 。
在以下的篇幅中 , 我们将列出10个不适合评估影响力的情境 , 并在此基础上提出一个建立合体的监测与评估体系的框架 , 来帮助非营利组织找到问责、学习与改善等不同场合所需的数据 。


02、影响力评估的10个误区影响力评估的10个误区可以分为四个类型:无的放矢、未做就评、力不从心、无用之举 。在下文中 , 我们会对这10个误区做详细解说 , 同时为热衷于影响力评估的人们提供有关替代办法的建议 。
类型1
无的放矢:未找到合适的手段进行评估
1、手段与目标不匹配 。
在评估一个项目时 , 你可以思考以下这些问题:一个成功或失败的项目的服务对象背后的故事是怎样的?我们是否能够通过改进运作模式 , 来降低相同服务的成本?我们是否在服务目标人群?
这些通常都是主要的利益相关者希望知道的问题 。这些问题中的一部分可以通过数据来回答 , 而其余的则比较难以处理 。但关键在于 , 这些问题的答案并不是对影响力的衡量 。
替代办法:想要回答这些问题 , 数据的收集和分析就必须更加精确地聚焦所提出的问题 。对目标人群满意度的了解需要的是反馈数据 。改善项目执行的成本效益需要的是每一个场所、产品或服务的具体成本数据 。这些都是有待收集的重要的项目监测数据 , 但它们当中没有哪一个用得着影响力评估 。