参与者在扮演 MBA 招生官。每位申请人都是真实的,他们看到 GMAT 成绩、面试和文书评分、工作经历,要预测这个人后来表现如何。一个根据几百名往届学生建成的统计模型,也在做同样的预测。
其中一组人,连着 15 位申请人,每次都能看到自己的预测、模型的预测和真实结果。
接着,他们要做一个跟钱挂钩的选择。后面 10 次预测,每次够准就多拿 1 美元。算钱时用谁的预测,自己的还是模型的,由他们定。
原谅人,不原谅公式
两边都看过,并没有帮到模型。这项研究由沃顿商学院的伯克利·迪特沃斯特(Berkeley Dietvorst)、约瑟夫·西蒙斯(Joseph Simmons)和凯德·梅西(Cade Massey)2015 年发表,一共五个实验,其中还有给美国各州航空旅客人数排名的另一种任务,以及一项让人在模型和另一位参与者之间选的研究。合起来,同时看过模型和人两边结果的 741 人中,有 610 人看到模型赢过人类预测者。这组人仍是最不愿选模型的人之一。
平均而言,每项研究里模型都比人准,航空旅客那项更是准得多;每项研究里,选模型的平均奖金都更高。可看过模型的预测、也看过它失手的人,比完全没见过它干活的人更不愿押它。看到自己失手,错得还更多,却没有明显动摇他们对自己的信心。
作者把这叫作算法厌恶。他们写道,看到同样的错误,人「对算法预测者失去信心,比对人类预测者快」。
这和长期的研究记录正好相反,沃顿的几位作者对此有个概括。1954 年,心理学家保罗·米尔(Paul Meehl)梳理了 20 项预测研究,从学业表现到假释后是否违规,结论是公式胜过人的判断。2000 年一项涵盖 136 项研究的分析发现,算法平均比人类预测者准约 10%。
并非人人、并非时时
这种厌恶并不普遍。2018 年,詹妮弗·洛格(Jennifer Logg)、朱莉娅·明森(Julia Minson)和唐·摩尔(Don Moore)发现,普通人听说一条建议来自算法而非真人时,往往更愿意采纳,他们把这叫作「算法欣赏」。
可在两种工作中常见的情形下,它会减弱。一是人在算法的估计和自己的估计之间选,而不是和另一个人的估计之间选。二是人有专业经验:70 位常年预测国际局势的美国国家安全领域专业人士,和一批网上招募的参与者拿到同样的建议,专业人士更少依赖算法,「这损害了他们的准确度」。
这些发现出自不同的实验,这些实验没有检验它们的叠加效果。但每一条都指向一个值得留意的时刻:工具刚出了一次显眼的错之后,人在它的答案和自己的答案之间选的时候,以及做决定的人对这行很有经验的时候。
留一点控制权
第一篇论文发表三年后,沃顿团队试了一个办法,任务是预测学生的数学测验成绩。其中一项研究里,能把模型的预测上下调 10、5 或 2 个百分位的几组人,合起来有 70% 选择用它;只能原样接受的那组,是 47%。允许调多少,几乎没有影响。而因为更多人用了模型,允许调整的几组整体误差更小,比不允许调整的那组更准。那是有个数字可以微调的统计预测。开放式的 AI 输出是不是一样好调、人改了之后是不是更准,得另外测。
十二月那次失手
设想一位销售总监的团队用上了一个需求预测工具。十个月里,它都比计划员的表格准。到了十二月,它严重低估了节日高峰,仓库断货。一月份,计划员们又回到了自己的表格。没人把两者一整年的表现放在一起比,大家只记得十二月。
管用的习惯很简单。长期记分,在同一批案子上,工具和人各记各的,让一次刺眼的失手和整份记录放在一起称。允许人在设定的范围内调整工具的输出,原始数和调整后的数都留下,这样才知道谁的改动有帮助。工具真失手时,问一句:这次暴露的是真的盲区,比如某一类案子它从来处理不好,还是任何预测者,人也好机器也好,都会犯的普通误差。
如今和 AI 助手打交道,每天都在做同样的选择。信任校准那页讲的是反方向的失败:对工具的信任超过了它挣到的。算法厌恶是另一边:那 741 人里有 610 人看着模型赢了,他们那组却仍是最不愿押它的人之一。