参与者被告知,他们要扮演 MBA 招生官。每位申请人都是真实的,他们看到的是申请材料里常见的信息,比如 GMAT 成绩、面试和文书评分、工作经历,要预测这个人后来在项目里表现如何。表现按几项算:成绩、同学的评价、第一份工作单位的名气,以及毕业两年后的升职加薪。
另有一个统计模型,用同样的信息、根据几百名往届学生建成,也做同样的预测。
第一阶段,参与者要过 15 位申请人。按随机分到的组,他们看到的反馈不同:有的只看自己的预测对不对,有的只看模型的,有的两样都看,有的什么都不看。接着是真正要紧的决定:再做 10 次预测,每次和真实结果相差不超过 5 个百分位,就多拿 1 美元。他们得选,算钱时用谁的预测:自己的,还是模型的。
模型更准。沃顿商学院的伯克利·迪特沃斯特(Berkeley Dietvorst)、约瑟夫·西蒙斯(Joseph Simmons)和凯德·梅西(Cade Massey)2015 年发表的五项研究里,人预测 MBA 学生的误差比模型大 15% 到 29%;另一项任务是给美国各州的航空旅客人数排名,人的误差大 90% 到 97%。每项研究的每个组里,选模型都能多挣钱。
可看着模型干活,改变了人的选择。看过模型的预测和它出的错的人,比没看过的人更不愿押它。看着自己的预测落空,却没让人明显少押自己,尽管自己错得更多。
最能说明问题的,是两样都看的那组。几项研究合起来,这组 741 人里有 610 人在第一阶段亲眼看到模型赢了人类预测者,少数人看到的是人赢。他们仍然是最不愿选模型的人之一。第一项研究里,用 1 到 5 分打对模型的信心,什么预测反馈都没看的对照组平均 3.04,只看过模型预测的人平均 2.49。
研究者把这种倾向叫作「算法厌恶」。他们的解释是,看到同样的错误,人「对算法预测者失去信心,比对人类预测者快」。
三年后,同一个团队找到了一个办法,任务换成了预测学生的标准化数学测验成绩。其中一项研究里,能把模型的预测上下调 10、5 或 2 个百分位的几组人,合起来有 70% 选择用它;只能原样接受的那组,是 47%。允许调多少,几乎不影响这种偏好。而因为更多人用了模型,允许调整的几组整体误差更小,比不允许调整的那组更准。