首页 › 案例
沃顿商学院的研究者 · 2015 · AI 的故事

十五位申请人

预测 MBA 学生表现的人,可以押自己的判断,也可以押一个统计模型。看着模型犯了几次错之后,他们更不愿选它了,哪怕亲眼看到它比自己准。

◷ 约 2 分钟

参与者被告知,他们要扮演 MBA 招生官。每位申请人都是真实的,他们看到的是申请材料里常见的信息,比如 GMAT 成绩、面试和文书评分、工作经历,要预测这个人后来在项目里表现如何。表现按几项算:成绩、同学的评价、第一份工作单位的名气,以及毕业两年后的升职加薪。

另有一个统计模型,用同样的信息、根据几百名往届学生建成,也做同样的预测。

第一阶段,参与者要过 15 位申请人。按随机分到的组,他们看到的反馈不同:有的只看自己的预测对不对,有的只看模型的,有的两样都看,有的什么都不看。接着是真正要紧的决定:再做 10 次预测,每次和真实结果相差不超过 5 个百分位,就多拿 1 美元。他们得选,算钱时用谁的预测:自己的,还是模型的。

模型更准。沃顿商学院的伯克利·迪特沃斯特(Berkeley Dietvorst)、约瑟夫·西蒙斯(Joseph Simmons)和凯德·梅西(Cade Massey)2015 年发表的五项研究里,人预测 MBA 学生的误差比模型大 15% 到 29%;另一项任务是给美国各州的航空旅客人数排名,人的误差大 90% 到 97%。每项研究的每个组里,选模型都能多挣钱。

可看着模型干活,改变了人的选择。看过模型的预测和它出的错的人,比没看过的人更不愿押它。看着自己的预测落空,却没让人明显少押自己,尽管自己错得更多。

最能说明问题的,是两样都看的那组。几项研究合起来,这组 741 人里有 610 人在第一阶段亲眼看到模型赢了人类预测者,少数人看到的是人赢。他们仍然是最不愿选模型的人之一。第一项研究里,用 1 到 5 分打对模型的信心,什么预测反馈都没看的对照组平均 3.04,只看过模型预测的人平均 2.49。

研究者把这种倾向叫作「算法厌恶」。他们的解释是,看到同样的错误,人「对算法预测者失去信心,比对人类预测者快」。

三年后,同一个团队找到了一个办法,任务换成了预测学生的标准化数学测验成绩。其中一项研究里,能把模型的预测上下调 10、5 或 2 个百分位的几组人,合起来有 70% 选择用它;只能原样接受的那组,是 47%。允许调多少,几乎不影响这种偏好。而因为更多人用了模型,允许调整的几组整体误差更小,比不允许调整的那组更准。

这件事里藏着几个道理

算法厌恶看到模型出错,人就更不愿押它,尽管在每个组里,它的平均预测误差都比人小。看到自己出错,人押自己的意愿却没有明显下降。信任校准看过模型干活之后,人对它的信心下降了,而它平均一直比人准。信任跟着它的失误走,没有跟着它和人比的成绩走。

出处

  1. Berkeley J. Dietvorst, Joseph P. Simmons, Cade Massey, Algorithm Aversion, People Erroneously Avoid Algorithms After Seeing Them Err, Journal of Experimental Psychology, General 144(1), 2015
  2. Berkeley J. Dietvorst, Joseph P. Simmons, Cade Massey, Overcoming Algorithm Aversion, People Will Use Imperfect Algorithms If They Can (Even Slightly) Modify Them, Management Science 64(3), 2018