1977 年发表的一项研究里,密歇根大学一批上心理学入门课的学生被领进一间摆着电视机的屋子,听到这样一个说法:系里在学期末收集过学生对任课老师的评价,现在想知道,光看一小段访谈录像,能不能猜出那些评价。
录像里的老师是比利时人,母语是法语,说英语带着相当明显的口音。他回答的都是些寻常问题:课上鼓不鼓励讨论,怎么给分。
一半学生看到的他很热情。他说自己喜欢课堂上你来我往的讨论,布置的论文学生们好像也挺喜欢。另一半学生看到的是同一个人,态度却冷冰冰的。他不怎么让学生讨论,因为「学生有学生的时候,教授有教授的时候」;他每周都搞小测验,因为不这样,「你没法指望他们会去读书」。
看完,每个学生都要回答:你会有多喜欢这位老师?再给他的三样东西打分,这三样按理跟喜不喜欢他毫无关系:长相、举止、口音。
两组人打分的,是同一个人的口音。
口音换了阵营
看热情版的学生,大多数觉得他长相讨喜;看冷淡版的,大多数觉得他长相让人烦。热情组里,大约一半人喜欢他的口音。冷淡组里,绝大多数人嫌这口音烦人。
做实验的尼斯贝特(Richard Nisbett)和威尔逊(Timothy Wilson)问其中一部分学生:你对这位老师的好恶,有没有影响你给这几样打的分?多数人说没有。事后再追问,多数人仍然咬定,有的还挺激动。一位女生说:「他还没开口,我就对他的长相下了判断,然后就一直这么认为。」
看了冷淡版的学生,被反过来问时走得更远。总的来说,他们认为影响是反方向的:是他的长相和口音,让自己没那么喜欢他。「受试者似乎把事情完完全全弄反了,」两位作者写道。先有的是好恶,是好恶给口音上了色;身在其中的人却认为,先有的是口音。
一个总体印象会染上每一项单独判断,你还未必察觉。
太高,也太齐
这个效应早就有名字了。1920 年,哥伦比亚大学的桑代克(Edward Thorndike)发表论文,分析军队里长官给下属军官打的分。官方表格要求分别给体格、智力、领导力和品格打分,还特意叮嘱:打哪一项,就「只考虑这一项,其他的一概不管」。
可人做不到。一位非常认真的飞行队长给 137 名航空学员打分,他给的智力分和体格分,相关系数达到 0.51。桑代克认为,现实中这两样不可能贴得这么紧。这些相关「太高,也太齐」,仿佛每一项特质都被「属于这个人整体的光环」照着。
桑代克只能从数字里看出光环。尼斯贝特和威尔逊说明了,身在其中的人,什么都感觉不到。就像戴了副有色眼镜,你看不见镜片的颜色,只看见一个发黄的世界,逐项去查,每一项都是黄的。而且用不着多强烈的感情。两位作者特意指出,他们实验里的好恶,远没有爱和恨那么极端。
年终考评表
设想你带七个人,年终考评表上每人六个格子,从业绩一直到文档。其中一位三月份救回了全年最大的一笔续约。你打开她的表,一路填下来全是 5 分。她的文档其实写得单薄,你心里有数,可三月那件事的热乎劲,盖过了一份没交接清楚的记录。下一个人这一年过得平稳安静,从上到下一溜 3 分。
六个格子,其实只做了一次判断,抄了六遍。她永远听不到交接记录的问题,他也永远不知道自己哪里做得好。
提醒自己「每一项单独打分」,桑代克那张表早就写过了,没拦住。换个填法也许更管用:一个格子一个格子地填,先给全组每个人填完「文档」这一项,再填下一项。这样给文档打分时,更不容易被三月那件事带着走。还有,先写证据,再写分数。底下一个例子都举不出来的分数,最可能是从别处借来的。
可以倒带的评委
如今 AI 也在给 AI 打分,从两个聊天机器人的回答里挑出好的那个。2023 年,一个以加州大学伯克利分校研究者为主的团队测了测这事靠不靠谱。有个例子:GPT-4 比较两段讲日本商务礼仪的回答,选了排在前面那段,理由是它「更详细、更有条理」。把两段顺序一对调,GPT-4 又选了另一段,理由还是「更详细」。在一批相似回答的比较里,它换位前后结论一致的只占 65%。篇幅也会让评委偏心:研究者把回答里的列表换个说法再抄一遍,什么新内容都没加,GPT-3.5 和 Claude-v1 在 23 次里有 21 次选了这个注水版,GPT-4 有 2 次。
有一部分是相通的。两种顺序下,评委都写出了流畅、具体的理由,理由里却从没提到真正让它偏过去的那样东西。那些学生也是这样。
起因就不一样了。这里没有谁热情、谁冷淡。作者猜测,这种偏向可能来自训练数据,也可能跟这类模型从左往右读文字的方式有关,没有下定论。还有一点不同:模型可以问两遍。没有哪个学生能把录像重看一遍,又不记得第一遍。研究者的办法,就是把顺序对调再问一次,只有同一个回答两次都赢,才算它赢。
学生只看了一遍。机器却可以把录像掉个头,再放一遍。