卡内基梅隆大学的 76 名本科生看到校园广告,报名参加了一项有报酬的研究。任务是:见另一名同学,聊 20 分钟,然后预测他某个学期的平均绩点(GPA)。
开始前,每人拿到对方的年龄、专业、年级和那个学期的课表。聊到第 10 分钟可以歇一会儿,琢磨还要问什么。屋里始终有一位研究人员,负责计时。
有一部分人被定了规矩:只能问「是不是」或者「这个还是那个」的问题,对面的同学如实回答。另一部分人规矩相同,但歇过之后,对面的同学就悄悄不说真话了。每听到一个问题,他就看最后两个词的首字母:两个都落在 A 到 M,或者都落在 N 到 Z,就答「是」,或者选前一个;一前一后,就答「不是」。
当面试对象的学生起初担心会露馅。结果没有。研究者写道,随机作答的面试,进行起来和其他几组「差不多」。2017 年,达纳在《纽约时报》的文章里说,没有一个面试者报告自己察觉到了。
面试结束,研究者递上手头最有力的线索:这位同学在那个学期之前的累计绩点,并告诉面试者,在这所学校,单看以往绩点就是预测成绩最好的统计模型。然后面试者写下预测,再对几句话打分。
其中一句是:「就我们相处的这点时间而言,我能推断出这个人的很多情况。」满分 4 分,听了随机答案的人平均打 2.85 分,听了如实回答的人打 2.72 分,可以随便提问的第三组打 2.80 分。几组之间没有显著差别。
接着拿预测去对真实成绩。面试之后的预测,和学生实际拿到的绩点相关系数是 0.31。单看以往绩点,也就是每个面试者手里都有的那个数,相关系数是 0.65。其中 68 人还给另一位从没见过的同学预测过成绩,只凭背景资料和以往绩点,相关系数是 0.61。
研究者没有发现随机组的预测比另外两组更差。三组面试里,只有听了随机回答的那组,预测和真实成绩的相关在统计上显著(0.42,另两组是 0.20 和 0.29),不过三组之间的差别并不显著。
有了面试,他们反而比没面试时预测得差,更远不如手里那个现成的数字。作者点了两个原因。一是「稀释」:一大堆没什么用的线索,分走了那条好线索的分量。二是「找意义」:面试者几乎能把听到的任何话,编成一个说得通的故事。
这个实验的范围很窄:学生预测学生的成绩,第一项研究里一共只有七个学期绩点要猜。作者也说,成绩可能比工作表现好预测。第二项研究让学生看面试录像,不亲自面,结果面试没有帮上忙,但这一回也没发现它帮倒忙。研究者告诉这些观看者,录像里有一半是随机作答的;32 段随机录像里,仍有 19 段被他们判成了真话。
第三项研究找来另外 169 名卡内基梅隆的学生,先把实验怎么做的讲给他们听,再请他们排序:要做这种预测,你最想要哪一种,如实的面试、随便聊的面试、随机作答的面试,还是干脆不面试。其中 96 人,也就是 57%,把随机作答的面试排在了不面试前面。