二十分钟，一个问题：这位同学这学期的平均绩点（GPA）会是多少？在卡内基梅隆大学，76 名本科生要靠面试一位同学来回答它，屋里有一位研究人员负责计时。
有些人只准问「是不是」或「这个还是那个」。其中一部分人不知道，第 10 分钟歇过之后，对面的同学就不说真话了。每个回答取决于问题最后两个词的首字母：落在字母表同一半，答「是」；一前一后，答「不是」。
面试照常进行，看不出什么异样。这项研究的第一作者达纳（Jason Dana）2017 年在一篇文章里写道，没有一个面试者报告自己察觉到了。事后问他们，同意不同意「我能推断出这个人的很多情况」，听了随机答案的人，同意的程度比听真话的人还略高一点：满分 4 分，2.85 对 2.72，差距小到不显著。
然后，研究者拿他们的预测去对真实成绩。
桌上那个数字
每位面试者在预测之前，还拿到一条线索：这位同学以往各学期的累计绩点，外加一句提示，在这所学校，单看这个数就是预测成绩最好的统计模型。
面试之后做的预测，和学生实际成绩的相关系数是 0.31。单看以往绩点，是 0.65。其中 68 人还给另一位从没见过的同学预测过成绩，只凭背景资料和以往绩点，相关系数是 0.61。在这项研究里，聊过一场，预测反而变差了。研究者也没有发现随机组的预测比另外两组更差：三组面试里，只有听了随机回答的那组，预测和真实成绩的相关在统计上显著，不过三组之间的差别并不显著。
觉得看透了一个人，不等于真看透了。
范围要说清楚。这是学生预测学生的成绩，第一项研究里一共只有七个学期绩点要猜；作者自己也说，成绩可能比工作表现好预测。他们的第二项研究让学生看面试录像，面试没帮上忙，但也没帮倒忙。放到招聘上，大范围的证据没这么狠，但也不客气。萨克特（Paul Sackett）等人 2022 年重新分析招聘研究，给非结构化面试的效度估计是 0.19，结构化面试是 0.42。弱，但不是零。
云里看出人脸
达纳和合作者道斯（Robyn Dawes）、彼得森（Nathanial Peterson）给了两个解释。一个叫「稀释」：一大堆没什么用的线索，会分走那条有用线索的分量。另一个叫「找意义」：面试者几乎能把听到的任何话编成一个说得通的故事，作者还推测，他们会一路追问，直到答案对得上自己的印象。
论文里讲了一件事。作者认识的一位女士去参加小组面试，提前五分钟到，马上被叫了进去，当场拿到录用。事后，一位面试官称赞她迟到了 25 分钟还能那么镇定。其实她被告知的时间错了半小时，根本不知道自己迟到。小组问的问题，没有一个检验过这个印象；作者指出，换成「满不在乎」甚至「傲慢」，一样解释得通她的镇定。
一场谈话就是一片云，而面试官特别擅长从云里看出人脸。有的脸来自某一个特点。1977 年的一项研究里，看到讲师冷淡作答的学生，大多嫌他口音烦人；看到他热情作答的，约有一半喜欢这口音；而多数人否认，好感影响了自己的判断。这就是光环效应。有的脸来自相似。社会学家里韦拉（Lauren Rivera）访谈了 120 位在顶级投行、律所和咨询公司负责招人的人，一半以上说，面试阶段他们看得最重的是「合不合得来」，排在分析能力和沟通能力之前。所谓合得来，往往指业余爱好和下班后的做派相近。一位银行家说，他得找一个「一起被困在机场」也自在的人。
Automattic 的穆伦韦格（Matt Mullenweg）也得出过类似的结论。据他说，团队曾被候选人的说话方式、甚至在餐馆里的举止左右，于是他把饭局换成了付费的真活试岗。
你桌上最有分量的那份材料
设想你开一家装修公司，要招一位工地经理。一位候选人带来前雇主的推荐信，写明他三年里交付的项目都按期完工。另一位的材料薄一些，可面试聊得特别顺：同乡，支持同一支球队，一个小时一晃就过去了。
风险不在于你会把推荐信扔在一边，而在于那一个小时悄悄分走了它的分量。达纳的面试者手里攥着最有力的线索，预测还是偏离了它。面试之前先按书面材料写下排序，事后只为说得出的具体理由去改它，那一个小时能做手脚的余地就小一些。
能重来一遍的候选人
靠跟一个新 AI 模型聊天来试它，也是一场非结构化面试。Anthropic 的工程师写道，团队做 AI 智能体，起初靠手动测试、自己天天用和直觉，能走得出奇地远。可一旦上线、规模起来，用户开始反映改版后「感觉变差了」，团队却像「蒙着眼飞」，分不清是真的退步，还是噪音。
这噪音有一部分就出在候选人自己身上。同一篇文章说，模型每次运行的输出都会有出入，这次通过的任务，下次可能就失败。所以聊上一下午，看到的有一部分是运气，而一个流畅的回答，又会引着你像达纳的面试者那样去编故事。
到这里，两件事分开了。模型可以把同一组测试重跑很多遍，再统计通过率。文章也说明了为什么要数：一个智能体单次成功率 75%，假设各次运行互相独立，连续三次都通过的概率只有大约 42%。
聊一下午，得到的是一个印象；跑一百遍，得到的是一个数。