有一阵子,穆伦韦格(Matt Mullenweg)招人的办法和大多数公司没什么两样。来 Automattic(WordPress 背后的那家公司)应聘的人,可能要先见五位员工,然后大家一起出去吃顿午饭。据他说,团队当时觉得这已是最严格的筛选。
可招进来的人里,还是有一些干不下去。穆伦韦格后来想明白了:他们一直在给错的表现打分,看的是候选人怎么说话,甚至是他在餐馆里的举止。他在 2014 年写道,除非这份工作本身就是讨人喜欢,否则这点本事说明不了他能不能把活干好。
于是他定了一条听上去很费钱的规矩:进了最后一轮的人,都要先和将来的同事一起,替公司做三到八周的真实任务。应聘客服的,直接回复真实客户;应聘工程师的,写真实的代码。所有人一律按每小时 25 美元付钱,想当工程师的和想当财务总监的拿一样多。
听上去是常识,几十年来的研究也站在这一边。直到 2022 年,研究自己改了数字。
排行榜的榜首
1998 年,心理学家施密特(Frank Schmidt)和亨特(John Hunter)把 85 年来的研究汇总到一起,看各种招聘方法能在多大程度上预测一个人日后的工作表现。他们给 19 种方法排了座次,用的是一个叫「效度」的相关系数:0 表示这个方法对谁会干得好毫无预测力,1 表示能准确预测。
排第一的是工作样本测试,0.54。论文举的例子是让应聘者修一批坏掉的电动机,这类测试常用来招焊工、机械工和木工。一般智力测验和结构化面试并列,都是 0.51。随意聊天式的面试是 0.38。简历上最显眼的那一行,工作年限,只有 0.18。
2022 年,萨克特(Paul Sackett)和三位同事回头重查了这类数字背后的证据。他们认为,这些汇总研究里常用的一种统计校正用得太狠,把不少估计值抬高了。一部分因为这个,一部分因为有了更新的数据,他们算出的数字几乎全线下调:工作样本降到 0.33;结构化面试 0.42,成了第一;非结构化面试跌到 0.19;工作年限只剩 0.07。
工作样本丢了榜首,但仍在第一梯队。萨克特团队指出,排在前面的方法都是围绕某个具体岗位设计的,平均来看比测一般能力或性格的方法更准。
这次修订也有人不服。Oh、Le 和 Roth 三位研究者认为,那种校正要解决的问题,在一些研究里比萨克特团队估计的更要紧。萨克特团队回应说,那样的条件不太可能是常态,同时也承认,很多数字仍有相当大的不确定性。而且每个数字都是许多岗位、许多种测试的平均值,你自己的测试可能高出不少,也可能低出不少。
想知道他能不能干,就让他真干一小段看看。
迹象,还是样本
研究招聘的人把这叫作「迹象」和「样本」之分。智力测验、性格问卷找的是迹象,看一个人身上有没有将来能干好的苗头。工作样本跳过推测,直接从你要招的那种行为里抽一小段出来看。饭桌上的闲聊,抽到的主要是一个人怎么说话,也就是穆伦韦格后来最不信的那部分。
它也有边界。施密特和亨特指出,工作样本只适用于已经会干这行的人,而且比智力测验贵得多。Automattic 那种动辄几周的做法,其实介于短测试和论文里另列的一种方法之间:「试用」,也就是先低门槛招进来,观察几个月再决定去留,那一项的效度是 0.44。
两小时,一个月的旧账
设想你开了一家三个人的代账事务所,想再招一个。两位候选人面试都不错。一位在大所干了十年,讲起对账头头是道;另一位话少,在小所干了四年。
你不再安排第二轮面试,拿出一个老客户某个月的账,抹掉名字:一鞋盒的票据,一张银行流水,里面有一笔重复付款。你按两小时付钱,给两个人同样的材料、同样的说明,并且在看结果之前先写下什么算好:这个月对平,重复付款找出来,再列几个要问客户的问题。
能说会道的那位很快做完,没发现那笔重复付款。话少的那位找到了,还列了两个问题。一个下午说明不了五年后谁更出色。可它让你看到谁抓住了客户花钱请你抓的那种错,再聊一个小时未必看得出。
给模型试岗
挑 AI 模型,很多时候也像看面试:看它答考试题的分数。OpenAI 在 2025 年写道,这类测试往往够不上人们日常工作里真正要做的事。它拿出的办法 GDPval,就像给模型做工作样本测试:44 种职业、1,320 个任务,每个任务都由平均有 14 年经验的从业者,照着真实的工作成果来出,比如一份法律文书、一份护理计划。评分的也是同行,拿模型的成品和出题专家本人的成品对比,事先不知道哪份出自 AI。
它和两小时的测试有同一个盲区。OpenAI 自己说明,GDPval 只看一次成稿,看不到模型根据客户意见改文书,也看不到它先和客户谈、弄清到底要什么。
不一样的是样本的价钱。一个候选人能给你一个下午;同一件事,模型可以做一千遍。Anthropic 现行的评测指南建议,测试要贴近真实工作中任务的分布,宁可多出题、自动评分,也别只做少量精细的人工评分。把一件反复要做的活交给模型之前,先拿上个月二十个已知正确答案的真实案例让它做一遍。
那笔重复付款,也放进去。