1999 年,亚马逊才成立三四年。用比尔·卡尔(Bill Carr)的话说,公司正在「疯长」。技术部门新招来一位工程负责人,他去招高级经理,高级经理再去招经理。2023 年卡尔在 Lenny’s Podcast 上说:「这些人来公司才一个星期。」他们招人,凭的是自己的判断和上一家公司的标准。一位高管的总结是:「新人招新人,新人再招新人。」
贝佐斯对股东说过,在招聘上把标准定高,是「亚马逊成功最重要的一个因素」。可定标准的人,自己才刚进门。
亚马逊的办法,是往屋里放一个外人。每一轮面试都有一位面试官来自招聘团队之外:不是招聘经理,不向招聘经理汇报,也不是招聘专员。面试后的复盘会由他主持。据布拉德·斯通(Brad Stone)写的早年经过,这个人还能否决录用,而且「就连招聘经理也推翻不了」。
每次招人,都让一个不用为空缺发愁的人说上话。
空着的工位,压在谁身上
最想把人招进来的,通常是招聘经理。活儿今天就堆在他团队头上;招错人的代价,就算来,也在以后。卡尔管这叫「每个招聘经理都有的紧迫偏差」:急着拿「下一个能喘气的人」把位子填上。参与创办这个项目的里克·达尔泽尔(Rick Dalzell)对斯通说:「很多公司一长大,就开始为了填满人手而降低标准。」
抬杆人身上没有这份压力。亚马逊的软件开发经理格勒宁格(Annie Groeninger)在公司的文章里说,抬杆人「不会和这位候选人天天打交道,所以我们一心为亚马逊做招聘决定,而不是为某个团队、某个岗位」。项目定下的目标是,每招一个人,都要比现有同类岗位上一半的人更强。
房产中介是房子卖掉才拿钱,验房师卖不卖都拿钱。签字之前,你想看的是验房师的报告。
卡尔还说了一个反转。否决权是真的,可「好的抬杆人从来不用」;他在亚马逊 15 年,自己没用过,也没见人用过。拍板的仍是招聘经理。抬杆人做的,是主持复盘会,盯着大家守住事先定好的标准。亚马逊写出领导力准则以后,准则就成了标准,行为面试成了方法,和结构化面试是近亲。少了这个外人,复盘会很容易滑回凭感觉拍板,那正是非结构化面试的老路。它管住的是判断;活儿本身干得怎样,还得靠工作样本测试。
代价
卡尔说这份差事「极其耗时」,一周最多能占掉他 10 个小时。抬杆人是在本职之外志愿干的,据《财富》报道,没有额外报酬;亚马逊说,培训要三个月到一年。
招聘经理也要付代价。卡尔说,他们可能觉得整套面试「是一道官僚流程,是一群我得去说服的人」,挡在自己和想要的人中间。一位招聘公司负责人对《财富》说,外人「可能不了解他们要招人进去的那个团队的文化」。
亚马逊说自己「重在招对人,而不是招得快」。可疫情期间招人最猛的时候,它还是把抬杆人从初级软件工程师的面试里撤了。据《商业内幕》报道的一份内部备忘录,2024 年又把他们请了回来,为的是「提高」这批录用者的质量。撤掉期间招来的人是不是变差了,亚马逊没有回答《财富》。
借一个外人
设想你开一家二十人的公司,这个季度要招三个工程师。工程负责人忙得脚不沾地,第一个能干活的候选人他就想要。
你可以请销售或运营的一位经理坐进每一轮面试,记下书面笔记,主持复盘会,再问一句格勒宁格爱问的话:「要是不招这个人,亚马逊会错过什么?」把亚马逊换成你公司的名字。代价可能是晚几周,外加一个不太高兴的工程负责人;换来的,可能是一个真正过了杆的人,而不只是一个被填上的位子。
不是自己写的答案
AI 模型给自己的输出打分时,也有类似的问题。动机不一样,模型没有位子要填,可自己批自己卷子的风险还在。
2024 年,Panickssery、Bowman 和 Feng 做了一项研究:让 GPT-4、GPT-3.5 和 Llama 2 写新闻摘要,再给自己、别的模型和人写的摘要打分。模型往往偏爱自己那份。不经任何训练,GPT-4 就能以 73.5% 的准确率认出哪份是自己写的;研究者再微调 GPT-3.5 和 Llama 2,让它们更会认出自己,偏爱自己的程度也跟着同步上升。作者特意说明了一个缺口:他们没有核对模型自己写的摘要是不是真的更好,如果更好,一部分偏爱就说得过去。
Anthropic 讲怎么搭建评测的文档,也想到了外人。它在模型评分示例代码里加了一行注释:「通常的最佳做法,是用另一个模型来评,而不是生成这份输出的那个模型。」
换一个模型来评分,就是一个和答案没有利害关系的抬杆人。但它不是中立的裁判。同一项研究里,三个模型在两份摘要调换先后顺序后,都有改判的时候,GPT-4 大约四次里有一次(裁判的其他偏向,见晕轮效应)。外来的评分者避开的是一种风险,也就是模型给自己打分;它自己仍可能有偏好,也可能偏向排在某个位置的答案。