2010 年 9 月,惠普董事会投票任命新的首席执行官。据《纽约时报》专栏作者詹姆斯·斯图尔特(James B. Stewart)的报道,12 位董事里多数人从没见过他们要聘的这个人。四位董事组成的遴选委员会把名单缩到三人,董事会其他成员没有一个愿意去面试。最后投票前,委员会请其他董事去见见他们选中的李艾科(Léo Apotheker),他在德国软件公司 SAP 当 CEO 只干了七个月。没有人去。
董事露西尔·萨哈尼(Lucille Salhany)想让程序慢下来:「谁都没见过他。我们确定吗?」她的顾虑被搁到一边。一位没见过他的董事对斯图尔特说:「我承认这非常反常。可我们被内斗折腾得太累了。」
9 月 30 日的公告里,首席独立董事罗伯特·瑞安(Robert Ryan)称李艾科是「一位对技术充满热情的战略思考者,有广泛的全球经验和经过验证的运营纪律」,并说这「正是我们想找的 CEO」。公告描述了一个人,却没说这个人要干成什么。
李艾科上任不到十一个月,董事会就换上了梅格·惠特曼(Meg Whitman)。董事长雷·莱恩(Ray Lane)说,这个职位「现在需要更多素质」。
清单的另一半
瑞安列的是素质。岗位计分卡从另一头开始:见人之前,先写下这个岗位要交出什么、何时交。
这个办法出自杰夫·斯玛特(Geoff Smart)和兰迪·斯特里特(Randy Street)2008 年的书《Who》,斯玛特创办的咨询公司 ghSMART 至今按它招人。计分卡分三块:使命,说这个岗位是干什么的;结果,写清要改变什么;能力,写人该怎么做到。模板里每一行结果的提示都一样:「在某个日期前从 X 到 Y」。
模板的示例是销售副总裁,第一条结果:软件销售额从 2016 年的 1250 万美元,到 2020 年底增长到 1 亿美元。往下三十多项待打分的能力里,有一项是「战略思考/愿景」。惠普公布的正是这一类。这位战略思考者要做出什么,才是一串优点里缺的那一半。
ghSMART 打过一个比方:笼统的职位描述像一张只写着「健康晚餐」的便条,计分卡才是购物清单,它「明确定义这个岗位的成功」,逼你定下轻重缓急和时间表。急着填位子又没有清单,就像饿着肚子逛超市。
写计分卡还有个用处。ghSMART 说,收集意见、争论取舍,能让大家对「理想人选要交出什么、何时交出」想到一处。据斯图尔特说,惠普那届董事会几乎什么都谈不拢。
证据管到哪里
计分卡是实践者的方法,最亮眼的数字都出自作者自己。书的网站许诺「90% 的成功率」,ghSMART 说能把招聘成功率「从 50%(和抛硬币差不多)提高到 90%」。这些是公司自己的数字,没有经过独立试验。
隔壁的研究扎实些。1998 年,施密特和亨特汇总 85 年的研究,比较 19 种选人方法,预测工作表现最好的组合里就有一般智力测验加结构化面试。2022 年萨基特等人重新分析,把多数靠前方法的效度估计下调了 0.10 到 0.20,结构化面试仍排第一。美国人事管理局的结构化面试指南,第一步就是「审阅工作分析材料」,每道题都要对应工作分析定出的能力。这些研究检验的是基于工作分析的面试,没有单独检验《Who》的计分卡。
作者也承认软肋。ghSMART 写道,他们招错人时,「多半是因为我们把计分卡写错了」。岗位也会变:莱恩那句「现在需要」,说的就是这份工作变了。ghSMART 也说,计分卡「可以、也应该是一份活的文件」。
前台
设想一位诊所经理要找人接替辞职的前台主管。启事写的是「有条理、亲切、善于和人打交道」,来了三个人,个个都像。她改写结果:到春天,每个来电当天有人回;到夏天,两个兼职能独自撑起周六。
她的问题也变了:不再问有没有条理,改问上一次清掉积压的经过。三个亲切的人里,只有一个真干过这活,另外两个只做到了亲切。
给模型写计分卡
Anthropic 为 Claude 应用写的测试指南,第一步也是这个:成功的大语言模型应用,「始于清楚地定义成功标准」,标准要具体、可衡量、可达成、相关。坏例子是「模型应该能很好地给情绪分类」;好例子是在 1 万条推特帖子的留出测试集上「F1 分数至少 0.85」,比现有基线高 5%。这就是一行结果,从 X 到 Y。
差别在检验。模型每改一次,都能在那 1 万条帖子上重跑;人只能招一次,凭的是几轮面试。这份指南也只是厂商的建议,它本身不是验证定好标准能否改善结果的研究。它也承认多数用途需要好几条标准,还在一个例子后注明,现实中你还得定义什么叫「不便」、什么叫「严重」。