布莱尔政府想让英格兰人看家庭医生不用再等上几个星期，于是拿钱奖励全科诊所：能让病人在 48 小时内约上医生，就有奖励。2005 年 4 月，在 BBC《提问时间》的演播室里，观众席上一位女士当面告诉布莱尔，这套办法在她身上是什么样子。
儿子的医生想一周后见见孩子，诊所却不肯约。「一周后的号你约不了，因为只准提前 48 小时约。」她说。
「我是头一回听说。」布莱尔答。
钱在说什么
政府盼的，是病人需要时能看上医生。它付钱买的，是「两天以内」这个窗口；在一些诊所，这个窗口成了唯一能约的窗口。
奖的是一样，盼的是另一样，到手的往往是奖的那样。
1975 年，管理学者史蒂文·克尔在《奖励 A 却期望 B 的愚蠢》一文里给它起了名字。他的出发点是：多数生物都会「打听什么样的行为有奖励，然后去做（或者至少装作在做）这些事」。
他举过一家保险公司理赔部门的例子。公司盼的是员工赔付准确，可真能让人丢掉加薪的，是缺勤和迟到。克尔写道：「在这个意义上，公司盼的是业绩，奖的却是出勤。它得到的，当然是出勤。」
克尔自己打过一个比方：女儿要切生日蛋糕了，你事先告诉她，第一块由弟弟先挑。
他也解释了这道缝为什么总会裂开。管理者偏爱数得出来的「客观」标准；有些行为天生更显眼。48 小时指标两条都占：它是个数，每家诊所都报得上来。按加州的说法，上世纪 90 年代初，西尔斯汽修中心的员工被要求每八小时一个班卖出一定数量的维修和保养。
什么时候奖 A 才对
克尔并不认为简单的指标总会坏事。他写道，这类标准在组织里「高度可预测的领域」可能管用，用到别处才容易让目标走偏。他也没说奖励能解释一切：有些员工没有任何奖励，照样在乎把活干好，这时候管理者「只是个走运的旁观者」。
也有人走得更远。1994 年，两位管理学教授理查德·伯特格和查尔斯·格里尔撰文，说组织常常得同时服务两个相互矛盾的目标。比如警察局官方推崇打击犯罪，警察日常却还得做不少近乎社工的事；他们认为，只奖励官方目标，警队和市民都会受损。
真正要问的，是你知不知道 A 和 B 在哪儿分了岔，以及系统里还有没有什么在为 B 付钱。
那条没传出去的线索
设想你带一个销售团队。你一直要大家在大客户上互相帮忙，提成却只算给最后签单的人。
一位资深销售听说同事的片区里有个大客户。把线索转过去，要花她一个小时，提成一分没有。她还是转了，就那一次。下一条线索，她自己留下了。提成报表上不会出现一条没被分享的线索，你不去问，就不会知道。
你可以改一改方案，让带来线索的人也分一份提成。这说明不了她当初为什么留下第二条线索，但会改变报表在为什么付钱。过一个季度，你可以数一数，有多少单的来源写着别人的名字。
越长越好
聊天模型常用人的选择来调：让人在两个回答里挑更喜欢的那个，一个奖励模型学着预测这些选择，聊天模型再朝着在它那里拿高分去练。盼的是模型更有用。
2023 年，几位计算机科学家在三种设置里查了这套训练到底在为什么付钱。他们用两种方式量提升：一是奖励模型自己打的分，二是一组基于 OpenAI 模型的模拟标注员评出的胜率。奖励模型分数的上涨，很大程度是靠回答整体变长推动的；只按长度给奖励来训练，就能复现模拟胜率上的大部分提升。2024 年，研究者把 AlpacaEval 排行榜背后那个 AI 裁判对长度的偏好校正掉，它的排名和 Chatbot Arena 上人类投票更接近了，相关系数从 0.94 升到 0.98。
这些研究量的，是特定的奖励模型和裁判在特定设置里偏爱什么。它们说明不了有用被换成了长度，也说明不了每个调过的模型都只是在注水，也说明不了参与其中的人想要什么。
你自己比较 AI 回答时，可以在每个分数旁边写上字数。长的那个一再胜出，就当成一个该细看的信号，而不是长度在被奖励的证据。回到任务本身的要求去核：事实对不对，推理站不站得住，短的那个有没有漏掉读者需要的信息。要是短的那个这些都做到了，多出来的字就不是你盼的那个 B。