1966 年 10 月,罗伯特·麦克纳马拉在越南待了四天,回来给林登·约翰逊总统写了一份绝密备忘录。开头几句讲完战事和对北方的轰炸,他写到了那个拿得出手的数。
「过去一年里,越南战场上唯一明确对我们有利的,是大规模军事行动打死的大量敌人。」他写道。
接着话锋一转:「然而,看不出敌人的士气有任何即将崩溃的迹象。看起来,他们靠从北越渗透、在南越招募,补上的人比损失的还多。」
往下走的四级台阶
容易数的东西,常常悄悄顶替了真正要紧的东西。
「麦克纳马拉谬误」这个名字,来自民意调查专家丹尼尔·扬克洛维奇。按 1972 年《超级货币》一书引用的原话,这个谬误分四级台阶。「第一步,是去衡量一切容易衡量的东西。到这一步为止还没问题。」第二步,是不理会那些不容易衡量的,或者随便给它们安一个数,这是「人为的,会误导人」。第三步,是认定它们不重要,这是「盲目」。第四步,是「宣称不容易衡量的东西根本不存在。这是自杀。」
计步器记下你走了多少步,却不知道你去了哪儿,也说不准你到底走了多远;走去看医生,和在停车场里兜圈子,在它那里看着一样。戴久了,兜圈子也开始像是进步。
麦克纳马拉并没有看不见数字漏掉的东西。同一份备忘录里,他写道,绥靖「如果说有什么变化,那就是倒退了」,「在乡村,夜晚几乎完全归敌人」。在这一段里,死亡人数带着数字,士气和乡村写成的是文字判断。当时那种记法的尸体数,并没有充分反映这两样东西。
1970 年,陆军战争学院的一项研究里,刚从越南回来的年轻军官说,上面给他们下过指标,或者叫他们回去重数。一位访谈人员转述:「那边没有一个人相信尸体数。」还有人问:为什么不给营长们设一个「民心」数?
数数什么时候管用
扬克洛维奇自己说了,第一步没问题。数字常常比印象靠谱:2002 年的奥克兰运动家队,挑球员看的是击球手实际打出过什么记录,不看他们在球探眼里长什么样。
麻烦从第二步开始。这几级台阶也提示了该盯着哪里:数的东西只是目标的替身;没有人定期去看这个数漏掉了什么;上面的决定只凭这个数来做。要是这个数本身就是你在乎的结果,比如棒球里的得分,它能漏掉的就少得多。
纸面上很漂亮的机器人
有了 AI,第一步比任何时候都便宜:每一段对话都被记录、计时、计数。Klarna 在 2024 年 2 月说,它的 AI 助手干了相当于 700 名全职客服的活,客户满意度和人工客服持平;2025 年 5 月,它的首席执行官对彭博社说,成本砍过头了。按 OpenAI 自己的说法,2025 年 4 月它凭着不错的测试数据发布了 ChatGPT 的一次更新,尽管有几位资深测试者说它「感觉」有点不对劲,事后它称这个决定「错了」。
这些都是公司在讲自己的决定,不是关于这个谬误的研究,也说明不了看板有多常误导人。至少在 OpenAI 这件事上,警告来自用过模型的人,而指标看起来不错。
OpenAI 的补救办法可以照抄:今后,只要发现行为问题,就足以叫停一次发布,「即使 A/B 测试之类的指标看起来不错」。落到实处,就是指定一个具体的人,每周随机抽一批真实对话来读,把计数显示不出来的东西写下来,并且他读出的问题可以让上线暂停。要是你因此改了什么,比如提示词,就一次只改一样,再抽一批新的来读。新抽的对话看着好些,是继续观察的理由,算不上改对了的证明。
打了 4.7 分的课
设想你负责新销售的入职培训。看板很漂亮:98% 的人学完了课程,打分 4.7(满分 5)。后来,一位销售经理告诉你,她手下最新的两个人,在真实的电话里还是报不出一个套餐的价格。
看板上没有这一栏。你可以加一场定价小测验。可要是它只考销售记不记得标准答案,没人去核真实电话里报出的价对不对,问题照样可能漏过去。所以你还在课程结束两个月后,去旁听了三通真实的销售电话,把看到的记下来,和他们的测验成绩放在一起看。三通电话给不了这门课一个分数,却能让你看见 4.7 漏掉了什么。
4.7 旁边,你的笔记里多了一通电话:客户要折扣,销售让他在线上等了六分钟。