首页 › 目标与指标 › 麦克纳马拉谬误
目标与指标 · 指标陷阱

麦克纳马拉谬误

容易数的东西,常常悄悄顶替了真正要紧的东西。

McNamara Fallacy◷ 约 4 分钟▤ 5 个真实故事换成 AI 也一样在知识地图里看它和谁相连 →

1966 年 10 月,罗伯特·麦克纳马拉在越南待了四天,回来给林登·约翰逊总统写了一份绝密备忘录。开头几句讲完战事和对北方的轰炸,他写到了那个拿得出手的数。

「过去一年里,越南战场上唯一明确对我们有利的,是大规模军事行动打死的大量敌人。」他写道。

接着话锋一转:「然而,看不出敌人的士气有任何即将崩溃的迹象。看起来,他们靠从北越渗透、在南越招募,补上的人比损失的还多。」

往下走的四级台阶

容易数的东西,常常悄悄顶替了真正要紧的东西。

「麦克纳马拉谬误」这个名字,来自民意调查专家丹尼尔·扬克洛维奇。按 1972 年《超级货币》一书引用的原话,这个谬误分四级台阶。「第一步,是去衡量一切容易衡量的东西。到这一步为止还没问题。」第二步,是不理会那些不容易衡量的,或者随便给它们安一个数,这是「人为的,会误导人」。第三步,是认定它们不重要,这是「盲目」。第四步,是「宣称不容易衡量的东西根本不存在。这是自杀。」

计步器记下你走了多少步,却不知道你去了哪儿,也说不准你到底走了多远;走去看医生,和在停车场里兜圈子,在它那里看着一样。戴久了,兜圈子也开始像是进步。

麦克纳马拉并没有看不见数字漏掉的东西。同一份备忘录里,他写道,绥靖「如果说有什么变化,那就是倒退了」,「在乡村,夜晚几乎完全归敌人」。在这一段里,死亡人数带着数字,士气和乡村写成的是文字判断。当时那种记法的尸体数,并没有充分反映这两样东西。

1970 年,陆军战争学院的一项研究里,刚从越南回来的年轻军官说,上面给他们下过指标,或者叫他们回去重数。一位访谈人员转述:「那边没有一个人相信尸体数。」还有人问:为什么不给营长们设一个「民心」数?

数数什么时候管用

扬克洛维奇自己说了,第一步没问题。数字常常比印象靠谱:2002 年的奥克兰运动家队,挑球员看的是击球手实际打出过什么记录,不看他们在球探眼里长什么样。

麻烦从第二步开始。这几级台阶也提示了该盯着哪里:数的东西只是目标的替身;没有人定期去看这个数漏掉了什么;上面的决定只凭这个数来做。要是这个数本身就是你在乎的结果,比如棒球里的得分,它能漏掉的就少得多。

纸面上很漂亮的机器人

有了 AI,第一步比任何时候都便宜:每一段对话都被记录、计时、计数。Klarna 在 2024 年 2 月说,它的 AI 助手干了相当于 700 名全职客服的活,客户满意度和人工客服持平;2025 年 5 月,它的首席执行官对彭博社说,成本砍过头了。按 OpenAI 自己的说法,2025 年 4 月它凭着不错的测试数据发布了 ChatGPT 的一次更新,尽管有几位资深测试者说它「感觉」有点不对劲,事后它称这个决定「错了」。

这些都是公司在讲自己的决定,不是关于这个谬误的研究,也说明不了看板有多常误导人。至少在 OpenAI 这件事上,警告来自用过模型的人,而指标看起来不错。

OpenAI 的补救办法可以照抄:今后,只要发现行为问题,就足以叫停一次发布,「即使 A/B 测试之类的指标看起来不错」。落到实处,就是指定一个具体的人,每周随机抽一批真实对话来读,把计数显示不出来的东西写下来,并且他读出的问题可以让上线暂停。要是你因此改了什么,比如提示词,就一次只改一样,再抽一批新的来读。新抽的对话看着好些,是继续观察的理由,算不上改对了的证明。

打了 4.7 分的课

设想你负责新销售的入职培训。看板很漂亮:98% 的人学完了课程,打分 4.7(满分 5)。后来,一位销售经理告诉你,她手下最新的两个人,在真实的电话里还是报不出一个套餐的价格。

看板上没有这一栏。你可以加一场定价小测验。可要是它只考销售记不记得标准答案,没人去核真实电话里报出的价对不对,问题照样可能漏过去。所以你还在课程结束两个月后,去旁听了三通真实的销售电话,把看到的记下来,和他们的测验成绩放在一起看。三通电话给不了这门课一个分数,却能让你看见 4.7 漏掉了什么。

4.7 旁边,你的笔记里多了一通电话:客户要折扣,销售让他在线上等了六分钟。

先看几件事

罗伯特·麦克纳马拉和越南战场上的美国陆军 · 1966–1970唯一对我们有利的事敌人的尸体数得清,于是尸体数成了衡量进展的尺子。麦克纳马拉自己的备忘录写着,更要紧的事,敌人的士气、乡村民心的向背,一点没有好转;上尉们后来又说,这个数本身就在上面的压力下被抬高了。看整件事 →Klarna · 2024–2025相当于 700 名客服Klarna 报的都是数得出来的东西,处理了多少对话、每件事花几分钟、顶替了多少客服、省了多少钱。它的调查显示满意度没有下降,可话说出去不到两个月,CEO 就承认服务质量下滑了。看整件事 →OpenAI · 2025一个赞离线评测和 A/B 测试的数字都好看,警告只来自几位测试员主观上「感觉」不对。OpenAI 跟着数字走,事后自己承认「这个决定错了」。看整件事 →谷歌 DeepMind · 2024–2025又满又空的机器按白皮书自己的说法,AlphaEvolve 只接得了程序能打分的问题。就连数出来的那项纪录(48 次乘法)乘的也是复数;欧内斯特·戴维斯认为,换成实数矩阵,真实成本可能在 50 到 144 次之间。看整件事 →中斯塔福德郡 NHS 基金信托(斯塔福德医院) · 2005–2013最后十分钟第一次调查发现,医院更看重统计和报表,而不是病人的亲身经历。直到 2007 年高死亡率数据公开,信托才开始监测临床结果,而且花了大量力气把问题往数据记录上推。看整件事 →

玩一玩

出处

  1. Memorandum From Secretary of Defense McNamara to President Johnson, Actions recommended for Vietnam,1966 年 10 月 14 日,《美国对外关系文件集》1964–1968 年第 4 卷,第 268 号文件
  2. 美国陆军战争学院,Study on Military Professionalism,1970 年 6 月 30 日(DTIC ADA063748)
  3. Errol Morris,The Fog of War: Eleven Lessons from the Life of Robert S. McNamara(《战争迷雾》),2003,文字稿
  4. 「Adam Smith」(George J. W. Goodman),Supermoney,Random House,1972。本页扬克洛维奇的引文依据此书。1973 年的书把出处注为他 1971 年 10 月 15 日的论文 The New Odds;查尔斯·汉迪 1994 年的 The Empty Raincoat 也转引过这段话。
  5. S. Prakash Sethi、Dow Votaw 编,The Corporate Dilemma: Traditional Values versus Contemporary Problems,Prentice-Hall,1973(引用扬克洛维奇 1971 年 10 月 15 日在纽约发表的论文 The New Odds)
  6. Klarna,Klarna AI assistant handles two-thirds of customer service chats in its first month,2024 年 2 月 27 日
  7. 彭博社,Klarna Turns From AI to Real Person Customer Service,2025 年 5 月 8 日
  8. OpenAI,Expanding on what we missed with sycophancy,2025 年 5 月 2 日
  9. Klarna, Klarna AI assistant handles two-thirds of customer service chats in its first month, February 27, 2024
  10. Klarna Group plc, Form F-1 registration statement, filed with the SEC March 14, 2025
  11. Bloomberg, Klarna Turns From AI to Real Person Customer Service, May 8, 2025
  12. CNBC, Klarna CEO says AI helped company shrink workforce by 40%, May 14, 2025
  13. OpenAI, Sycophancy in GPT-4o: What happened and what we're doing about it, April 29, 2025
  14. OpenAI, Expanding on what we missed with sycophancy, May 2, 2025
  15. BBC News, Update that made ChatGPT 'dangerously' sycophantic pulled, April 30, 2025
  16. NBC News, OpenAI rolled back a ChatGPT update that made the bot excessively flattering, April 30, 2025
  17. Google DeepMind, AlphaEvolve, a Gemini-powered coding agent for designing advanced algorithms (blog), May 14, 2025
  18. Novikov et al., AlphaEvolve, A coding agent for scientific and algorithmic discovery, arXiv 2506.13131, June 2025
  19. Ernest Davis (NYU), Some comments on AlphaEvolve, June 2, 2025
  20. WIRED, Google DeepMind's AI Agent Dreams Up Algorithms Beyond Human Expertise, May 14, 2025
  21. MIT Technology Review, Google DeepMind's new AI agent cracks real-world problems better than humans can, May 14, 2025
  22. Dumas, Pernet, Sedoglavic, A non-commutative algorithm for multiplying 4x4 matrices using 48 non-complex multiplications, arXiv 2506.13242, June 2025
  23. Georgiev, Gómez-Serrano, Tao, Wagner, Mathematical exploration and discovery at scale, arXiv 2511.02864, November 2025
  24. Report of the Mid Staffordshire NHS Foundation Trust Public Inquiry, Executive summary (Robert Francis QC), HC 947, February 2013
  25. Healthcare Commission, Investigation into Mid Staffordshire NHS Foundation Trust, March 2009
  26. BBC News, Stafford Hospital, Hiding mistakes 'should be criminal offence', February 6, 2013
  27. BBC News, Failing hospital 'caused deaths', March 17, 2009