首页 › AI 时代 › 负面副作用
AI 时代 · 目标设定错配

负面副作用

追一个目标,可能弄坏目标里没提的东西。要说清什么不能动。

Negative Side Effects◷ 约 4 分钟▤ 5 个真实故事换成 AI 也一样在知识地图里看它和谁相连 →

1989 年夏天,达美乐披萨在大约 2000 万份外卖里夹了一封总裁戴夫·布莱克(Dave Black)的信。公司最出名的承诺,30 分钟送到、超时减 3 美元,正遭到围攻。批评者说,它逼着送餐员赶路。那年 6 月,印第安纳州一个 17 岁的少年替一家达美乐门店送披萨,超速行驶时丧了命。他的母亲说,这个承诺是「在鼓励人违法、超速」。

布莱克在信里算了一笔账:披萨一般 12 分钟就能做好,配送范围平均不超过两英里,「这样留给送餐员的时间将近 18 分钟。几百万次安全送达告诉我们,这些时间足够了」。超时的 3 美元由公司出,不由送餐员出。要是看到达美乐的送餐员开车不当心,可以打这个免费电话举报。

承诺照旧。

交易之外的人

这个承诺,是达美乐和在家等披萨的人之间的一笔交易。它要是添了什么风险(公司一直说送餐员用不着超速),至少有一部分会落到没参与这笔交易的人身上:别的司机、行人,还有送餐员自己。

1993 年,圣路易斯的陪审团判给一位被达美乐送餐车撞了车的女士近 7900 万美元。几天后,达美乐取消了 30 分钟承诺,同时仍为自己的安全记录辩护,把问题归到公众印象上,而不是那只钟。

那起车祸到底是什么造成的,不必弄清,也能看出问题的轮廓。目标只算它写明的东西。钟表量的是分钟,路上发生了什么,它一点都不量。

AI 研究者把这叫作负面副作用:在达成目标的路上,弄坏了目标里没提到的东西。

挡路的花瓶

2016 年,来自谷歌、OpenAI、斯坦福和伯克利的几位研究者,用一个清洁机器人讲这件事。让机器人把一个箱子搬到房间另一头,最快的路线也许会撞倒一只花瓶。「如果只为搬箱子给它奖励,它多半会撞倒花瓶。」

可以给花瓶加一条惩罚。可「花瓶」有很多种,从电源插座到墙壁,「要把每一种可能的破坏都找出来、都罚,未必做得到」。他们写道,一个只关于一件事的目标,「可能暗含着对其他一切的漠不关心」。设计者真正想要的,更接近「完成任务 X,同时遵守对周围环境的常识性约束」。

它和规格博弈有重叠,但各有侧重。那一页讲的是满足了目标的字面,却没达到本意;这一页讲的是目标确实达成了,箱子真的搬过去了,破坏发生在一旁。

「清理一下旧分支」

如今 AI 智能体在真实系统上干真活,花瓶就变得很具体了。Anthropic 内部有一份日志,专门记录它的编程智能体 Claude Code 出过的岔子,里面有「因为误解指令删掉了远程 git 分支」,也有「试图对生产数据库做迁移」。有一次,用户让它「清理一下旧分支」。智能体列出远程分支,按规则匹配,发出了删除命令,而用户可能只是想删本地的。

Anthropic 说,这些都是模型「过于积极」:想帮忙,却做过了用户的本意。对策之一是自动模式:由另一个模型在高风险操作执行前把关,不过很多日常操作在它看到之前,已经按普通规则放行了。这个审核器的起点是一条严格的规矩:用户要求的才算授权,「智能体自己选择做的一切,在用户表态之前都算未经授权」。即便如此,在 52 个真实的过于积极的操作里,它还是放过了 17%。2025 年在 Replit,一个正在搭应用的智能体,在代码冻结期间清空了线上数据库。

换了快递之后

设想一位运营经理接到任务:运费降 10%。她换了一家便宜的快递,把订单攒起来每周发两次。运费降了 12%。一个季度后,销售发现最好的那批客户回购变少了。他们早已习惯次日送达,而谁的指标里都没有他们。

她的成绩是真的。只是那个目标,对它可能弄坏什么,一句话也没说。

有三个习惯管用。定目标时,写明什么必须完好无损,比如「运费降 10%,不能让重点客户的送货变慢」。开工前,问一句这笔交易之外谁会受影响。凡是可能波及别人工作的高后果操作,比如删共享的分支、改大客户的条款,先核清楚它到底会碰到什么、能不能撤回,默认先停下来问。

布莱克的信把分钟算得很细,12 分钟做饼,18 分钟开车。路上的其他一切,都不在这笔账里。

先看几件事

玩一玩

出处

  1. Washington Post (UPI), Domino's Pizza to Stress Safety Over Speed, July 25, 1989
  2. Washington Post (from news services), Pizza Policy Challenged, June 14, 1989
  3. UPI, Domino's Pizza ends 30-minute delivery guarantee, December 21, 1993
  4. UPI, Domino's settles suit for 'far less', April 5, 1994
  5. Dario Amodei, Chris Olah et al., Concrete Problems in AI Safety, 2016 (arXiv 1606.06565)
  6. Anthropic, How we built Claude Code auto mode, a safer way to skip permissions, March 25, 2026
  7. Los Angeles Times, reprinted in the Roanoke Times, 30-Minute Pizza Pledge Abandoned, December 22, 1993
  8. Washington Post, $79 Million Jury Award Puts Brakes on Domino's 30-Minute Delivery Pledge, December 22, 1993
  9. Beatrice Nolan, An AI-powered coding tool wiped out a software company's database, Fortune, July 23, 2025
  10. eWeek, Catastrophic Failure, AI Agent Wipes Production Database, Then Lies About It, 2025
  11. Jeffrey Dastin, Reuters, Amazon scraps secret AI recruiting tool that showed bias against women, October 10, 2018
  12. Quinn Emanuel, Report to the Boards of Directors of Cruise LLC, GM Cruise Holdings LLC and General Motors Holdings LLC regarding the October 2, 2023 accident in San Francisco, January 24, 2024
  13. NHTSA, NHTSA Announces Consent Order with Cruise After Company Failed to Fully Report Crash Involving Pedestrian, September 30, 2024
  14. US Attorney's Office, Northern District of California, Cruise admits submitting a false report to influence a federal investigation, November 14, 2024
  15. CBS News Bay Area, Cruise admits to false report in 2023 dragging of San Francisco pedestrian, November 14, 2024
  16. NBC Bay Area, CPUC orders Cruise to pay $112,500 in penalties, June 20, 2024
  17. General Motors, GM to refocus autonomous driving development on personal vehicles, December 10, 2024
  18. CNBC, GM exits robotaxi market, will bring Cruise operations in house, December 10, 2024
  19. Google, Gemini image generation got it wrong. We'll do better., February 23, 2024
  20. The Guardian, Google pauses AI-generated images of people after ethnicity criticism, February 22, 2024
  21. CNBC, Google CEO tells employees Gemini AI blunder 'unacceptable', February 28, 2024
  22. The Guardian, 'We definitely messed up': why did Google AI tool make offensive historical images?, March 8, 2024