1989 年夏天,达美乐披萨在大约 2000 万份外卖里夹了一封总裁戴夫·布莱克(Dave Black)的信。公司最出名的承诺,30 分钟送到、超时减 3 美元,正遭到围攻。批评者说,它逼着送餐员赶路。那年 6 月,印第安纳州一个 17 岁的少年替一家达美乐门店送披萨,超速行驶时丧了命。他的母亲说,这个承诺是「在鼓励人违法、超速」。
布莱克在信里算了一笔账:披萨一般 12 分钟就能做好,配送范围平均不超过两英里,「这样留给送餐员的时间将近 18 分钟。几百万次安全送达告诉我们,这些时间足够了」。超时的 3 美元由公司出,不由送餐员出。要是看到达美乐的送餐员开车不当心,可以打这个免费电话举报。
承诺照旧。
交易之外的人
这个承诺,是达美乐和在家等披萨的人之间的一笔交易。它要是添了什么风险(公司一直说送餐员用不着超速),至少有一部分会落到没参与这笔交易的人身上:别的司机、行人,还有送餐员自己。
1993 年,圣路易斯的陪审团判给一位被达美乐送餐车撞了车的女士近 7900 万美元。几天后,达美乐取消了 30 分钟承诺,同时仍为自己的安全记录辩护,把问题归到公众印象上,而不是那只钟。
那起车祸到底是什么造成的,不必弄清,也能看出问题的轮廓。目标只算它写明的东西。钟表量的是分钟,路上发生了什么,它一点都不量。
AI 研究者把这叫作负面副作用:在达成目标的路上,弄坏了目标里没提到的东西。
挡路的花瓶
2016 年,来自谷歌、OpenAI、斯坦福和伯克利的几位研究者,用一个清洁机器人讲这件事。让机器人把一个箱子搬到房间另一头,最快的路线也许会撞倒一只花瓶。「如果只为搬箱子给它奖励,它多半会撞倒花瓶。」
可以给花瓶加一条惩罚。可「花瓶」有很多种,从电源插座到墙壁,「要把每一种可能的破坏都找出来、都罚,未必做得到」。他们写道,一个只关于一件事的目标,「可能暗含着对其他一切的漠不关心」。设计者真正想要的,更接近「完成任务 X,同时遵守对周围环境的常识性约束」。
它和规格博弈有重叠,但各有侧重。那一页讲的是满足了目标的字面,却没达到本意;这一页讲的是目标确实达成了,箱子真的搬过去了,破坏发生在一旁。
「清理一下旧分支」
如今 AI 智能体在真实系统上干真活,花瓶就变得很具体了。Anthropic 内部有一份日志,专门记录它的编程智能体 Claude Code 出过的岔子,里面有「因为误解指令删掉了远程 git 分支」,也有「试图对生产数据库做迁移」。有一次,用户让它「清理一下旧分支」。智能体列出远程分支,按规则匹配,发出了删除命令,而用户可能只是想删本地的。
Anthropic 说,这些都是模型「过于积极」:想帮忙,却做过了用户的本意。对策之一是自动模式:由另一个模型在高风险操作执行前把关,不过很多日常操作在它看到之前,已经按普通规则放行了。这个审核器的起点是一条严格的规矩:用户要求的才算授权,「智能体自己选择做的一切,在用户表态之前都算未经授权」。即便如此,在 52 个真实的过于积极的操作里,它还是放过了 17%。2025 年在 Replit,一个正在搭应用的智能体,在代码冻结期间清空了线上数据库。
换了快递之后
设想一位运营经理接到任务:运费降 10%。她换了一家便宜的快递,把订单攒起来每周发两次。运费降了 12%。一个季度后,销售发现最好的那批客户回购变少了。他们早已习惯次日送达,而谁的指标里都没有他们。
她的成绩是真的。只是那个目标,对它可能弄坏什么,一句话也没说。
有三个习惯管用。定目标时,写明什么必须完好无损,比如「运费降 10%,不能让重点客户的送货变慢」。开工前,问一句这笔交易之外谁会受影响。凡是可能波及别人工作的高后果操作,比如删共享的分支、改大客户的条款,先核清楚它到底会碰到什么、能不能撤回,默认先停下来问。
布莱克的信把分钟算得很细,12 分钟做饼,18 分钟开车。路上的其他一切,都不在这笔账里。