1986 年 1 月 27 日晚上,给航天飞机造固体火箭发动机的莫顿·锡奥科尔公司,和 NASA 开起了电话会。挑战者号定在第二天早上发射,发射时刻的气温预报是华氏 26 度左右。
工程师们担心的,是发动机接缝处的橡胶 O 形环。一年前,1985 年 1 月那次低温发射之后,他们发现两道密封圈之间的润滑脂变黑了。工程师博伊斯乔利后来作证说:「我说黑,就是像煤一样黑。」他们的建议是:气温低于 53 度不要发射,53 度是此前最冷的一次。
负责 NASA 助推器项目的马洛伊(Lawrence Mulloy),后来向总统调查委员会讲了自己当时的想法。关于接缝温度,本来就没有发射规定;锡奥科尔却要在发射前夜新加一条,而「按现有的发射标准,我们已经成功飞了 24 次」。
24 次。工程师指着损伤,经理指着这些损伤一次次平安飞回来的记录。
两边看的,是同一本账。
「可以接受」是怎么挪过去的
第二天上午,挑战者号在 36 度的气温下升空,73 秒后解体。工程师指着的那些损伤,早有来历。1981 年 11 月,航天飞机第二次飞行回来,检查人员第一次在主 O 形环上发现了飞行中的烧蚀,而批准下一次飞行的评审会上,没人提这件事。
1985 年 1 月那次 53 度的发射,回来时有四处接缝出了问题。锡奥科尔写了 18 页分析,里面说低温「增加了漏气的可能」,结论却仍是「状况可以接受」。等这件事报到最高一级的飞行准备评审,已经缩成了一页纸:「风险可以接受,因为暴露有限,且有冗余」。委员会发现,那份报告里一个字也没提温度。
每一步都不大,每一步也都有理由。可每一步都是拿上一步作比,从来不拿最初的设计作比,而按设计,密封圈根本就不该烧蚀。委员会成员费曼写道:「这些飞行被接受、又成功了,这本身就被当成了安全的证据。」委员会的结论说得更直:NASA 和锡奥科尔接受了越来越大的风险,看起来是因为「上次侥幸没事」。
警告每平安过去一次,下一次就显得更正常一点。
社会学家沃恩(Diane Vaughan)钻进档案时,以为会找到一群坏人。「看委员会的报告,好像是一帮不讲道德、精于算计的经理,把谨慎全扔在了一边。」她对《哥伦比亚杂志》说。可文件里看到的,是一套 NASA 一直照章执行的决策流程。补救措施看上去管用,航天飞机一次次平安回来,O 形环的问题就慢慢被当成了可以接受的风险。她在 1996 年的《挑战者号发射决策》里,给这个过程起名叫「偏差正常化」。她的结论是:「错误本身是被社会组织起来、被系统性地生产出来的。」
用不着等到哪天有人公然违规。风险早在此前一次次讲道理的会上,在正常流程里,就已经被接受了。
松紧裤腰
17 年后,同样的事又来了一遍。2003 年哥伦比亚号解体之前,发射时的泡沫撞击一次次被归进 NASA 的「过往经验」,调查委员会形容这个经验库像「一条松紧裤腰,越撑越大,好装下离原设计越来越远的偏差」。
日本国会的福岛核事故调查委员会,查到的是一个更慢的版本。监管机构要求按新的抗震指南对核电站做一次安全复核,期限是 2009 年 6 月,东京电力公司在内部自行把期限推到 2016 年 1 月。复核的中期评估已经表明需要不少加固,可到 2011 年 3 月地震来时,1 到 3 号机组一项也没加固。
6 度
设想你管着一家小咖啡馆的后厨。冷库门上贴着「5°C 以下」,每天早上有人把读数记进本子。三月的一个早上,读数是 6。那天进货,门开了好一阵,东西闻着也没坏。你在本子上写:「开过门,没事。」
四月又是 6,这回没人写备注了。到了七月,本子上多数早上都是 7。新来的厨师问 7 度行不行,听到的是后厨版的「已经飞了 24 次」:一直都这样,好几个月了。
这间后厨里,没有谁决定要破坏规矩。只是每天早上都在跟昨天比,没人跟门上那张纸比。
能做的检查也就在这里:拿记录跟门上的标准比,别跟上周比。当「一直都这样」成了某个问题的答案,就追问一句:是谁决定这条线可以挪的?多半没人决定过。那就修冷库,修好之前把东西挪到更冷的地方,或者少存一些。线本身要挪,得先有人拿证据重新评估,确认新数字仍符合食品储存要求。少了这一步,谁签字都只是把 7 度写上了门,并没让它变安全。所谓漂移,就是一直没人做这个决定。
「上次没出事」
2025 年 12 月,安全研究者雷贝格尔把沃恩的这个词,用到了 AI 智能体上,也就是能自己动手(比如跑代码)的程序。他写道,模型的输出可能出错,攻击者还能把指令藏在智能体要读的文件里,借它的手办事。「大多数时候一切顺利,于是厂商和机构渐渐放松警惕,甚至干脆跳过人工把关,因为『上次没出事』。」他说,陷阱在于,组织把「还没有一次成功的攻击」当成了「安全措施足够牢靠」。
有一半是对得上的:每一次平安无事的运行,都被记成一条证据,就像每一架平安飞回的航天飞机。另一半对不上。O 形环不会见机行事,攻击者会。所以一长串风平浪静的日子,对一个智能体能说明的,可能比 24 次飞行对一个密封圈能说明的还要少。
航天飞机的漂移,至少在纸上留了痕:18 页,变成 1 页,再变成一个字不提温度。换成智能体,可能只是一个勾选框:某个审核步骤,因为一直没出过事被关掉了,后来也没人记得它是关着的。