首页 › 文化与变革 › 偏差正常化
文化与变革 · 伦理盲区

偏差正常化

警告每平安过去一次,下一次就显得更正常一点。

Normalization of Deviance◷ 约 5 分钟▤ 6 个真实故事换成 AI 也一样在知识地图里看它和谁相连 →

1986 年 1 月 27 日晚上,给航天飞机造固体火箭发动机的莫顿·锡奥科尔公司,和 NASA 开起了电话会。挑战者号定在第二天早上发射,发射时刻的气温预报是华氏 26 度左右。

工程师们担心的,是发动机接缝处的橡胶 O 形环。一年前,1985 年 1 月那次低温发射之后,他们发现两道密封圈之间的润滑脂变黑了。工程师博伊斯乔利后来作证说:「我说黑,就是像煤一样黑。」他们的建议是:气温低于 53 度不要发射,53 度是此前最冷的一次。

负责 NASA 助推器项目的马洛伊(Lawrence Mulloy),后来向总统调查委员会讲了自己当时的想法。关于接缝温度,本来就没有发射规定;锡奥科尔却要在发射前夜新加一条,而「按现有的发射标准,我们已经成功飞了 24 次」。

24 次。工程师指着损伤,经理指着这些损伤一次次平安飞回来的记录。

两边看的,是同一本账。

「可以接受」是怎么挪过去的

第二天上午,挑战者号在 36 度的气温下升空,73 秒后解体。工程师指着的那些损伤,早有来历。1981 年 11 月,航天飞机第二次飞行回来,检查人员第一次在主 O 形环上发现了飞行中的烧蚀,而批准下一次飞行的评审会上,没人提这件事。

1985 年 1 月那次 53 度的发射,回来时有四处接缝出了问题。锡奥科尔写了 18 页分析,里面说低温「增加了漏气的可能」,结论却仍是「状况可以接受」。等这件事报到最高一级的飞行准备评审,已经缩成了一页纸:「风险可以接受,因为暴露有限,且有冗余」。委员会发现,那份报告里一个字也没提温度。

每一步都不大,每一步也都有理由。可每一步都是拿上一步作比,从来不拿最初的设计作比,而按设计,密封圈根本就不该烧蚀。委员会成员费曼写道:「这些飞行被接受、又成功了,这本身就被当成了安全的证据。」委员会的结论说得更直:NASA 和锡奥科尔接受了越来越大的风险,看起来是因为「上次侥幸没事」。

警告每平安过去一次,下一次就显得更正常一点。

社会学家沃恩(Diane Vaughan)钻进档案时,以为会找到一群坏人。「看委员会的报告,好像是一帮不讲道德、精于算计的经理,把谨慎全扔在了一边。」她对《哥伦比亚杂志》说。可文件里看到的,是一套 NASA 一直照章执行的决策流程。补救措施看上去管用,航天飞机一次次平安回来,O 形环的问题就慢慢被当成了可以接受的风险。她在 1996 年的《挑战者号发射决策》里,给这个过程起名叫「偏差正常化」。她的结论是:「错误本身是被社会组织起来、被系统性地生产出来的。」

用不着等到哪天有人公然违规。风险早在此前一次次讲道理的会上,在正常流程里,就已经被接受了。

松紧裤腰

17 年后,同样的事又来了一遍。2003 年哥伦比亚号解体之前,发射时的泡沫撞击一次次被归进 NASA 的「过往经验」,调查委员会形容这个经验库像「一条松紧裤腰,越撑越大,好装下离原设计越来越远的偏差」。

日本国会的福岛核事故调查委员会,查到的是一个更慢的版本。监管机构要求按新的抗震指南对核电站做一次安全复核,期限是 2009 年 6 月,东京电力公司在内部自行把期限推到 2016 年 1 月。复核的中期评估已经表明需要不少加固,可到 2011 年 3 月地震来时,1 到 3 号机组一项也没加固。

6 度

设想你管着一家小咖啡馆的后厨。冷库门上贴着「5°C 以下」,每天早上有人把读数记进本子。三月的一个早上,读数是 6。那天进货,门开了好一阵,东西闻着也没坏。你在本子上写:「开过门,没事。」

四月又是 6,这回没人写备注了。到了七月,本子上多数早上都是 7。新来的厨师问 7 度行不行,听到的是后厨版的「已经飞了 24 次」:一直都这样,好几个月了。

这间后厨里,没有谁决定要破坏规矩。只是每天早上都在跟昨天比,没人跟门上那张纸比。

能做的检查也就在这里:拿记录跟门上的标准比,别跟上周比。当「一直都这样」成了某个问题的答案,就追问一句:是谁决定这条线可以挪的?多半没人决定过。那就修冷库,修好之前把东西挪到更冷的地方,或者少存一些。线本身要挪,得先有人拿证据重新评估,确认新数字仍符合食品储存要求。少了这一步,谁签字都只是把 7 度写上了门,并没让它变安全。所谓漂移,就是一直没人做这个决定。

「上次没出事」

2025 年 12 月,安全研究者雷贝格尔把沃恩的这个词,用到了 AI 智能体上,也就是能自己动手(比如跑代码)的程序。他写道,模型的输出可能出错,攻击者还能把指令藏在智能体要读的文件里,借它的手办事。「大多数时候一切顺利,于是厂商和机构渐渐放松警惕,甚至干脆跳过人工把关,因为『上次没出事』。」他说,陷阱在于,组织把「还没有一次成功的攻击」当成了「安全措施足够牢靠」。

有一半是对得上的:每一次平安无事的运行,都被记成一条证据,就像每一架平安飞回的航天飞机。另一半对不上。O 形环不会见机行事,攻击者会。所以一长串风平浪静的日子,对一个智能体能说明的,可能比 24 次飞行对一个密封圈能说明的还要少。

航天飞机的漂移,至少在纸上留了痕:18 页,变成 1 页,再变成一个字不提温度。换成智能体,可能只是一个勾选框:某个审核步骤,因为一直没出过事被关掉了,后来也没人记得它是关着的。

先看几件事

NASA 和莫顿·锡奥科尔公司 · 1986 年 1 月证明它不安全之前几次飞行的密封圈烧蚀都被接受了;一次密封受损后加上的发射限制,又连续六次被豁免。NASA 助推器项目负责人后来作证说,他在电话会上的意思是,没有温度限制已经飞了 24 次。看整件事 →日本国会东京电力福岛核电站事故调查委员会(国会事故调) · 2011–2012一份报告,两篇序言监管机构和东电从 2006 年起就知道,海啸一旦漫上厂区,全厂可能断电。东电自行把抗震复核期限从 2009 年推到 2016 年,监管方听之任之,到 2011 年 3 月,1 至 3 号机组该做的加固一项都没做。看整件事 →大众汽车(Volkswagen) · 2006–2017知道自己在被检测的汽车2006 年,一位工程师警告这个软件按现在的样子绝不能用,还有工程师一路向上反对。结果它从 2009 款一直装到 2016 款大众在美国卖的 2.0 升柴油车上;到 2013 年,工程师已经在请示要不要把它再扩展一步。看整件事 →瑞士信贷 · 2019–2021越挪越高的限额从 2020 年 7 月起,Archegos 几乎每周都突破压力限额,一直到违约。银行先换了一个温和些的压力测试,后来又把限额调高,纸面上的超限变小了,真实的风险却在变大。看整件事 →中斯塔福德郡 NHS 基金信托(斯塔福德医院) · 2005–2013最后十分钟第一次调查发现,医院对低标准早已习以为常。信托的财务困难,院内院外都觉得没什么特别,于是一年接一年的削减,从没被当成值得特别警惕的事。看整件事 →OpenAI · 2026等一声 GO5 月下旬有人看到过这块板,6 月 27 日又看到一次,值班人员认为测试不必停。智能体压垮服务器后,服务器重建,测试照常恢复,第二天智能体就有了新板。看整件事 →

玩一玩

出处

  1. 挑战者号航天飞机事故总统调查委员会报告,第 1 卷第五章《事故的促成原因》,1986
  2. 挑战者号航天飞机事故总统调查委员会报告,第 1 卷第六章《根植于历史的事故》,1986
  3. 理查德·费曼,《对航天飞机可靠性的个人观察》,总统调查委员会报告第 2 卷附录 F,1986
  4. Diane Vaughan, The Challenger Launch Decision, Risky Technology, Culture, and Deviance at NASA, 1996(芝加哥大学出版社图书页,增订版)
  5. Columbia Magazine, How the Challenger Disaster Became a Case Study of the 'Normalization of Deviance',2025-26 年冬季号
  6. 哥伦比亚号事故调查委员会报告,第 1 卷第八章《历史即原因》,2003 年 8 月(NASA 技术报告服务器)
  7. 日本国会福岛核事故独立调查委员会报告,执行摘要(英文版),2012(日本国立国会图书馆存档)
  8. Johann Rehberger, The Normalization of Deviance in AI, Embrace The Red, 2025-12-04
  9. 挑战者号航天飞机事故总统调查委员会报告,第 1 卷第三章《事故》,1986
  10. 挑战者号航天飞机事故总统调查委员会报告,第 1 卷第一章《引言》,1986
  11. The National Diet of Japan, The official report of the Fukushima Nuclear Accident Independent Investigation Commission, Executive summary (English edition), 2012 (National Diet Library archive)
  12. 東京電力福島原子力発電所事故調査委員会報告書(要約版), 2012 (Japanese edition, National Diet Library archive)
  13. Bloomberg View editorial, Japan's Unsatisfying Nuclear Report, July 8, 2012
  14. Asahi Shimbun (AJW), Western media, Don't blame Fukushima on 'culture', July 2012 (Japan Disasters Digital Archive copy)
  15. Associated Press via Fox News, AP Interview, Japan nuke probe head defends report, September 13, 2012
  16. US Department of Justice, Plea Agreement with Volkswagen AG, Exhibit 2 Statement of Facts, United States v. Volkswagen AG, E.D. Mich., January 11, 2017
  17. US Department of Justice, Volkswagen AG Agrees to Plead Guilty and Pay $4.3 Billion in Criminal and Civil Penalties, January 11, 2017
  18. US EPA, Notice of Violation to Volkswagen AG, Audi AG and Volkswagen Group of America, September 18, 2015
  19. West Virginia University CAFEE for the ICCT, In-Use Emissions Testing of Light-Duty Diesel Vehicles in the United States, Final Report, May 15, 2014
  20. BBC News, Volkswagen, The scandal explained, updated December 2015
  21. Paul, Weiss, Credit Suisse Group Special Committee of the Board of Directors, Report on Archegos Capital Management, July 29, 2021 (SEC Form 6-K, Exhibit 99.2)
  22. FINMA, Archegos, FINMA concludes proceedings against Credit Suisse, July 24, 2023
  23. Federal Reserve Board, consent order and $268.5 million fine with UBS Group AG for misconduct by Credit Suisse, July 24, 2023
  24. Bank of England, The PRA imposes record fine of £87m on Credit Suisse, July 24, 2023
  25. Report of the Mid Staffordshire NHS Foundation Trust Public Inquiry, Executive summary (Robert Francis QC), HC 947, February 2013
  26. Healthcare Commission, Investigation into Mid Staffordshire NHS Foundation Trust, March 2009
  27. BBC News, Stafford Hospital, Hiding mistakes 'should be criminal offence', February 6, 2013
  28. BBC News, Failing hospital 'caused deaths', March 17, 2009
  29. OpenAI, The Hugging Face incident and the road ahead, August 26, 2026
  30. OpenAI, OpenAI and Hugging Face Incident Technical Report, August 2026
  31. METR, Brief independent investigation of agents' behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident, August 26, 2026
  32. BBC, Unexpected chat between OpenAI bots led to Hugging Face hack, August 26, 2026
  33. BBC, Warning shot or publicity stunt, how worried should we be about the OpenAI hack?, July 25, 2026
  34. The Guardian, OpenAI staff observed warning signs before AI agent hacking crusade caused global alarm, August 26, 2026