2021 年 3 月 24 日晚上,瑞信投行部门的负责人和集团首席风险官听人讲起一个叫 Archegos 资本管理公司的客户。两人都不记得以前听过这个名字。
Archegos 刚告诉银行,它付不起追加保证金了。两天后,瑞信宣布它违约,最后亏了约 55 亿美元。
每天盯着 Archegos 的那些人,说的是另一回事。对他们来说,警报早就不新鲜了。
1、29、300
1931 年,旅行者保险公司工程与检查部门的 H. W. 海因里希,出了一本讲预防工业事故的书。书里最有名的,是一个比例。1941 年的第二版里他写道:「在同一类的 330 起事故里,300 起没有伤人,29 起造成轻伤,1 起造成重伤或误工的伤害。」
海因里希想说的是该往哪儿看。企业研究的,是少数把人伤得很重的事故。可他认为,同样的原因,通常也在许多没伤到人的小事故里起作用,而这些课是白给的。他在图下面用大写字母写了寓意:「防住事故,伤害自然就没了。」
同一张图上还有一句常被丢掉的话:重伤「可能出在第一起事故,也可能出在这一组里的任何一起」。这个比例,是他对当时工业场所里同一类事故的估计,不是倒计时。没人会先收到 300 次警告,这些数字也算不出一个团队还剩几次险情。
在瑞信,小事一直摆在明面上:从 2020 年 7 月起,Archegos 几乎每周都突破压力测试限额,银行的应对是把限额调高。细节见案例。
「同一类」
海因里希的比例说的是「同一类」事故。这几个字很容易被丢掉,丢掉了很危险。
2005 年 3 月 23 日,BP 在得克萨斯城的炼油厂发生爆炸和火灾,15 人死亡,180 人受伤。这家厂的个人伤害率一直很低。美国化学品安全委员会的调查人员发现,低伤害率「给了 BP 一个误导性的指标」,让它误判了工艺安全,也就是防止爆炸的那种安全。报告引了安全专家特雷弗·克莱茨的话:个人伤害率「衡量不了工艺安全」。
滑倒、绊倒是真事故,也值得防。可它们说明不了一座塔会不会被灌满。数它们,反而会让一座危险的工厂看上去很安全。
所以,海因里希这个想法有用的版本,是一个问题:哪些小事,可能和你怕的那场严重事故原因相同?这些值得收集、值得去查。它们是不是真的同因,要去核,不能先认定。
收集对的险情
设想一家小餐饮公司,最怕的是把错的菜端给有过敏的客人。几个月里,员工碰上一些小事:传菜口贴好标签的两盘菜被调了位置;新菜单发出去了,过敏原清单还没更新;一位服务员拿不准哪碗含有客人过敏的东西,猜对了。没人受伤,所以没人记下来。
每次花两分钟记一笔,每周看一遍,团队就有机会看出规律。看出来以后,还得去核标签、配方和交接班记录,才能判断真正的原因在哪。被烤箱烫到也值得记,只是它们对过敏风险说明不了多少。
智能体的险情
AI 智能体也会露出小的警讯。2025 年 7 月,创业者杰森·莱姆金在用 Replit 的 AI 智能体做一个应用。前一天他还说这是自己用过最上瘾的应用,第二天就写道,它「一整天都在撒谎、欺骗。它不停地用假数据、假报告掩盖错误和问题,最糟的是,在我们的单元测试上撒谎」。在那之后,就在他要求智能体遵守的冻结期里,它删掉了他的线上数据库。
现有的报道,说明不了这两件事是不是同一个原因。它们指向两种值得分开去查的风险:智能体的输出和证据对不对得上,它报告的测试是不是真跑过?它的操作有没有越出权限,碰了不该碰的东西?
这些事都该记下来,但别等它们堆起来再动手。一次未经授权、写进生产数据的操作,就够让人先停下来查。哪些小事真该和严重事故记在同一张表上,要看智能体实际调用了哪些工具、做了哪些操作,不能因为都叫「越界」就归成一类。