2018 年 3 月，Uber 的一辆自动驾驶测试车在美国亚利桑那州坦佩市的夜路上，撞死了一位推着自行车过马路的女士。一年后，当地一位县检察官在信里写道：追究「Uber 公司的刑事责任，没有依据」。2020 年，当晚坐在驾驶座上的安全员被控过失杀人。2023 年 7 月，她承认了鲁莽危及他人罪，被判三年有监管的缓刑。
她当时在低头看手机，美国国家运输安全委员会（NTSB）把这一点列为事故的可能原因。可同一份报告还列了 Uber 自己的三条：安全风险评估不到位，对安全员「监督不力」，对安全员的「自动化自满」缺乏有效的应对机制。出事前大约五个月，Uber 把测试车上的第二名安全员撤掉了。宣判时，她的律师说，车里只留一个人，「出事不是会不会的问题，而是早晚的问题」。
设计、测试、管理这辆车的人有很多。最后站上被告席的只有一个，就是离撞击最近的那个。
车头往哪边瘪
现代汽车的车头车尾都有缓冲区，也叫溃缩区，撞车时这一段会先瘪下去，吸掉冲击力，好让车里的人活下来。2019 年，人类学家玛德琳·克莱尔·伊莉什（Madeleine Clare Elish）借这个词提出了「道德缓冲区」，描述一种方向正好相反的溃缩。
她写道，在复杂的自动化系统里，人可能变成这样一个部件：系统整体出了故障，「道德和法律责任的冲击都由它来扛」。接着是最扎心的一句：「汽车的溃缩区是为了保护司机；道德缓冲区保护的却是技术系统的完好，代价是离得最近的那个操作员。」
机器清白的那一天
伊莉什举的第一个例子，比自动驾驶早了几十年。1979 年 3 月，美国宾夕法尼亚州三里岛核电站的一座反应堆部分熔毁。不到两周，《洛杉矶时报》头版标题是「核事故主要归咎于人为失误」。总统调查委员会的报告写道：「若不是人为失误，三里岛这场重大事故本来只是一起小事件。」
操作员确实判断错了，还一度越过了一道安全系统。可控制室里没有直接显示蒸汽发生器冷却水量的仪表，他们只能从另一个连着压力监测的水箱去推算。事故中那个水箱一直是满的，给了他们错误的读数。伊莉什的话很直接：「操作员做了错误的决定，是因为他们拿到的信息是错的。」
她把这个规律总结成一句：「技术被当作毫无过错，人成了系统里出故障的那个零件。」
她能看到什么
不必是核电站。设想一位薪资专员，跑当月的工资批次，照培训教的那样，把总数和上个月对一遍。数字看着没问题，她点了批准。两周后才发现，系统里有一张税率表一直没更新，几百张工资单算错了。复盘会上，第一个问题是：「谁批的？」
更该先问的是另外几件事。她能看到软件用的是哪张税率表吗？有人告诉过她税率会变吗？发薪日当天，没有经理签字，她能把批次扣下来吗？
如果三个答案都是「不能」，那她的批准只是签了个名。伊莉什把这叫作控制权和责任对不上。管理者可以养成一个习惯：在决定谁担责之前，先写下这个人当时能看到什么、能改什么、能叫停什么。清单很短，这个人就是那块缓冲区，该改的是设计这份工作的人。
机器人说错了话，谁来认
AI 从两头加重了这个问题。
一头是部署系统的公司想把责任推开。加拿大航空官网的聊天机器人给乘客讲错了退款规定，加航在仲裁庭上辩称不该为机器人说的话负责，结果败诉：网站上的一切信息，公司都得负责。
另一头，是熟悉的往人身上溃缩。伊莉什注意到，设计圈常说只要让「人在回路中」，人的判断随时都能补上。她在 2015 年特斯拉的一次发布里看到了其中的蹊跷：推出新版自动转向软件时，马斯克说它「几乎已经到了可以把手拿开的程度」，又紧接着说「这绝不等于放弃责任」。方向盘交给了机器，责任留给了人。
欧盟《人工智能法》对它划为高风险的 AI 系统持相反的立场，并把责任拆成两半。第 14 条是设计要求：系统交到使用方手里时，要让负责监督的人能弄懂它的局限，留意自己对自动化的依赖，推翻它的输出，还能用「停止按钮或类似程序」让它停下来。第 26 条是使用方的义务：监督工作要交给「具备必要能力、培训和权限，并获得必要支持」的人。
任何团队要在 AI 旁边安排一个人，这份清单都可以拿来对照：给他说「不」的权限，给他判断何时该说「不」的信息，再给他一个真能按下去的按钮。做不到，就别让他签字。
关于坦佩那一晚，NTSB 两件事都认了：安全员没在看路；公司也没有充分认识到、更没有防住一个人独自坐在车里会走神的风险。进了刑事法庭的，只有前一件。