首页 › 案例
Uber · 2018 · AI 的故事

驾驶座上的后备

自动驾驶车在撞击前 5.6 秒就看见了她。本该接手的那个人,正低头看着手机。

◷ 约 2 分钟

2018 年 3 月 18 日夜里,一辆沃尔沃 SUV 正在美国亚利桑那州坦佩市的测试路线上自己开着。车属于正在研发自动驾驶的 Uber,已经在自动模式下跑了约 19 分钟。驾驶座上坐着一名操作员,她的工作是盯着路面,一旦出问题就接手。

车速每小时 45 英里。前方,一名女子推着自行车横穿马路,附近没有人行横道。

系统在撞击前 5.6 秒就探测到了她,也一直在跟踪,却始终没认出她是行人,也没判断出她要往哪走。等系统认定要撞上时,靠它自己的刹车已经来不及了。何况按照设计,遇到这种情况它不会自己猛踩刹车,它指望的是车里那个人。

那个人正低头看着中控台底部,她把手机放在了那里。撞击前大约一秒,她才抬起头;撞上前 0.02 秒,她开始打方向盘。被撞的女子当场身亡。

美国国家运输安全委员会(NTSB)还原了车里发生的事。车在行驶时,操作员有 34% 的时间在往中控台下方看;最后不到三分钟里,她往那儿瞟了 23 次。流媒体平台的记录显示,她的账号在整趟行程中一直在播一部电视剧。

NTSB 认定的可能原因,排在第一位的是她分心。但委员会没有就此打住,同时也指出了 Uber 安全文化的问题,其中包括「对车辆操作员的监督不力」,以及「缺乏应对操作员自动化自满的有效机制」。

刑事追责却走向了另一边。2019 年,检方认定追究「Uber 公司的刑事责任,没有依据」。2020 年,操作员被控过失杀人;2023 年,她承认了鲁莽危及他人罪,被判三年有监管的缓刑。

还有一个细节。事故前大约五个月,Uber 的测试车上还坐着两名操作员:一个盯路,一个记录系统的表现。后来 Uber 把两份工作并成了一份。NTSB 指出,第二个人的存在,本身也在提醒第一个人:你的工作是什么。

事故之后,Uber 又改回了两个人。

这件事里藏着几个道理

自动化的讽刺这辆车只在罕见的紧急时刻才需要人,于是人得长时间干盯着,警觉性研究说这正是人难以坚持的事。人在回路上(监督控制)设计上靠操作员在紧急时刻踩刹车,而 NTSB 认定 Uber 没有足够的办法让操作员保持专注。自动化偏差调查人员点名的风险之一是「自动化自满」,而 Uber 没有足够的办法应对。道德缓冲区检方认定追究 Uber 刑责没有依据。被公司从两人减成一人、独自守在车里的操作员,最后认了罪。

出处

  1. NTSB, Collision Between Vehicle Controlled by Developmental Automated Driving System and Pedestrian, Tempe, Arizona, March 18, 2018 (HAR-19/03), 2019
  2. BBC News, Uber 'not criminally liable' for self-driving death, March 6, 2019
  3. BBC News, Uber's self-driving operator charged over fatal crash, September 16, 2020
  4. Associated Press via Transport Topics, Backup Driver in Autonomous Uber Death Pleads Guilty, July 28, 2023