2009 年 6 月 1 日，世界时凌晨 2 点 10 分，大西洋上空。法航 447 航班的空速探头被冰晶堵住，飞机一时不知道自己飞得多快。自动驾驶照设计行事：自己断开，把飞机交给驾驶舱里的两名副驾驶。机长八分钟前刚去休息。
故障本身很短。左侧显示屏上的空速错了 29 秒，三个空速读数里最后一个，也在一分钟左右恢复了。
接下来发生的事可不小。操纵飞机的那位副驾驶拉起了机头。失速警告响了起来，有一段连续响了 54 秒没停。飞机爬到约 38000 英尺，速度掉光，失速了。它以每分钟约 10000 英尺的速度往下掉，机头却一直朝上，直到撞上海面。从自动驾驶撒手算起，一共四分二十三秒。机上 228 人全部遇难。
这架飞机塞满了自动化系统，本来就是为了防止这种事。结果，这些系统本身也成了问题的一部分。
一份没人干得了的差事
自动驾驶越靠谱，它撒手时你越接不住。
心理学家莉珊·班布里奇（Lisanne Bainbridge）1983 年就把这件事讲清楚了，论文只有五页，题目叫《自动化的讽刺》。工程师把一份工作自动化，自动化的是他们知道怎么自动化的部分。剩下的都归人，而剩下的往往是最古怪、最罕见、最难的时刻。用她的话说，设计者「还是把那些他想不出怎么自动化的任务，留给了操作员」。
接着，陷阱合上了。手艺不用就会生疏。一个人常年看着机器干活，早就不是当年那个行家了。可机器把控制权交回来的时刻，几乎注定是已经出了岔子的时刻。班布里奇写道，恰恰在这时，操作员「需要比平时更熟练，而不是更生疏；负担更轻，而不是更重」。
就像一个替补门将，整个赛季坐在板凳上，到了点球大战才被派上场。
连「盯着看」本身也是陷阱。班布里奇引用警觉性研究指出：一块屏幕上如果几乎什么都不发生，哪怕是干劲十足的人，也撑不过大约半小时还能保持真正的注意力。
法国航空事故调查局（BEA）对 447 的结论也落在了相近的地方。报告认为，副驾驶那几下猛烈过头的操作，可以用自动驾驶断开带来的惊吓来解释，而「机组缺乏高空飞行的实操训练」让情况更糟。报告还写道，现有训练填补不了「高空根本不存在手动飞行」留下的空白。在那个高度上，一直是自动驾驶在飞。
班布里奇最后一条讽刺最扎心：最成功的自动化系统，几乎从来用不着人插手，「也许恰恰需要在操作员训练上投入最多」。
只负责看着的司机
后来，同样的安排离开了驾驶舱。自动驾驶测试车的驾驶座上，还是留了一个人，以防万一。
2018 年 3 月 18 日晚上，一辆 Uber 自动驾驶测试车在美国亚利桑那州坦佩市撞上一名推着自行车横穿马路的女子，她不幸身亡。系统在撞击前 5.6 秒就探测到了她，却始终没弄明白她是什么、要往哪走。按照设计，系统不会为了避撞自己猛踩刹车，它指望的是车里那个人。
车里那个人正低头看着手机的方向。调查人员查到的记录显示，她的账号在整趟行程里一直在播一部电视剧。车在行驶的时候，她有 34% 的时间在往下看。撞击前大约一秒，她才抬起头。
美国国家运输安全委员会（NTSB）认定她分心是主因，同时也追究了 Uber，其中一条是：没有足够的办法应对操作员的「自动化自满」。事故前五个月，Uber 刚把每辆测试车上的操作员从两个减成一个。
两起事故，相隔九年，一起在天上，一起在夜里的马路上。两次都是机器包办了日常的活，却把它应付不了的那一刻，交到了一个人手里。
让手一直热着
想象一位会计，记账软件现在能自己把一个月的账对平。一年来，她只碰软件对不上的那几笔。到了季末，软件标出一笔哪种规律都套不上的账：一笔付款拆进了三个账户，用了两种货币。这种账她以前最拿手，可从去年春天起就没亲手做过一笔，而审计周一就到。
日常的活，本来就是她的练习。把它拿走，例外反而更难，因为它来的时候，你是冷启动。
把飞机、汽车或账本换成 AI 智能体，班布里奇说的两个条件也可能出现。AI 大多数时候是对的，你很少有机会亲手干这份活；你剩下的工作是等它偶尔出错，中间是长长一段什么都没发生的时间。
447 之后，BEA 要的是练习。两名副驾驶没有接受过在高空手动处理失速的训练，于是 BEA 建议设置「专门的、定期的练习」，练的正是这件事。Uber 在坦佩事故之后，把第二名操作员放回了测试车上。
用 AI 工具时，这两根杠杆也在。可以试一种安排：一部分活自己亲手做，比如十件做一件，让手艺不生疏；其余的抽一部分查。让工具标出自己最没把握的答案，能帮你分配注意力，但它对自己的把握，代替不了一次独立的核对。
不然，等 AI 终于把那道难题交回给你，你又成了那个替补门将。