2003 年 3 月 23 日凌晨,科威特境内,一个美国陆军的爱国者导弹连正盯着天空,防备伊拉克的弹道导弹。操作员屏幕上出现了一个目标。系统把它判定为反辐射导弹,一种专门追着雷达打的导弹,正朝他们直飞过来。系统发出敌我识别询问,没有应答。
机器已经作出了判断。开不开火,仍由操作员决定,他们大约有一分钟。
他们开了火。那个目标是一架返航的英国皇家空军「狂风」战机,它的敌我识别系统出了故障,两名机组人员并不知情。两人都遇难了。
爱国者操作员遵守了交战规则,也照着训练做了。英国的事故摘要写明了那是什么样的训练:「爱国者操作员受的训练是快速反应、尽早交战、信任爱国者系统。」
从动手到盯着
工程师把操作员的这种角色叫作监督控制,或者「在回路上」。约翰·霍利(John Hawley)是美国陆军的工程心理学家,和爱国者等防空系统打了 35 年以上的交道,他的定义很直白:操作员「设定目标,监视系统的动作,必要时介入」。这和「在回路中」不同,那种方式下,每一步都要人批准才会发生;在回路上,机器默认自己动手,人的工作是抓住它的错。
那天夜里的爱国者操作员,处在两者之间:发现和识别目标是机器自己做的,操作员盯着它做;发射仍要他们批准。监督识别、批准开火,这两份活都要靠操作员看得出机器什么时候错了。
难就难在抓错。纸面上,开不开火由操作员说了算。实际上,调查委员会发现,他们只有一分钟;通信设备还没运到,看不到更大范围的空情;训练的重点是识别威胁,而不是识别误报。委员会认为,如果他们再等一等,随着飞行路线变化,系统很可能会把这架飞机重新归类。
霍利的结论毫不客气:「一套自动化系统,落在训练不足的操作员手里,实际上就是一套全自动系统。」一个实际上插不上手的人,算不上在监督,只是人在现场。
只管例外
很多管理者都走过同一步,只是不这么叫。设想一位客服主管,以前每一笔退款都要亲自批。团队变大以后,她定了规矩:限额以下的退款,客服自己批,但钱先排在队列里,等傍晚统一打款;打款之前,她把当天的清单看一遍。现在她花在每笔退款上的时间少了,反倒能抓到更多古怪的情况,比如同一位顾客一周内被三个不同的客服各退了一次款。
这套安排管用,靠的是爱国者操作员缺的三样东西。她看到清单时,钱还没出去。她知道正常是什么样子,因为她一笔一笔批了好几个月。她还有客服们看不到的全局:整个团队的操作都在一张清单上,每笔退款都能和其他的对照着核。少了任何一样,比如清单晚一个月才到,她就又变回了「人在现场」,谈不上掌控。
监督一个智能体
Anthropic 2026 年对它的编程智能体 Claude Code 做的研究,显示用户正在走同一步。Anthropic 写道,研究时这个工具的默认设置要求用户逐个手动批准操作。用了不到 50 次会话的新用户,大约 20% 的会话开着全自动批准;到 750 次会话,超过 40%。可老用户打断得也更多:约 9% 的轮次,新用户是 5%。
Anthropic 的解读是策略变了:从每个操作发生前都检查,变成让智能体先干,「出了问题或需要调整方向时」再介入。作者也提醒,其中一部分变化,可能只是用户改了这些设置;老用户也可能在做更难的任务。
研究还发现了另一种监督,来自智能体自己。在最复杂的任务上,Claude Code 停下来问清楚的次数,是人类打断它的两倍多。作者提醒别过度解读,它未必在该停的时候停。不过,一个拿不准就停下来问的智能体,确实替人分担了一部分监督。
爱国者的教训可以原样搬过来。给盯着智能体的人留出插手的时间,也就是在收不回的操作前设停顿点。给他能独立核对智能体的依据,比如客户的历史,或者今天早上生产环境改动的记录。再让他练习识别智能体的误报,光看它的成功不够。霍利写道,2003 年之后,陆军最重要的改变是「接受了系统并不总是对的这一事实」,操作员被教会去追问机器对一个目标的判定。
纸面上,爱国者操作员有一分钟,也有最后决定权。要真把它们用上,他们还需要设备没能给的更大范围的空情,以及训练没教的怀疑机器的功夫。光有训练,是不够的。