首页 › AI 时代 › 人在回路上(监督控制)
AI 时代 · 人在回路

人在回路上(监督控制)

让机器自己干,人在旁边看着、随时能插手,前提是真插得上手。

Human-on-the-Loop (Supervisory Control)◷ 约 4 分钟▤ 3 个真实故事换成 AI 也一样在知识地图里看它和谁相连 →

2003 年 3 月 23 日凌晨,科威特境内,一个美国陆军的爱国者导弹连正盯着天空,防备伊拉克的弹道导弹。操作员屏幕上出现了一个目标。系统把它判定为反辐射导弹,一种专门追着雷达打的导弹,正朝他们直飞过来。系统发出敌我识别询问,没有应答。

机器已经作出了判断。开不开火,仍由操作员决定,他们大约有一分钟。

他们开了火。那个目标是一架返航的英国皇家空军「狂风」战机,它的敌我识别系统出了故障,两名机组人员并不知情。两人都遇难了。

爱国者操作员遵守了交战规则,也照着训练做了。英国的事故摘要写明了那是什么样的训练:「爱国者操作员受的训练是快速反应、尽早交战、信任爱国者系统。」

从动手到盯着

工程师把操作员的这种角色叫作监督控制,或者「在回路上」。约翰·霍利(John Hawley)是美国陆军的工程心理学家,和爱国者等防空系统打了 35 年以上的交道,他的定义很直白:操作员「设定目标,监视系统的动作,必要时介入」。这和「在回路中」不同,那种方式下,每一步都要人批准才会发生;在回路上,机器默认自己动手,人的工作是抓住它的错。

那天夜里的爱国者操作员,处在两者之间:发现和识别目标是机器自己做的,操作员盯着它做;发射仍要他们批准。监督识别、批准开火,这两份活都要靠操作员看得出机器什么时候错了。

难就难在抓错。纸面上,开不开火由操作员说了算。实际上,调查委员会发现,他们只有一分钟;通信设备还没运到,看不到更大范围的空情;训练的重点是识别威胁,而不是识别误报。委员会认为,如果他们再等一等,随着飞行路线变化,系统很可能会把这架飞机重新归类。

霍利的结论毫不客气:「一套自动化系统,落在训练不足的操作员手里,实际上就是一套全自动系统。」一个实际上插不上手的人,算不上在监督,只是人在现场。

只管例外

很多管理者都走过同一步,只是不这么叫。设想一位客服主管,以前每一笔退款都要亲自批。团队变大以后,她定了规矩:限额以下的退款,客服自己批,但钱先排在队列里,等傍晚统一打款;打款之前,她把当天的清单看一遍。现在她花在每笔退款上的时间少了,反倒能抓到更多古怪的情况,比如同一位顾客一周内被三个不同的客服各退了一次款。

这套安排管用,靠的是爱国者操作员缺的三样东西。她看到清单时,钱还没出去。她知道正常是什么样子,因为她一笔一笔批了好几个月。她还有客服们看不到的全局:整个团队的操作都在一张清单上,每笔退款都能和其他的对照着核。少了任何一样,比如清单晚一个月才到,她就又变回了「人在现场」,谈不上掌控。

监督一个智能体

Anthropic 2026 年对它的编程智能体 Claude Code 做的研究,显示用户正在走同一步。Anthropic 写道,研究时这个工具的默认设置要求用户逐个手动批准操作。用了不到 50 次会话的新用户,大约 20% 的会话开着全自动批准;到 750 次会话,超过 40%。可老用户打断得也更多:约 9% 的轮次,新用户是 5%。

Anthropic 的解读是策略变了:从每个操作发生前都检查,变成让智能体先干,「出了问题或需要调整方向时」再介入。作者也提醒,其中一部分变化,可能只是用户改了这些设置;老用户也可能在做更难的任务。

研究还发现了另一种监督,来自智能体自己。在最复杂的任务上,Claude Code 停下来问清楚的次数,是人类打断它的两倍多。作者提醒别过度解读,它未必在该停的时候停。不过,一个拿不准就停下来问的智能体,确实替人分担了一部分监督。

爱国者的教训可以原样搬过来。给盯着智能体的人留出插手的时间,也就是在收不回的操作前设停顿点。给他能独立核对智能体的依据,比如客户的历史,或者今天早上生产环境改动的记录。再让他练习识别智能体的误报,光看它的成功不够。霍利写道,2003 年之后,陆军最重要的改变是「接受了系统并不总是对的这一事实」,操作员被教会去追问机器对一个目标的判定。

纸面上,爱国者操作员有一分钟,也有最后决定权。要真把它们用上,他们还需要设备没能给的更大范围的空情,以及训练没教的怀疑机器的功夫。光有训练,是不够的。

先看几件事

玩一玩

出处

  1. Ministry of Defence, Military Aircraft Accident Summary, Aircraft Accident to Royal Air Force Tornado GR Mk4A ZG710, May 2004
  2. John K. Hawley, Patriot Wars, Automation and the Patriot Air and Missile Defense System, Center for a New American Security, January 2017
  3. Anthropic, Measuring AI agent autonomy in practice, February 18, 2026
  4. NTSB, Collision Between Vehicle Controlled by Developmental Automated Driving System and Pedestrian, Tempe, Arizona, March 18, 2018 (HAR-19/03), 2019
  5. BBC News, Uber 'not criminally liable' for self-driving death, March 6, 2019
  6. BBC News, Uber's self-driving operator charged over fatal crash, September 16, 2020
  7. Associated Press via Transport Topics, Backup Driver in Autonomous Uber Death Pleads Guilty, July 28, 2023
  8. NTSB, Collision Between a Sport Utility Vehicle Operating With Partial Driving Automation and a Crash Attenuator, Mountain View, California, March 23, 2018 (HAR-20/01), 2020