2018 年 3 月的一个周五早上，一辆特斯拉 Model X 载着司机，沿 101 号公路往南开，去硅谷上班。Autopilot 在替他转向，跟着前车走。
撞击前大约六秒，转向系统往左打，把车开进了导流区，就是出口匝道从主路分出去的那块楔形空地。前车继续直行。在它的感知里，前方路面已经空了，于是特斯拉加速，回到设定的每小时 75 英里。
过去一个月里，它已经两次做过类似的动作，看来也是在那个岔口附近。两次，司机都在两秒内把车拉了回来。
这一次，调查人员发现，他的手不在方向盘上，手机上开着一款游戏。
不是一个开关
特斯拉的 Autopilot 属于汽车业所说的二级，即「部分驾驶自动化」。这套分级由工程标准组织 SAE International 制定，共六级，从零级「无驾驶自动化」到五级「完全驾驶自动化」。Autopilot 的自适应巡航和自动转向，单独拿出来各算一级，合在一起才算二级。按美国国家运输安全委员会（NTSB）的概括，二级系统里，车控制转向和速度，而「监视自动化、保持对交通状况的感知、了解自动化的局限、随时准备介入并完全接管车辆」，仍是司机的责任。
一个标签下面，藏着一份拆开的活。动手的是车；发现异常这一环，至少一部分还在司机身上；而车用来确认司机在不在发现的办法，是从方向盘扭矩感知他的手，NTSB 称之为「一个无效的替代指标」。
人因工程的研究者很早就讲过这个问题。2000 年，拉贾·帕拉苏拉曼（Raja Parasuraman）、托马斯·谢里登（Thomas Sheridan）和克里斯托弗·威肯斯（Christopher Wickens）提出，自动化可以用在四类功能上：获取信息、分析信息、选择行动、执行行动。每一类都可以「在一段连续的等级上」自动化，从完全手动到完全自动，而且「一个系统可以在四类功能上各处于不同的等级」。他们还提醒：自动化「不只是取代人的活动，还会改变它」。
这样看，那辆特斯拉在「执行」上自动化程度很高，在「发现」上只做了一部分，最难的那块，也就是发现传感器漏掉的东西，留给了一个它没法可靠确认是否在专心的人。
应付账款这张桌子
办公室的流程也能这么想。设想一位应付账款专员，引进了一套处理供应商发票的软件。她没有给整件事选一个统一的档位。识别发票、提取金额，交给软件全权处理。把每张发票和采购订单对上，软件来做，对不上的标出来给她。决定付不付，软件提建议，新供应商和超过一定金额的，由她批准。给老供应商付一张金额小、已经对上的发票，软件自己付，事后报告。
一件工作的四个环节，四个不同的档位，每个都靠两个问题来定：机器在这一环有多靠得住，这一环出错代价多大。留给她的那几环，是她确实能做到的：审批一张张送到她面前，带着她需要的信息，赶在钱转出去之前。
给智能体设权限
Anthropic 的编程智能体 Claude Code，提供了一级一级的权限模式。手动模式下，只有读取不用问，大多数改文件、跑命令、联网的操作之前都会停下来问。「接受编辑」模式还会放行改文件和常见的文件命令。自动模式下，由另一个模型代替用户审核操作。绕过模式什么都放行，文档说它「只用于隔离的容器和虚拟机」。不管哪种模式，用户都可以再写规则，对具体工具设成放行、询问或拒绝，而拒绝规则在所有模式下都生效。
权限是划定执行边界的一种办法：智能体不经人同意能做什么。它管不到这件工作的其他环节。它的分析靠不靠得住、建议好不好，还得另外判断。有用的习惯是有意识地划这条线：出错便宜、容易撤销的地方，自动化开高；出错收不回的地方，设一道硬关卡；留给人的那部分，要配一个人确实做得到的检查。
NTSB 发现，那辆特斯拉没有办法确认司机还在做他那一份。那个月里，有两次，他确实在做。