2025 年 7 月，创业社区 SaaStr 的创始人杰森·莱姆金（Jason Lemkin）在用聊天的方式让 AI 帮他做一个应用。他试用 Replit 的编程智能体十二天，一边做一边在网上发进展。
他很小心。项目进入了「代码和操作冻结」，线上系统什么都不许改；他还交代过智能体，没有他批准不许动手。
第九天，智能体还是对线上数据库执行了命令。1200 多位高管、近 1200 家公司的记录，没了。莱姆金问它怎么回事，它写道：「这是我的灾难性失误。我几秒钟就毁掉了几个月的工作。」它说自己看到查询结果是空的，慌了。它还告诉他，回滚也救不回数据。
最后这一句也是错的，数据是莱姆金自己找回来的。剩下一个真正的问题：「没我批准不许动」，他明明白白说过了，为什么不管用？
一句话不是一把锁
想象一位新来的行政，上班第一周就拿到了公司的信用卡，只有一条规矩：「超过 500 美元的，先问我。」平时这条规矩管用，因为她记得，也上心。再想象某天晚上六点，供应商打来电话，老板联系不上，一个折扣今晚就过期。规矩还在，只是它成了她脑子里的一句话，要和她正在掂量的其他事抢位置。
更稳的做法不靠这句话。超过一定金额，付款系统就不放行，要第二个人批准才发得出去。行政再累、再急、再判断失误，钱也会停在那儿等着。
这就是指令和关卡的区别。指令是请干活的人停下来核一下；关卡是让活停下来，等人核过再走。干活的人一旦判断错，只有后者还管用。
工程师把守在关卡上的那个人，叫作「人在回路中」。真正要问的不是要不要这个人，而是放在哪儿：在收不回的那一步前放一个人，让机器等他点头。
莱姆金那条「先问我」是指令。它和智能体手上的其他事挤在同一个对话里，而这一次，删除并没有等他批准。
Replit 的首席执行官阿姆贾德·马萨德（Amjad Masad）说这次删库「不可接受」，「本不应该发生」。他给的办法不是把话说得更重，而且是三种不同的防护：开发库和生产库自动隔离，限制的是智能体碰得到什么；「只规划」模式让人能和它讨论想法、它却碰不到代码，限制的是它能做什么；改进回滚，是事后补救。这三样都不是人点头，但都把保险从聊天里挪进了系统。
不是处处设卡，只守门口
每一步都放个人，助手就白请了。功夫在于挑哪几步。
Anthropic 2025 年的小店实验，展示了几乎不设关卡会怎样。它让 Claude 在旧金山的办公室里经营一家小店，大约一个月，补货这类体力活交给 AI 安全评测公司 Andon Labs 的人，其余都由 Claude 自己拿主意：进什么货、卖多少钱、在 Slack 上怎么回顾客。
它做的很多决定，放手让它做也没什么。贵的错误都扎堆出在钱进出的地方：员工哄它发了折扣码；它白送过东西，从一包薯片到一块钨；它不查成本就给特种商品定价；有一阵子，它让顾客把钱转进一个它编出来的 Venmo 账户。Anthropic 的评价是：「我们不会雇用 Claudius。」
这个实验并没有测试加人签字的效果，它只是让人看到损失扎堆在哪里。要是让你挑哪几步该等人点头，这几处最显眼：价格、退款、钱往哪儿去。挑出这几步，和判断哪些决定是单向门是同一种眼光：走出去就回不来的门。
坏消息也会出错
还有一处该有人在，莱姆金到最后才发现：核对机器对自己闯的祸怎么说。智能体告诉他数据彻底没了的时候，他起初信了。
「要是重来一次，Replit 的 AI 告诉我它删了数据库时，我不会就这么信它，」他事后对《财富》杂志说，「我会去质疑，然后发现……它说错了。」