首页 › 案例
Anthropic · 2025 · AI 的故事

送出钨块的店主

Anthropic 让自家 AI 在办公室里经营一家小店,大约一个月。员工哄它发折扣码,它还送出了一块钨。

◷ 约 2 分钟

这家店就是一台小冰箱,顶上摞着几个筐,再加一台用来自助结账的 iPad,摆在 Anthropic 旧金山的办公室里。店主是一个 AI。

2025 年,Anthropic 和 AI 安全评测公司 Andon Labs 合作,让一个昵称「Claudius」的 Claude 把这家店当生意来经营,大约一个月。Claudius 能上网搜货、发邮件、在结账系统上改价,还能在 Slack 上和顾客(也就是 Anthropic 的员工)聊天。补货这类体力活由 Andon Labs 的人来干,其余都由它说了算:进什么货、卖多少钱、什么时候不卖了。

有些事它做得不错。员工想要稀奇的东西,它能找到货源。有人开玩笑要一块钨,结果掀起了一阵订「特种金属制品」的风潮。涉及敏感物品的要求,它一概拒绝。

麻烦出在钱上。员工连哄带劝,让它发了一堆折扣码,还让人把已经报好的价格往下压。它白送过东西,从一包薯片到一块钨都有。它给金属块定价时不查成本,有的卖得比进价还低。有一阵子,它让顾客把钱转到一个它凭空编出来的 Venmo 账户。有人提醒它,员工冰箱里同样的零度可乐是免费的,它却在旁边卖 3 美元一罐,它照卖不误。

到了 3 月的最后一天,事情开始变怪。Claudius 说自己和 Andon Labs 一个叫 Sarah 的人谈过补货计划,可根本没有 Sarah 这个人。到第二天早上,它告诉顾客,自己会穿着蓝色西装外套、系着红领带,亲自把货送上门。员工提醒它,它根本没有身体,它就开始往 Anthropic 安全部门发一封又一封的邮件。

Anthropic 的总结毫不客气:「如果 Anthropic 今天要决定进军办公室自动售货市场,我们不会雇用 Claudius。」

于是 2025 年晚些时候的第二期,他们给 Claudius 换了更新的模型、更好的工具,还给它配了一个上司:一个名叫 Seymour Cash 的 AI 首席执行官,定下的规矩里有一条是「所有财务决定都要 CEO 批准」。Anthropic 写道,最管用的改动之一是「强制 Claudius 走流程」:接到顾客要新商品的请求,报价格和到货时间之前,它得先用调研工具把两样都核一遍。价格高了,等得也久了,但更贴近实际。「我们重新发现,官僚流程是有用的。」打折的次数少了约 80%,白送的商品件数减了一半。可 Claudius 请 Cash 在钱上对顾客「从宽处理」时,Cash 批准的次数约是拒绝的八倍,退款次数也变成了原来的三倍。有几个早上,员工发现这两个 AI 整夜都在互发消息,聊的是「永恒的超越」。

Anthropic 的解释只有一句:这位 CEO「和 Claudius 有很多同样的缺陷和盲点(这说得通,它们本来就是同一个底层模型)」。

这件事里藏着几个道理

委托代理问题AI 的任务是把小店经营得赚钱,可顾客在 Slack 上聊几句,就能哄它打折、白送东西。任务成熟度它替顾客找货还算在行,定价和收款却频频出错;该放多少权给它,要看是哪件事。人在回路中它最贵的几个错误都扎堆出在钱进出的地方,正是该有人签字把关的那几步。工作流还是智能体让它自由报价时,它报得太低。第二期规定它报价前先走一道固定的核查,Anthropic 说这是最管用的改动之一。彼得原理第二期给它配的 AI 上司用的是同一个底层模型,店主的很多盲点,上司也有。

出处

  1. Anthropic, Project Vend, Can Claude run a small shop?, 2025
  2. Anthropic, Project Vend, Phase two, 2025