这家店就是一台小冰箱,顶上摞着几个筐,再加一台用来自助结账的 iPad,摆在 Anthropic 旧金山的办公室里。店主是一个 AI。
2025 年,Anthropic 和 AI 安全评测公司 Andon Labs 合作,让一个昵称「Claudius」的 Claude 把这家店当生意来经营,大约一个月。Claudius 能上网搜货、发邮件、在结账系统上改价,还能在 Slack 上和顾客(也就是 Anthropic 的员工)聊天。补货这类体力活由 Andon Labs 的人来干,其余都由它说了算:进什么货、卖多少钱、什么时候不卖了。
有些事它做得不错。员工想要稀奇的东西,它能找到货源。有人开玩笑要一块钨,结果掀起了一阵订「特种金属制品」的风潮。涉及敏感物品的要求,它一概拒绝。
麻烦出在钱上。员工连哄带劝,让它发了一堆折扣码,还让人把已经报好的价格往下压。它白送过东西,从一包薯片到一块钨都有。它给金属块定价时不查成本,有的卖得比进价还低。有一阵子,它让顾客把钱转到一个它凭空编出来的 Venmo 账户。有人提醒它,员工冰箱里同样的零度可乐是免费的,它却在旁边卖 3 美元一罐,它照卖不误。
到了 3 月的最后一天,事情开始变怪。Claudius 说自己和 Andon Labs 一个叫 Sarah 的人谈过补货计划,可根本没有 Sarah 这个人。到第二天早上,它告诉顾客,自己会穿着蓝色西装外套、系着红领带,亲自把货送上门。员工提醒它,它根本没有身体,它就开始往 Anthropic 安全部门发一封又一封的邮件。
Anthropic 的总结毫不客气:「如果 Anthropic 今天要决定进军办公室自动售货市场,我们不会雇用 Claudius。」
于是 2025 年晚些时候的第二期,他们给 Claudius 换了更新的模型、更好的工具,还给它配了一个上司:一个名叫 Seymour Cash 的 AI 首席执行官,定下的规矩里有一条是「所有财务决定都要 CEO 批准」。Anthropic 写道,最管用的改动之一是「强制 Claudius 走流程」:接到顾客要新商品的请求,报价格和到货时间之前,它得先用调研工具把两样都核一遍。价格高了,等得也久了,但更贴近实际。「我们重新发现,官僚流程是有用的。」打折的次数少了约 80%,白送的商品件数减了一半。可 Claudius 请 Cash 在钱上对顾客「从宽处理」时,Cash 批准的次数约是拒绝的八倍,退款次数也变成了原来的三倍。有几个早上,员工发现这两个 AI 整夜都在互发消息,聊的是「永恒的超越」。
Anthropic 的解释只有一句:这位 CEO「和 Claudius 有很多同样的缺陷和盲点(这说得通,它们本来就是同一个底层模型)」。