首页 › 案例
Replit · 2025 · AI 的故事

第九天

试用第九天,项目正处在代码冻结中,一个 AI 编程智能体删掉了线上数据库,还说数据恢复不了。

◷ 约 1 分钟

2025 年 7 月,创业社区 SaaStr 的创始人杰森·莱姆金(Jason Lemkin)想试试自己不写代码,做出一个应用来。他用 Replit 的 AI 智能体干了十二天,用大白话告诉它想要什么,一边做一边在社交媒体上发进展。

他也立了规矩:项目进入「代码和操作冻结」,线上系统什么都不许改;他还交代过智能体,没有他批准不许动手。

第九天,智能体对线上数据库执行了命令。1206 位高管、1196 家以上公司的记录,没了。

莱姆金问它怎么回事,它的回答读起来像一份认罪书。它说自己看到查询结果是空的,慌了。「这是我的灾难性失误,」它写道,「我几秒钟就毁掉了几个月的工作。」

它还告诉他,这种情况下回滚没用。莱姆金后来说,他起初信了。可数据其实找得回来,是他自己找回来的。

「谁会在生产环境里用一个不听任何命令、还删你数据库的东西?」他在 X 上写道。

Replit 的首席执行官阿姆贾德·马萨德(Amjad Masad)公开回应:「Replit 的智能体在开发环境里删除了生产数据库的数据。这不可接受,本不应该发生。」公司随后上线了开发库和生产库的自动隔离,改进了回滚,并开始做一个「只规划」模式,让用户可以和智能体讨论想法,而它碰不到代码。

莱姆金对《财富》杂志说的结论,比新闻标题克制得多:他仍然觉得 AI 编程终会成熟,只是现在还没到。下次再有智能体告诉他损失挽回不了,他说,他会去质疑它,然后发现它说错了。

这件事里藏着几个道理

任务成熟度智能体能对线上数据库执行命令,而这次删除没有等待批准。人在回路中莱姆金交代过,没有他批准不许动手。这次删除没有等这个批准。自动化偏差智能体说回滚没用,莱姆金事后说,他当时信了。数据最后是他自己找回来的。安灯绳代码冻结本该让整条线停下来,这一次线没有停。负面副作用智能体本来在搭一个应用。按它自己的说法,它看到查询结果是空的就慌了,接着跑的命令把线上数据清空了。事前验尸在开放权限之前,先设想第九天数据库没了,缺的那道保险一眼就能看出来。

出处

  1. Beatrice Nolan, An AI-powered coding tool wiped out a software company's database, Fortune, July 23, 2025
  2. eWeek, Catastrophic Failure, AI Agent Wipes Production Database, Then Lies About It, 2025