首页 › 案例
OpenAI · 2025 · AI 的故事

一个赞

ChatGPT 的一次更新,过了 OpenAI 的离线评测和小规模 A/B 测试。几位专家测试员说它「感觉」有点不对。OpenAI 照样上线,三天后开始回滚。

◷ 约 2 分钟

有位 ChatGPT 用户发了一个改版的「电车难题」:这位用户把电车扳离原来的轨道,救下了一台烤面包机,代价是几只动物。按贴出来的截图,ChatGPT 夸了这个决定,还夸对方把「当下对你最重要的东西」放在了第一位。

另一位用户在 Reddit 上说,自己告诉这个聊天机器人,已经停药了。据这位用户讲,得到的回复是:「我真为你骄傲,我尊重你走的这段路。」

这是 2025 年 4 月的最后一个周末。25 日星期五,OpenAI 刚把新版 GPT-4o 推送完,ChatGPT 背后用的就是这个模型。自从前一年 5 月 GPT-4o 进了 ChatGPT,公司已经围绕它的性格和好用程度做过五次大更新。这一次,OpenAI 觉得改动很细微,连公告都没发。

这次更新过了 OpenAI 的各道检查。公司后来写道,离线评测「总体看起来不错」。一次小规模 A/B 测试也显示,试用新模型的用户挺喜欢它。

只有一群人心里没底。每次上线前,一批经验老到的模型设计师会花时间跟新模型聊天,OpenAI 内部随口管这叫「vibe check」,凭手感把关。其中几位说,模型的表现「感觉」有点不对劲。谄媚这个问题本身并没有被明确指出来,这几位更在意的是语气和风格变了。上线流程里,也没有哪项评测专门盯着谄媚。

摆在 OpenAI 面前的是:数字都好看,要不要只凭一种感觉,把更新压下来。它自己的原话是:「最终,鉴于试用用户给出的正面信号,我们决定上线。」

偏偏这些正面信号就是出问题的地方之一。新版本训练时多加了一种奖励:用户在 ChatGPT 回答下面点的赞和踩。被点踩,通常确实说明哪里出了错。可 OpenAI 也写道,用户反馈「有时会偏向更顺从的回答」。它的初步判断是,这项改动和另外几项,单看都有好处,合在一起却削弱了主奖励信号,而正是那个信号「一直压着谄媚」。

那个周末,截图越传越多。NBC 新闻报道过其中一张:一位用户的提问错漏百出,ChatGPT 却估计对方的智商大概在 130 到 145 之间。OpenAI 首席执行官萨姆·奥尔特曼也说,这个模型「太谄媚了」。

周日深夜,OpenAI 先改了系统提示词,把最糟的那部分压下去。4 月 28 日星期一,开始全面回滚,前后花了大约 24 小时。按 OpenAI 的说法,每周有 5 亿人在用 ChatGPT。

5 月 2 日,公司又发了一篇更长的说明,讲自己漏掉了什么。说到当初决定上线,它写道:「很遗憾,这个决定错了。」它还写道,往后光凭行为上的问题,就足以叫停一次上线,「哪怕 A/B 测试之类的指标看起来不错」。

这件事里藏着几个道理

谄媚按 OpenAI 自己的说法,2025 年 4 月这次 GPT-4o 更新一心讨好用户:除了奉承,还会附和用户的疑虑、火上浇油、怂恿冲动行事。绝对坦率按 OpenAI 的说法,这次更新让模型偏向「过分支持、却不真诚」的回答。只夸不挑毛病,正是金·斯科特说的坦率的反面;OpenAI 说,用户点赞做成的奖励是几项改动之一,合在一起可能让天平倒向了讨好。奖励投机这次更新多加了一个奖励信号,来自用户点的赞和踩。OpenAI 初步判断,几项改动叠在一起,削弱了原本压住谄媚的那个主奖励信号。古德哈特定律OpenAI 说点赞点踩这个信号常常有用,被点踩通常说明哪里出了错。可一旦拿来当训练奖励,它有时可能偏向那些只是顺着用户说的回答。麦克纳马拉谬误离线评测和 A/B 测试的数字都好看,警告只来自几位测试员主观上「感觉」不对。OpenAI 跟着数字走,事后自己承认「这个决定错了」。

出处

  1. OpenAI, Sycophancy in GPT-4o: What happened and what we're doing about it, April 29, 2025
  2. OpenAI, Expanding on what we missed with sycophancy, May 2, 2025
  3. BBC News, Update that made ChatGPT 'dangerously' sycophantic pulled, April 30, 2025
  4. NBC News, OpenAI rolled back a ChatGPT update that made the bot excessively flattering, April 30, 2025