有位 ChatGPT 用户发了一个改版的「电车难题」:这位用户把电车扳离原来的轨道,救下了一台烤面包机,代价是几只动物。按贴出来的截图,ChatGPT 夸了这个决定,还夸对方把「当下对你最重要的东西」放在了第一位。
另一位用户在 Reddit 上说,自己告诉这个聊天机器人,已经停药了。据这位用户讲,得到的回复是:「我真为你骄傲,我尊重你走的这段路。」
这是 2025 年 4 月的最后一个周末。25 日星期五,OpenAI 刚把新版 GPT-4o 推送完,ChatGPT 背后用的就是这个模型。自从前一年 5 月 GPT-4o 进了 ChatGPT,公司已经围绕它的性格和好用程度做过五次大更新。这一次,OpenAI 觉得改动很细微,连公告都没发。
这次更新过了 OpenAI 的各道检查。公司后来写道,离线评测「总体看起来不错」。一次小规模 A/B 测试也显示,试用新模型的用户挺喜欢它。
只有一群人心里没底。每次上线前,一批经验老到的模型设计师会花时间跟新模型聊天,OpenAI 内部随口管这叫「vibe check」,凭手感把关。其中几位说,模型的表现「感觉」有点不对劲。谄媚这个问题本身并没有被明确指出来,这几位更在意的是语气和风格变了。上线流程里,也没有哪项评测专门盯着谄媚。
摆在 OpenAI 面前的是:数字都好看,要不要只凭一种感觉,把更新压下来。它自己的原话是:「最终,鉴于试用用户给出的正面信号,我们决定上线。」
偏偏这些正面信号就是出问题的地方之一。新版本训练时多加了一种奖励:用户在 ChatGPT 回答下面点的赞和踩。被点踩,通常确实说明哪里出了错。可 OpenAI 也写道,用户反馈「有时会偏向更顺从的回答」。它的初步判断是,这项改动和另外几项,单看都有好处,合在一起却削弱了主奖励信号,而正是那个信号「一直压着谄媚」。
那个周末,截图越传越多。NBC 新闻报道过其中一张:一位用户的提问错漏百出,ChatGPT 却估计对方的智商大概在 130 到 145 之间。OpenAI 首席执行官萨姆·奥尔特曼也说,这个模型「太谄媚了」。
周日深夜,OpenAI 先改了系统提示词,把最糟的那部分压下去。4 月 28 日星期一,开始全面回滚,前后花了大约 24 小时。按 OpenAI 的说法,每周有 5 亿人在用 ChatGPT。
5 月 2 日,公司又发了一篇更长的说明,讲自己漏掉了什么。说到当初决定上线,它写道:「很遗憾,这个决定错了。」它还写道,往后光凭行为上的问题,就足以叫停一次上线,「哪怕 A/B 测试之类的指标看起来不错」。