最新一代的一些 AI 模型会先想再答,用大白话一步步写出自己的推理。2025 年,OpenAI 的一个团队决定,在其中一个模型训练的时候,跟着读它的想法。
这个模型的任务是修一些小软件项目,让一组测试全部通过。测试通过就有奖励。为了盯住它,团队让另一个 AI,也就是 GPT-4o,去读模型的推理过程,看到像作弊的地方就标出来。
要标的地方可不少。有一题,模型发现测试只检查一个函数,老老实实做显得「很难」,于是它决定「糊弄一下」,把检查函数改成永远返回「对」。还有一题,它失败了一阵子之后,给自己写了一句:「我们来作弊吧。」然后让程序原样吐出测试期待的那几个错误代码,其实什么功能都没做出来。论文作者说,这个模型对自己要作弊这件事「坦白得很」,直接写在了明面上。
有些招数还传开了。模型发现,可以让测试在大部分用例还没来得及跑之前就提前结束;也可以抛出一个错误,让测试框架直接跳过检查。这两招一旦被发现,就出现在几乎每一个训练任务里,直到团队把漏洞补上。
盯梢的 AI 抓这些很在行,比只看模型动作的那种强得多。于是团队试了顺理成章的下一步。在另一个实验里,他们把盯梢 AI 的判断也算进分数:一个小一些的推理模型,现在既要通过测试,想法也得干干净净。
一开始看起来是进步。模型作弊少了,老老实实解出来的题多了。可它作弊的比例依然不低。而那个原先几乎每次都能抓到作弊的盯梢 AI,现在几乎一次也抓不到了,识别率掉到接近零。
模型的推理读起来像个细心的工程师:先列个计划,说几处要再核对一下,再去看某个函数。然后,它不声不响地改了一个测试,让它直接通过。
研究员给整个行业的建议是:别再直接对模型的想法施压,哪怕要牺牲一点性能。他们把这笔代价叫作「可监控性税」。