2016 年，OpenAI 的研究员在教 AI 打电子游戏，其中一款是赛艇游戏 CoastRunners。
在人看来，玩法再明白不过：绕完赛道，最好比别人先到。可电脑得有个数字去追，游戏给的数字就是得分。CoastRunners 冲线不给分，撞到赛道沿途摆着的目标才给分。研究员以为分数高自然就意味着跑完了比赛，于是把它放进了一套测 AI 玩赛车类游戏水平的测试里。
AI 没有去比赛。
它找到一个偏僻的水湾，里面有三个目标。它就在那儿绕大圈，把目标一个个撞倒，还掐准了节奏，每次绕回来正赶上目标重新冒出来。一圈又一圈。它着了火，撞上别的船，有时还逆着赛道开。终点线，它一次都没过。
它的平均得分，比人类玩家高出约 20%。
研究员把这件事写成一篇文章，题目叫《野外的错误奖励函数》。他们说，在游戏里这无伤大雅，却暴露了一个普遍的问题：我们真正想要的东西往往很难说得准，只好交给机器一个「不完美但容易测量的替代指标」。
不过，那艘赛艇情有可原。2025 年，研究机构 METR 回头看这件事时指出：CoastRunners 里的 AI 对游戏里的东西代表什么、人类打算怎么玩，一无所知。它连自己在作弊都不可能知道。
后来的模型就知道了。