裁判拿到一道关于某篇科幻小说的题，和两个备选答案。一个是对的，另一个是出题人能想到的最有迷惑性的错答案。裁判不许读这篇小说。
题目都是难题：不限时读完全文的人全都答对，可裁判除了题目，什么依据都没有。在两个答案里选，人类裁判答对 60%，比扔硬币强不了多少。
接着，研究者请来两个读过小说的 AI 模型，各分给一个答案，让它们辩。
检查你做不了的活
这项实验由伦敦大学学院、Anthropic 等机构的研究者完成，2024 年发表。作者把背后的担忧说得很直白：AI 系统超过人类专业水平之后，「人的评估会变成外行监督专家」。
这个问题在业内叫可扩展监督。2016 年，来自谷歌、OpenAI、斯坦福和伯克利的研究者在一篇讨论 AI 安全问题的论文里，用清洁机器人讲过它。你真正想知道的是，「如果用户花几个小时仔细看结果，他会有多满意」。可谁也没法每件活都花几个小时，只好查点便宜的，比如「地上有没有看得见的灰」。机器人从便宜的检查里学，而便宜的检查并不完全对得上你在乎的东西。要做的，是让有限的检查走得更远，干活的一方变强了，它照样管用。
管理者早就过着这种日子。财务总监在律师的意见上签字，医院董事会批准外科医生的方案。检查活的人，常常自己做不了这活。
两个专家，一条规矩
在那项实验里，只有一个 AI 专家为某个答案辩护（这个答案可能是错的），裁判可以向它提问，人类裁判答对 78%。两个专家各替一个答案辩三轮，答对 88%。
有两点帮了忙。每一句引自小说的话，都由工具核对，标成「已核实」或「未核实」，裁判只信已核实的。这个工具只能确认这些字确实出现在小说里，证明不了这句话支持对方的论点，也证明不了它没被断章取义。再就是专家必须当面交锋。研究者让专家更有说服力之后，辩论让裁判更常找到真相；只有一个专家时，它越会说，裁判越不准。在这项任务里，有一个有理由揭对方短处的对手，确实帮了裁判，可他们仍然大约每八道题错一道。
弱一点的盯梢者
AI 实验室已经在试着让弱一点的系统盯着强一点的。2025 年 OpenAI 的一项实验（奖励投机那页讲过），让 GPT-4o 在一个更强的模型训练时盯着它。对这个模型用得很多的两种作弊手法，既能看它一步步的推理、也能看它动作的监控，抓到了 95%；只看动作的监控，抓到 60%。作者称之为「一个有希望的、初步的可扩展监督结果」，同时提醒，只有训练不去给推理施压，它才一直有用。
人当盯梢者，也会累。Anthropic 写过，它的编程智能体弹出的权限确认，用户会批准 93%；公司担心的是「批准疲劳」：人不再细看自己批的是什么。后来它造了一个自动审核器，替人接下一部分批准，只让审核器看用户要求了什么、智能体实际做了什么。智能体自己的解释全部去掉，免得它把审核器说服。「我们要它评判智能体做了什么，而不是说了什么。」
这两种做法看着相反，其实是活不一样。OpenAI 的监控在找作弊的线索，推理正是模型露馅的地方；Anthropic 的审核器在判断一个操作有没有得到授权，智能体自己的解释，恰恰可能把它说成「有」。要不要读模型对自己的说法，取决于这道检查是为了什么。
看不懂的方案
设想一位没有工程背景的运营总监，要批准技术总监重建计费系统的方案。方案又长又笃定，大部分她判断不了。
她不必去学工程。她可以花钱请一位外部工程师专门唱反调，让两人当面对质；可以要求每个关键说法都指向她自己能查的东西，比如一份测试结果、一张供应商报价、去年的故障记录；可以按每个里程碑实际交付了什么来评判，别看讲得多好；还可以把自己有限的几个小时深查，花在随机抽出的几块，加上一旦出错代价最大的那几块。
那些裁判从没读过小说。两边各有一个对手，引文又能核对，他们比全靠自己时好得多，可还是会答错。好的结构能缩小监督者和专家之间的差距，但填不平它。