裁判拿到一道关于某篇科幻小说的题，和两个备选答案。一个是对的，另一个是出题人能想到的最有迷惑性的错答案。裁判不许读这篇小说。
小说来自古登堡计划，大多写于 1950 到 1970 年代，裁判以前读过的可能性很小。题目选的是难题：不限时读完全文的人全都答对，而且都认为题目没有歧义。
这项实验由伦敦大学学院、Anthropic 等机构的研究者完成，2024 年发表。它模拟的是 AI 开发者预料会碰上的难题：人要检查比自己懂得多的系统做的事。在这里，差距只在信息上。扮演专家的 AI 模型（其中有 GPT-4-Turbo）读过整篇小说；人类裁判是 21 位受过训练的众包工作者，时薪 35 美元，手里只有专家告诉他们的东西。
专家受一条约束：可以引用原文，但有个工具会把每句引文和原文比对，标成「已核实」或「未核实」。裁判被告知，只信已核实的引文。
完全没有专家时，裁判只看题目，在两个答案里选，答对 60%。
一种做法叫「咨询」：只有一个专家，为两个答案中的一个辩护，这个答案可能是错的，裁判可以向它提问。裁判答对 78%。最常见的失误，是没能从替错答案辩护的专家嘴里逼出关键引文。
另一种做法叫「辩论」：两个专家各替一个答案辩三轮。裁判答对 88%。
研究者还试着让专家更有说服力。在辩论里，辩手越有说服力，裁判越常找到真相；换成只有一个咨询专家，专家越有说服力，裁判反而越不准。
换成 AI 当裁判，规律一样，只是水平低一些：没有专家 48%，一个专家 54%，辩论 76%。
这个实验是人为搭的，作者也说明，掌握更多信息，只是未来 AI 可能超过监督者的一种方式。但在一千多小时的人类评判里，在裁判能核对证据的规则下，让两个专家对辩，比只听一个为指定答案辩护的专家，效果更好。