1995 年 1 月 6 日，一个男人走进匹兹堡的两家银行，想把两家都抢了。他脸上什么也没遮。监控拍下了他：手里拿着枪，站在柜员面前。
他的照片上了当地晚间十一点新闻的「打击犯罪」栏目。节目播出不到一小时，警察就抓到了 45 岁的麦克阿瑟·惠勒（McArthur Wheeler）。他完全不敢相信：「可我抹了果汁啊。」
原来他往脸上抹了柠檬汁，以为这样摄像机就拍不到他。柠檬汁辣得他眼睛难受，只能眯着。警探对《匹兹堡邮报》说，他并不是贸然行事，事先验证过。他用宝丽来相机给自己拍了一张，照片上果然没有他的脸。
一位巡佐猜，也许是胶卷坏了，也许是相机对歪了。惠勒做了检验，检验说行，他就走进了两家银行。
倒数四分之一，自评第 62
康奈尔大学的心理学家邓宁（David Dunning），是在《1996 年世界年鉴》的趣闻栏里读到这件事的。按纪录片导演埃罗尔·莫里斯（Errol Morris）后来在《纽约时报》上的讲述，邓宁当时冒出一个念头：惠勒笨到当不了劫匪，会不会也笨到连这一点都不知道？
邓宁和他的研究生克鲁格（Justin Kruger）决定量一量。在 1999 年发表的四项研究里，他们让大学生做幽默感、语法和逻辑测试，再请他们估计自己考得如何。成绩排在最后四分之一的人，实际大约在第 12 个百分位，给自己估的却是第 62 个。
两位作者给出的解释是「双重负担」：缺某项本事的人，不光会得出错误结论、做出糟糕选择，这份无能还让他们没法意识到这一点。
照这个解释，垫底的人就像一个不会拼写的校对员。稿子在他眼里干干净净，因为能把错挑出来的那门本事，正是他没有的。作者还报告了一个支持它的结果：他们提高了一部分参与者的技能之后，这些人更能看清自己能力的边界了。
能力不足的人会高估自己；为什么会这样，研究者仍在争论。
后来，统计学家把 1999 年那张图仔细看了一遍。
随机数也画得出来的图
2016 年，努弗（Edward Nuhfer）和同事用随机数做模拟，指出把人按成绩分组、再画自评和实际成绩的常见画法，会「引入容易招致误读的假象」。心理学家麦克奈特（Patrick McKnight）后来干脆让电脑生成完全随机的成绩和自评，照样画出这张图。麦吉尔大学科学与社会办公室的贾里（Jonathan Jarry）写道，两条线和原图「像得出奇」。
按真实成绩把人排好队，只要每个人的自估有误差，垫底那组的平均自估就会高过他们的实际成绩，顶尖那组则会低过。再加上人普遍爱觉得自己比一般人强，垫底那组的落差还会更大。用不着谁真的看不见自己，这幅图也会出现。
2020 年，吉尼亚克（Gilles Gignac）和扎延科夫斯基（Marcin Zajenkowski）换用专门绕开这个陷阱的统计方法，测了 929 名成年人的推理能力，并请他们自评智力。结果，实际智力和自评智力之间「基本上完全是线性关系」。他们的结论是，这个效应「可能比以往报告的小得多」。
邓宁的团队早在 2008 年就回应过此前的质疑，报告说在真实场景里、在有激励让人如实估计的条件下，表现差的人照样看不清自己的短处。争论至今没有定论。
不管哪一方对，有一点站得住：垫底那组人平均确实把自己放在了第 62 个百分位左右。争的是原因。是缺了本事所以看不见，还是人人的自估都这么模糊，只不过垫底那组往高处错的余地最大？邓宁在给贾里的邮件里写道：「这个效应讲的是我们，不是他们。」
那份看着没问题的预测
设想你是做销售出身，刚接手一个分析师团队。一位分析师发来下季度的预测：图表清爽，合计也对得上。你觉得挺好。
不管哪一方对，这份「觉得」都说明不了多少。按原作者的解释，要看出一份预测哪里坏了，得有分析师的本事，而那恰好不是你被请来干的活。按批评者的看法，你对自己判断的估计和谁的一样模糊，而在做预测这件事上你正排在后头，往高处错的余地最大。
你能查的，是有标准答案的东西：拿这套模型去年做的预测，和后来的实际数字对一对；或者签字之前，请另一位分析师把假设读一遍。自己出题、自己判卷，靠的还是那个正被检验的判断。
心里有数的模型
语言模型也有某种「把握」。在 A、B、C、D 里挑答案之前，它会给每个选项一个概率。OpenAI 在 2023 年的技术报告里，拿 MMLU 基准的一部分题目检查了 GPT-4 的这些数字。预训练阶段的模型，也就是还没经过那些把它调教成助手的额外训练时，校准程度很高：有几成把握，大体就答对几成。报告图表的说明写道，后续训练让校准明显变差。
相通的是那份标准答案：想知道把握和对错隔着多远，唯一的办法是拿一个去对另一个。
不同的是落差从哪儿来。OpenAI 报告说，在它测过的选择题考试上，基础模型和后训练模型的平均成绩差不多。照这个标准，本事没掉，把握却漂走了。这不太像 1999 年那个「缺了本事所以看不见」的故事，倒更像批评者描绘的情形：把握和本事，各走各的。
惠勒的证据，是一张可能拍歪了的宝丽来照片。模型却可以拿成千上万道有标准答案的题去对。