2015 年，达尔梅灵顿邮局的女代办人把 8000 英镑现金从主网点调到下属的外展网点，那是给偏远社区服务的一个小柜台。钱袋她只扫了一次，邮政局的电脑系统 Horizon 却把这笔调拨记了四遍。账上显示进来 32000 英镑，凭空多出一个 24000 英镑的窟窿。
后来一位高等法院法官写道，她算是运气好：调拨的两头都归她管，她能说清钱到底在哪儿。给 Horizon 建系统、管系统的富士通查了一遍，发现同一个故障从 2010 年起已经出现了 100 多次，波及 88 个网点。
大多数代办人没这份运气。现金比 Horizon 显示的少，差额就得自己补上；补不上的，有人被控盗窃或做假账。光是邮政局自己提起的起诉，1999 到 2015 年间就有 700 人。
代办人们后来集体起诉邮政局。庭审上，邮政局的律师拿雷击打比方：网点那么多，总有几个人会倒霉。原告方的 IT 专家回答，据他记得，在达尔梅灵顿那个故障里，有一个网点被击中了五次。而邮政局总部，早就习惯了把同一份记录反过来读。
自己给自己作证的记录
2010 年 8 月，邮政局一份内部报告说 Horizon 很稳健。对那几桩招来批评的起诉，报告写道：「我们仍然确信，这些钱是因为网点里有人盗窃才不见的。」上诉法院在判决里概括说，这份报告还提到，历来的起诉记录支持的是代办人有罪，而不是 Horizon 有毛病。
报告也掂量过要不要请人做独立审查，随后写下一句警告：「只要让人觉得邮政局怀疑自己的系统，所有刑事起诉都将不得不中止。」
定罪靠的是 Horizon，Horizon 的名声又靠这些定罪撑着。2021 年，上诉法院撤销了其中 39 项定罪，把这个循环写成了一句话：「每一宗起诉顺利走到终点，Horizon 所谓的可靠性，表面上就又被加固了一分。」被告拿不到可能动摇 Horizon 的材料，也就没法打破它。
一旦信了一件事，人就倾向于去找支持它的证据。支持的证据越堆越高，这堆东西本身就像成了铁证。
二、四、六
1960 年，心理学家彼得·沃森给 29 个大学生出了三个数：2、4、6，告诉他们这三个数符合一条简单的规则。他们要自己写出一组组三个数，每写一组，沃森就说符不符合；等到非常有把握了，再把规则说出来。
一个大一女生先写了 8、10、12，符合。又写 14、16、18，符合。再写 20、22、24，还有 1、3、5，全都符合。她宣布：随便从哪个数开始，每次加二。
错了。规则是：任意三个从小到大排列的数。她试的每一组，既符合她的猜测，也符合真规则，所以哪一个回答都不可能告诉她猜偏了。她又错了三次，前后用了 17 分钟才找到答案。29 个人里，一上来就说对、中间没报过错规则的，只有 6 个。
研究者约书亚·克莱曼（Joshua Klayman）和 Young-Won Ha 1987 年写道，正是沃森的发现，引起了心理学界对「证实」与「证伪」的兴趣，人的推理也常被说成带着一种「证实偏差」。不过他们也替这种习惯说了句公道话：专挑估计会符合的情况去试，在现实条件下往往是个很好的策略。它在一类任务里会坑人：你的猜测被包在一个更宽的真相里面时，符合猜测的检验永远不会得到「不」。只有一次你以为会失败的检验，比如 2、4、7，才能告诉你。
邮政局碰上的正是这类任务。1995 年在匹兹堡抢了两家银行的麦克阿瑟·惠勒也是。他相信脸上抹柠檬汁，摄像头就拍不到。他事先用宝丽来给自己拍过一张，照片上果然没有他。
一份「粗心」的档案
假设你开始觉得团队里新来的一位分析师有点粗心。你发现的第一个错是真的。从那以后，你查她的表格比查谁都细，又找出了两个错。
别人的活没被这么查过，所以别人的错也没被找出来。到了绩效评估，档案上写着「粗心」，里面每一条都是真的。
有一种检验是可能得到「不」的：从另外三位分析师那里各拿一份表格，用同样的细度查一遍。要是他们的出错率差不多，那份档案量出来的，其实是你把目光放在了哪里。
一个总跟你意见一致的第二意见
AI 助手也可能往这堆证据上再添一块。在 2024 年发表于 ICLR 的一项研究里，Mrinank Sharma、Meg Tong 和同事请五个 AI 助手（Claude 1.3、Claude 2、GPT-3.5、GPT-4 和 LLaMA 2）评价一些论证、数学解答和诗。然后再问一次，加上一句「我很喜欢这段论证」，或者说明是用户自己写的，或者反过来说不喜欢。哪条评价更正面，由 GPT-4 来判断。
五个助手都会看人下菜碟。听说用户喜欢或是自己写的，评价更常偏正面；听说用户不喜欢，更常偏负面。这项研究量的是评价有多正面，不是每条批评对不对，而且测的是 2023 年的模型。新模型未必一样，你可以自己试。
把你的稿子贴进两个全新的对话。一个里说，这是我写的，挺得意；另一个里说，这是同事写的，我有点怀疑。两边结论要是不一样，这是线索，还不是证明，模型本身也会随机波动。把两种说法互换着再问几次，再拿每一条批评回到稿子本身去核对。
弗雷泽法官在 2019 年的判决里写到，达尔梅灵顿那个故障在系统里待了五年才被发现，「虽然它的后果无疑早就被发现了」。