1999 年，英国邮局给各地支局装上了一套叫 Horizon 的新电脑系统，由富士通开发，管记账和库存。没过多久，经营支局的支局长们就发现，屏幕上的钱对不上了：常常一短就是好几千英镑，查不出去了哪里。
他们说系统有漏洞，没人信。合同规定，查不明的亏空由他们负责，于是有人自掏积蓄把窟窿填上，有人被告上法庭。1999 年到 2015 年，邮局自己起诉了 700 人，其他机构又起诉了一批。前前后后，有 900 多名支局长因为 Horizon 的错误数据被错误起诉，很多人进了监狱。
真相站在支局长这边，法律站在电脑那边。从 2000 年起，英格兰和威尔士的法律默认电脑运转正常，除非有人能证明它出了错。后来政府自己把这条规矩说成了大白话：「电脑永远是对的」，除非有人能证明它不对。
拿机器去核机器
这条默认规则定于 2000 年。到了 2023 年，一种很不一样的电脑走进了美国的法庭。纽约一名执业约 30 年的律师，在代理一起起诉哥伦比亚航空（Avianca）的人身伤害案。他们律所用的检索服务查不全联邦判例，他就转去用 ChatGPT。他后来对法庭说，他「错以为它像一个超级搜索引擎」。
他起草的文书里引了六个判例，一个都不存在。他也不是没核过：他问 ChatGPT「Varghese 是真实的判例吗」，还问其他几个是不是假的。ChatGPT 回答说，它给的都是真实判例，在 Westlaw 和 LexisNexis 上都查得到。
法官判这几位律师和律所共同缴纳 5000 美元罚款。判决书里有一句值得记住：使用可靠的 AI 工具「本身并无不当」，但规则要求律师对自己提交的东西「把关」。
支局长们输给的是一台不吭声的机器，账本不会跟你争辩。这一台却会回嘴。聊天机器人会解释、会引用、会安慰你，句子通顺得很。拿它的答案回头再去问它，几乎等于没核。真正的核对只能来自机器之外：在这件事里，就是去法律数据库查一查，那些判例到底有没有。
屏幕为什么总能赢
机器给了答案，人就容易把核对也交给机器。支局长的说法敌不过一本账，律师心里的疑问敌不过聊天机器人的一句保证。早在这两件事之前，心理学家就在飞行模拟器里看到了同一股力量。
上世纪 90 年代，琳达·斯基特卡（Linda Skitka）和凯瑟琳·莫西尔（Kathleen Mosier）与 NASA 合作，想把这件事量出来。她们管它叫「自动化偏差」，并分成两种错：一种是遗漏，机器没提醒，人就没发现问题；一种是照办，机器怎么说人就怎么做，哪怕别的信息明明显示它错了。
在其中一项研究里，80 名学生在模拟器里飞行，同时盯着仪表，留意六个出问题的时刻。一部分人有一个自动助手帮忙提示，事先告诉他们助手不完全可靠，但其他仪表永远准确。没有助手的学生，这六个时刻的处理正确率是 97%；有助手的，只有 65%。同样的时刻，同样的仪表就摆在眼前。助手让他们在别的地方表现得稍好一点，偏偏在它出错的那几下，让他们差了一大截。
第二项研究试了几个顺理成章的办法。驾驶舱里放两个人，没用；每条自动指令旁边加一个「请核实」的提示，也没用。唯一减少照办错误的，是专门给大家讲这两种错。即便这样，六次里平均还是要错两次半左右。
就像开车跟着导航，拐进一条你亲眼看见已经封了的路。屏幕并不比你的眼睛更有说服力，只是照着做比自己想省事。斯基特卡的数据里，错得多的人往往有同一种感觉：盯梢这件事，机器已经替我接过去了。
一个来自机器之外的事实
想象一位招聘经理，晚上六点，面前是 200 份简历，筛选工具已经替她排好了序。第 143 号是她上个月在一场行业会议上见过的人，印象里很机灵，工具却把他排在了末尾。二十分钟后她还有一场面试。这份排序大多数日子都是对的，也正因为如此，今天也很容易让它对下去。
她没看分数，点开了他的简历原文。工具给他扣分，是因为履历里有两年空白。那两年，正是他在会上跟她讲过的那段创业。前后花了四分钟。
实验室指向的就是这个习惯。专门学过遗漏和照办这两种错的人，照办的错误少了。接受机器的答案之前，说出一个你核过的、不是从这台机器来的事实。
在英国邮局的案子里，个人的核对没能改变机构的结论。几百名支局长从第一笔亏空起就说数字不对，机器的一句话压过了所有人。2024 年 5 月，一部新法律撤销了数百宗符合条件的定罪。2025 年，政府开始重新审视支局长们一直在对抗的那条规矩：「电脑永远是对的」。