2004 年 3 月,马德里一只装雷管的袋子上取下的一枚指纹,送到了 FBI 设在匡蒂科的实验室。3 月 11 日,这座城市的几列通勤火车上发生连环爆炸,大约 200 人遇难。一名鉴定员把指纹放进局里几百万枚的库里比对,电脑给出 20 个候选。他最后认定了排第四的那个:俄勒冈州波特兰的律师布兰登·梅菲尔德。
第二名鉴定员复核,确认吻合;一位科室主任看过,也同意。西班牙国家警察的实验室报来自己的结果:「negativo」,不符。FBI 实验室还没弄清对方为什么不同意,就说自己「绝对有把握」。5 月 6 日,梅菲尔德被捕。
法院指定了一位独立专家。5 月 19 日,他也说指纹是梅菲尔德的。就在同一天,西班牙警方把这枚指纹比中了另一个人:阿尔及利亚人乌赫纳内·达乌德。
四位经验丰富的鉴定员看过,四个人都同意。可要是把这几次「看」再数一遍,数目就没那么多了:除了第一个人,每个人动手之前,都已经知道前面的结论。
倒着读
2006 年,美国司法部监察长公布了对此案的调查。原因有一部分确实罕见:两个人的指纹出奇地相像,多达 10 个特征点的位置对得上。至于复核程序本身有没有左右复核员,他没找到有力的证据。
可第一次「看」就已经走偏了,后面几次也没把它拦下来。梅菲尔德的指纹一摆在马德里那枚旁边,鉴定员就开始「倒着推」:在马德里的指纹上「找到」其实不存在的细节,把模糊的地方读成了吻合点。当时没有规定要求鉴定员在看梅菲尔德的指纹之前,先把马德里那枚上看到了什么写下来,所以事后谁也说不清,哪些细节是他一开始就看清了的。
先自己看证据下判断,再去看别人的答案。
没过多久,心理学家伊蒂尔·德罗尔和两位同事用一个实验,看了看「预期」能有多大分量。他们找来五位资深指纹鉴定员,给每人一对指纹。这对指纹,正是本人大约五年前亲手认定为吻合的。这一回,鉴定员被告知:这就是 FBI 错配给梅菲尔德的那一对。结果只有一个人仍然判定吻合;三个人判定绝对不吻合,一个人说信息不够,没法下结论。五个人、一次刻意安排的说法,说明不了真实案件里这种事有多常见,只说明它会发生。
洗手
卡尼曼、西博尼和桑斯坦在 2021 年的书《噪声》里,给这类做法起了个故意不太好听的名字:决策卫生。卡尼曼后来解释过为什么这么叫。针对某种已知偏差的办法,像药,像疫苗,对准的是一种病;洗手不一样。「你洗手是为了杀菌,可你根本不知道杀掉的是哪些细菌;运气好的话,你永远也不会知道。」
他列的要点里,头一条是独立:各人的判断分开做,一个问题的不同方面也分开评。第二条是推迟直觉,因为一个早早冒出来的印象,会左右你接下来去找什么。
监察长的建议,读起来就像换成实验室说法的同一张清单:比对开始之前,先把现场指纹上看到的东西记下来;复核的人去看的时候,不让他知道之前有没有人认定过吻合。这两条规矩,都没点名要防哪一种错。
卫生要花时间,卡尼曼自己也说,留给值得花这个力气的决定。它也有边界:那两枚指纹实在太像,就算复核是「盲」的,也未必不会再错一次。
第一条消息里的答案
假设你在值班,有位客户被扣了两次款。你还没打开任何东西,同事的消息先到了:「又是支付通道超时,跟三月那次一样。」你打开日志,果然,第二笔扣款前面就有一条超时。你关掉了工单。
一周后,重复扣款又来了,这回哪儿都没有超时。你回头再翻,才看见那个让客户又付了一次的「重试」按钮,就在你被告知去找的那条超时上面几行。
换个顺序,只多花几分钟:先开日志,再看聊天;把日志里看到的记下来,再去读同事的推测。那个重试按钮,可能就会进入你的记录。
先看答案的评委
如今常有人让语言模型给别的模型的回答打分。这些模型评委,也有那位复核员的毛病。
2023 年,北京大学、腾讯和香港大学的研究者让 ChatGPT 当评委,比较两个聊天机器人在 80 道题上的回答:一个是 Vicuna-13B,一个就是 ChatGPT 自己。提示词要求先给分、后写理由,还专门叮嘱评委不要让回答的先后影响判断。结果,Vicuna 的回答排在前面时,它只赢了 2.5% 的比较;排在后面时,赢了 82.5%。80 道题里,有 66 道一换顺序,结论就变了。换 GPT-4 当评委好一些,变了 37 道。
研究者的修正办法,都是卫生:先写理由再打分,并且采样三次;再把两种顺序各评一遍,取平均。两招一起用,ChatGPT 和三位作者自己多数意见的一致率,从 44.4% 升到 58.7%。这次研究同时改了好几处,看不出哪一处最管用。
如果你让模型在两份稿子之间挑一份,就正反各跑一遍,A 在前一次,B 在前一次,并且让它先写理由再给分。顺序一换结论就翻的,是一条值得追的线索,算不上排名。多跑几次,然后自己对照任务真正的要求,把两份稿子读一遍。要是想请第二个模型来复核第一个模型的结论,就把稿子给它,别把结论给它。
FBI 自己真正重新看一遍那枚指纹,是在西班牙已经点出达乌德之后。5 月 23 日的夜里,一位科室主任请来另一位科室主任重新检验。他对监察长说的理由之一是:这位同事之前没有参与那次认定。