首页 › 决策 › 噪声
决策 · 噪声

噪声

同一个案子换个专家来判,答案常常差得比谁想的都远。

Noise◷ 约 5 分钟▤ 2 个真实故事换成 AI 也一样在知识地图里看它和谁相连 →

1974 年 3 月,纽约、康涅狄格和佛蒙特的联邦法官们开始陆续收到判决前调查报告,每周五份,连寄六周。前 20 份是真实卷宗,取自本巡回区的缓刑办公室,只改掉了姓名、地点和日期;同一个案子,参与量刑的法官读到的是同样的几页纸。后 10 份各有两个版本,法官随机分成两半,各拿一版,用来测试某些细节。他们写下的刑期,没有一天会真的执行。

第 1 号案的被告是一名工会干部,年过四十,经庭审被判九项罪名成立:敲诈性放贷,以及相关的逃税和报税不实。

收回来的刑期,中位数是 10 年监禁加 5 万美元罚金。最重的是 20 年加 65000 美元罚金,最轻的是 3 年。

同一个人,同一叠纸,同一部法律。在纸面上,他人生里的十七年,取决于卷宗落在了谁的桌上。

落在谁的桌上

同一个案子换个专家来判,答案常常差得比谁想的都远。

2016 年,丹尼尔·卡尼曼和三位咨询顾问安德鲁·罗森菲尔德、琳妮娅·甘地、汤姆·布拉泽在《哈佛商业评论》上撰文,管这种参差叫噪声,即「判断中的随机波动」。他们拿体重秤来区分它和偏差:一台秤总是少显示四磅,是有偏差;同一个人连站两次读数不一样,是有噪声。2021 年,卡尼曼又和奥利维耶·西博尼、卡斯·桑斯坦合写了一本书,书名就叫《噪声》。

第二巡回区的这些判决单拎出来,每个都说得过去。只有这场实验,把它们并排摆在了一起。而且不知道正确的刑期是多少,光凭判得重,也说明不了哪位法官有偏差。

不只是有人狠、有人软

最顺手的解释,是给法官贴标签:一头有几个特别狠的,另一头有几个特别软的。就算如此,那也是噪声,因为同一份卷宗判多重,要看落到哪位法官手里。可标签能解释这么大的差距吗?联邦司法中心负责分析的安东尼·帕特里奇和威廉·埃尔德里奇,就去找了。

在 13 个案子的排名里,只有两位法官一贯偏重,一位一贯偏轻。平均排名居中的 29 位法官里,有 26 位在某个案子里判出了最重的十个刑期之一,又在另一个案子里判出了最轻的十个之一。他们写道,这种差异「总体上,不能靠给法官贴标签来解释」。

参差大多不在少数几个人身上,而在某一位法官碰上某一份卷宗的那一刻。

无关的东西也会添乱。在锚定效应那页讲过的掷骰子研究里,同一桩偷窃,判出的缓刑从 1 个月到 12 个月不等,一部分差别就来自掷骰。

哪里噪声小,哪里分歧在意料之中

1974 年的作者也写明了局限。这些都是纸上的被告;按可以申请假释的时间算,第 1 号案的区间会缩到 1 年到 6 又 2/3 年。尽管如此,他们的结论是,这些差异「相当接近巡回区法庭里实际发生的情况」。

也不是所有判断都吵。卡尼曼团队提到,象棋大师看同一个棋局,判断大体一致;在反馈又快又清楚的环境里练了多年,参差的空间就小。有些分歧也在预料之中:他们写道,靠判断的工作,专业人士不会人人得出一模一样的答案,所谓「见仁见智」就是这个意思。他们担心的,是本该同案同判的岗位上,参差远超管理层能容忍的程度。

意见一致,也不等于判得准。一台总是少显示四磅的秤,和自己永远一致。

谁都没料到会挂科的审计

噪声有个方便之处:不知道正确答案,也能量出来。把同样几个真实感的案例交给几位专业人士,各自独立判断,再对比。卡尼曼团队管这叫噪声审计。

他们在两家金融服务公司做过。审计前,高管们预计员工之间的判断会差 5% 到 10%。结果,同一个案例,随便两位员工的判断平均相差两人均值的 48%,另一家是 60%。

假设你带一个招聘团队,一位被拒的应聘者写信来说:朋友的简历和他几乎一样,却拿到了面试。先别急着追究谁判错了。拿三份过去的申请,去掉姓名,让每位招聘专员各自打分。分数散得多开,就是你的噪声,不用知道谁最合适也看得见。散得很开,可以照那几位作者的建议,开会前先让每人把看法交上来,免得讨论一下子倒向最先开口或最有把握的人。

一个没能重复自己的公式

同一篇文章把算法看作最彻底的解药:「和人不同,公式对同样的输入,永远给出同样的输出。」语言模型把温度调到 0,照理也该这样,每一步都挑概率最高的那个词元。

2025 年 9 月,Thinking Machines Lab 的研究者在一个开源模型 Qwen3-235B 上验证了这一点。他们在温度为 0 时,把「给我讲讲理查德·费曼」问了 1000 遍,得到 80 种不同的回答。前 102 个词元次次相同。到「费曼 1918 年 5 月 11 日出生于」之后,992 次接的是「纽约皇后区」,8 次是「纽约市」。

按他们的说法,原因出在推理服务的计算上:服务器负载决定批次大小,而所用的内核在不同批次大小下算出的数字有细微差别。换上他们写的批次不变内核后,1000 次输出完全一样。这只是一个模型、一个提示词、他们自己的环境;平常设置下,聊天模型每次回答不同,本来就是设计使然。

要是你让 AI 给工单或代码打分,也给它做一次这样的审计:同样五个案例,在全新的会话里各跑几遍,记下分数。某个案例散得很开,是值得多跑几遍的线索,还不是定论。分数集中,也只说明它和自己一致,还要拿几个早知道答案的案例核对。

假释能缩短刑期,却改不了最前面那个问题。20 个案子里有 16 个,法官们连该不该送进监狱都意见不一。报告说:判了监禁的人,「是真的进了监狱;判了缓刑或罚金的人,没有」。

先看几件事

玩一玩

出处

  1. Anthony Partridge、William B. Eldridge,The Second Circuit Sentencing Study, A Report to the Judges of the Second Circuit,美国联邦司法中心,1974 年 8 月(FJC No. 74-4)
  2. Daniel Kahneman、Andrew M. Rosenfield、Linnea Gandhi、Tom Blaser,Noise: How to Overcome the High, Hidden Cost of Inconsistent Decision Making,《哈佛商业评论》,2016 年 10 月
  3. Birte Englich、Thomas Mussweiler、Fritz Strack,Playing Dice With Criminal Sentences,Personality and Social Psychology Bulletin 第 32 卷第 2 期,2006
  4. Horace He 与 Thinking Machines Lab,Defeating Nondeterminism in LLM Inference,2025 年 9 月 10 日
  5. Daniel Kahneman、Olivier Sibony、Cass R. Sunstein,Noise: A Flaw in Human Judgment,2021
  6. Birte Englich, Thomas Mussweiler and Fritz Strack, Playing Dice With Criminal Sentences, Personality and Social Psychology Bulletin 32(2), 2006
  7. Piotr Bystranowski, Bartosz Janik, Maciej Próchnicki and Paulina Skórska, Anchoring Effect in Legal Decision-Making, A Meta-Analysis, Law and Human Behavior 45(1), 2021