1998 年 3 月 23 日，星期一，哈罗德·希普曼又请海德镇布鲁克诊所的一位医生替他会签一张火化表。布鲁克诊所就在市场街上，正对着他的诊室。调查委员会后来认为，诊所很可能就在那天把数字调了出来：三个月里，他们替独自行医的希普曼签了 16 张这样的表，这还不算死在医院的、土葬的、交给验尸官的。布鲁克诊所自己有五位医生、大约 9500 名病人，同期记录的死亡是 14 或 15 人，连死在医院的也算在内。
他们估计希普曼的病人大约 3000 人。这样算，他的死亡率「至少」看上去是他们的三倍左右。可在这之前的几个月里，每次有人不安，得到的都是寻常的解释：他的老年病人多；他出了名地爱上门看病。
第二天早上，一位合伙人打电话给验尸官，验尸官请警方调查。调查委员会发现，负责的警探对「这些数字和死亡率毫不重视」，4 月 17 日就结束了调查。那年 9 月被捕之前，希普曼又杀了三个病人。调查委员会最终认定，他至少杀害了 215 名病人。其余经过见案例。
波动什么时候意味着出了事
「波动什么时候意味着出了事？」这是沃尔特·休哈特 1931 年一本书里的小节标题。他是贝尔电话实验室的技术人员。他写道，有些波动来自「未知的或偶然的原因」，一个过程仍可以在稳定的范围里上下起伏；如果凭过去的经验，能大致预测它将来会在什么范围里变动，他就说这个过程「受控」。另一些波动来自他所说的「可查明的原因」，他写道，这类原因「可以找到并消除」。
如今这两类波动通常换了名字。按英国国家医疗服务体系（NHS）英格兰的一份指南的说法，普通原因造成的是「正常的波动」，特殊原因则表现为「不寻常的模式」，「不太可能是偶然出现的」。
平常的起伏出自系统本身，异常的跳动可能另有原因。难就难在，眼前这一下到底是哪一种。
想想上班通勤：看红绿灯和路况，单程 25 到 35 分钟。追问周二为什么比周一多花了四分钟，通常问不出什么。哪天花了 70 分钟，就不一样了：多半出了什么事，值得弄清楚。
两种认错
按质量工程师穆斯塔法·施赖姆在戴明研究所网站上的概括，休哈特指出过两种错误。第一种，结果其实来自普通原因，却当成特殊原因去应对，这就是瞎调。第二种反过来，结果其实有特殊原因，却当成平常。
在海德镇，第二种错误有很好的掩护。老年病人多、医生爱上门，都是说得通的解释，也都是在讲系统本身。可数字显示的差距，比这些因素通常能造成的大得多。
统计方法带来的，是反方向的风险：把平常当成有事。后来研究者把统计过程控制里的累积和控制图，用在 1993 到 1999 年间 1009 名全科医生的病人死亡数上，有 33 名医生越过了报警线，希普曼是其中之一。作者认为，数据质量差，加上病人住在养老院或临终关怀机构这类因素，很可能解释了其余大部分警报。2008 年的一项研究指出，希普曼并不是最极端的那个离群值，并得出结论：这类监测充其量只能当「最后一道防线」。图表能告诉你该往哪儿看，却不能告诉你会看到什么。
排名垫底的那个
NHS 英格兰的「让数据说话」（Making data count）指南，讲过医疗系统里两种常见做法的局限：拿这个数据点和上一个比，以及红黄绿灯式的报表。它举了一个例子：「指标上升 2%，达到 79%，但显示的是普通原因波动。」它建议对决策者这样说：「没有显著变化。」说到排名，它问：垫底的那个是需要支援，还是「只是因为总得有人垫底」？
设想一位区域经理，每个月给六家门店里营业额最低的那家打电话。多数月份，这个电话也许落在一家只是手气不好的店头上。等到真有一家店连续三个月掉到自己往常的范围以下，看起来也可能只是又一个糟糕的月份，真正该打的那个电话，反倒可能没打。
记分牌上的噪声
AI 模型也有记分牌。Anthropic 在 2024 年一篇讲评测统计的文章里问：一个模型在某项测试上胜过另一个，「能力差异是真的，还是其中一个模型只是在抽到的题目上运气好？」它建议报告误差范围，并发现在常用的评测上，考虑了题目彼此相关之后，标准误差「可能比简单算出的大三倍以上」。它写道，忽略这一点，「可能让研究者在实际上不存在差异时，误以为测到了模型能力的差别」。这是第一种错误。它也提醒了第二种：题目太少时，「小的差异很可能测不出来」。
它给的办法包括：两个模型逐题配对比较；事先算好，要看出你在意的那么大的差距，需要多少道题。一个团队拿几十个测试用例比较两版提示词，面对的就是缩小版的休哈特之问：这点差距，是平常的散布，还是一个值得去找的原因？