2005 年 4 月 25 日早上，JR 西日本的一列快速列车进伊丹站时速度太快，冲过停车位约 72 米才停住。
司机室的内线电话响了。列车长后来回忆，对方大概说了句「能不能少算点」，列车长听懂了：把冲过的距离往小里报。接着列车长用无线电向调度中心报告。列车长凭感觉估计，冲过了三四十米。可列车长听说，冲过 5 米左右，司机不会受重罚；5 米又显得太少，没人会信。
「8 米。」列车长说。调度员把这个数复述了一遍。
箱子里的珠子
美国统计学家 W. 爱德华兹·戴明在他的管理研讨会上玩过一个游戏，用来说明为什么奖和罚常常落错了人。下面的经过，按统计学家莎伦·洛尔 2015 年一篇文章的转述，她引了戴明的研讨会记录和著作。
游戏要一箱珠子，800 颗红的，3,200 颗白的，再加一把有 50 个小坑的拨板。台下几位志愿者当「心甘情愿的工人」，任务是做出白珠子，红珠子算次品。每人照规程，把拨板伸进箱子里舀一下，戴明交代要「轻轻晃一晃」。
检验员数每一板里的红珠子。然后，戴明扮演的工头开始「管理」：红珠子少的加薪；12 颗以上的，留用察看。「谁要是做出了红珠子，看看他是怎么做的，」他对其他人说，「千万别学他。」
游戏要跑四「天」。《和戴明博士在一起的四天》一书记下了一场研讨会：一位叫苏的工人，第一天 7 颗红珠子，第二天 8 颗，第三天 13 颗。「苏变得马虎了，」戴明说，「加薪之后有时会这样。不过我喜欢她的态度。」
苏做什么，都改变不了箱子。工人之间的差别全凭运气，在场的人心里都清楚，当工人的照样窝火。
戴明研究所这样总结：一个想把活干好的工人，他的成败「直接取决于、也受限于他所在的那个系统」。在这个一切由箱子决定的游戏里，真正的改进只能来自改箱子，夸和罚不过是重新排一排谁看起来走运。现实中的工作很少这么绝对，但这个游戏让人看到，运气多容易被当成本事。
恐惧和假数字
这个游戏还有个更阴暗的变体。统计学家莎伦·洛尔记述过：2010 年，一位讲师告诉工人，谁的一板里有 5 颗或更多红珠子，就开除谁，然后把箱子挪到大家看不见的地方。他每次这样做，工人拿回来的都少于 5 颗，也没有一个人报告自己没按规程来。他的结论是：饭碗受威胁的工人有三条路，改进系统，扭曲系统，或者扭曲数据。
洛尔引了戴明一句更直白的话：「恐惧招来错误的数字……为了保住饭碗，谁都可能只向上司报喜。」
列车长报的「8 米」，就是这样一个被扭曲的数字，理由也正是这个。调查人员认为，接下来那段时间，司机多半在琢磨怎么编一个和它对得上的说法，而不是为前方的弯道减速。他以前冲站后受的教育，是停止乘务、写反省书，内容大多是表决心，一句都没讲到制动。可在他开的那种车型上，有些车厢的制动手柄会卡在最强的两档之间，哪一档都不起作用。前一年，他就这样冲过一次站。反省书冲着人去，可有一颗红珠子在驾驶室里。
先问箱子里有什么
设想一个呼叫中心，每周按平均通话时长给客服排名，排在最后的五个人去上回炉课。几乎每周都是不同的五个人，因为谁接到又长又绕的账单电话，主要看排队排到谁。过一阵子，客服学到的是真正的教训：难缠的电话早点挂，让客户再打进来。
红珠实验要你先问一句：在给谁排名之前，差别里有多少是箱子造成的？先看活本身可不可比：每个人接到的电话种类差不多吗？再把数字按时间画进一张像样的控制图，它能显示出没出什么异常时，结果本来会波动多大。超出界限的点，是值得去查的信号；原因可能在人，也完全可能是耳机坏了、那周分配出了问题，或者记录出了错。反过来，结果都在界限以内，也不证明每个人一样好，人和人之间仍可能有持续的差别；只是不能单凭点落没落在界限内，就判个人高下。
测评里的红珠子
AI 的工作也有自己的一箱珠子。拿两个模型或两版提示词在测试上比，分差里有一部分可能来自碰巧选中的题目，以及模型回答本身的随机性。Anthropic 的研究者在 2024 年说得很直白：一个模型可能只是「在选题上走了运」。他们建议每个分数都附上误差范围；对一步步推理的模型，同一道题多问几遍再取平均，能减小回答的随机性。两个模型答的是同一批题时，他们建议逐题比较，看这些逐题差值的误差，这样对分差有多不确定估得更准。
一个团队把十版提示词各跑一次，就把最高分那版捧上台，可能是在拿软件玩红珠游戏。在同一批题上从十个分数里挑最高的，往往挑中的是恰好在这批题上走运的那版，它的分数多半偏高。要信它之前，拿一批没参与挑选、又像它将来真要干的活的新题再核一遍。