2015 年 2 月 1 日，西雅图海鹰队离蝉联超级碗冠军只差一码。他们以 24 比 28 落后新英格兰爱国者队，比赛还剩 26 秒，手里还有一次暂停。马肖恩·林奇刚把球带进 1 码线以内，NFL.com 的迈克尔·西尔弗称他是「橄榄球界在球门线前最有冲击力的跑卫」。
林奇站在后场。四分卫拉塞尔·威尔逊接球后，向里卡多·洛基特扔出一记快速斜线短传。爱国者的马尔科姆·巴特勒，一个落选秀出身、职业生涯还没有过一次抄截的新秀角卫，抢先切到线路上，把球抱进了怀里。
到第二天早上，《西雅图时报》的杰里·布鲁尔已经写道，这是「超级碗史上最糟糕的战术选择」。海鹰主教练皮特·卡罗尔赛后已经在 NBC 节目上把责任揽了下来：「这完全是我的错。」
四天后，他又说了一句听上去像是在找台阶的话。「这是有史以来结果最糟的一次叫战术。」他在《今日秀》上对马特·劳尔说，「要是接住了，这会是个很棒的决定。」
牌桌上的一个词
结果好，不证明决定好；结果坏，也不证明决定坏。
把这两样混为一谈，牌手们有个专门的说法。「我们打扑克的人有个词，叫『结果论』（resulting）。」前职业牌手安妮·杜克 2017 年接受《鹦鹉螺》杂志采访时说。在她看来，这就是把结果的好坏和决定的好坏「绑得太紧」。下象棋输了，她说，你几乎可以肯定哪一步走错了，回头也找得到。打牌不一样，一手牌你打得无可挑剔，照样可能输。
她紧接着举的例子，就是海鹰队那次传球；出版社介绍她 2018 年出的书 Thinking in Bets，开头讲的也是它。橄榄球的一次进攻，比起一步棋，更像一手牌：教练叫的战术，加上他管不了的一切，头一样就是那个新秀抢断的时机。
开球之前
先把那次抄截拿开，单看这个决定。据 ESPN 统计与信息部门，威尔逊这一传，是那个赛季从 1 码线扔出的第 109 次传球，也是第一次被抄截。卡罗尔的理由跟时间有关：只剩一次暂停，海鹰没法连跑三次；传球没传成，时钟会停，后面还能跑两次。
这并不能一锤定音。ESPN 也查到，此前五个赛季，在 1 码线上跑球的达阵率是 54%，传球略低于 50%。FiveThirtyEight 的本杰明·莫里斯把时钟一起算进去，发现两种选择差得都不多：按最看好林奇的假设，跑球的胜率只高 0.3 个百分点；换一组假设，传球最多高 3 个百分点。NFL.com 的格雷格·罗森塔尔挑的是另一处毛病：海鹰在两次进攻之间耗掉了 40 秒。
这些争论，开球前都能吵。只有那些标题，非得等到球落进巴特勒怀里才写得出来。
那台手术
心理学家管这种倾向叫「结果偏差」。1988 年，宾夕法尼亚大学的乔纳森·巴伦和约翰·赫尔希请 20 个本科生给一批医疗决定打分。其中一个病例：一位 55 岁的男子有心脏病，做搭桥手术能缓解疼痛，把预期寿命从 65 岁延到 70 岁，可做这种手术的人有 8% 死在手术台上。医生决定做。一个版本里手术成功了，另一个一模一样的版本里，病人死了。
学生们知道医生知道的一切。平均来看，结果好的那一版，同一个决定照样得分更高。事后问到的 8 个人里，7 个说不该看结果，1 个说拿不准。2023 年一项预先登记的重复实验，在网上找了 692 人，效应方向和原研究一致。
结果也不是毫无用处。巴伦和赫尔希写道，如果有些情况只有做决定的人知道，拿结果来评判决定「完全合理」。杜克的分界线是样本多少。一次车祸说明不了一个司机，但「要是有人去年出了 15 次车祸，我当然可以从结果倒推他的决定」。一次抄截，只是一手牌。
客户倒了
假设你批了一笔大折扣，拿下一个成长很快的客户的两年合同。对方的推荐人评价不错，合同条款也是你的常规条款。八个月后，客户倒闭了，还欠着你的钱。复盘会上，大家只问一句：谁签的字？
开会前，先写下签字时你知道什么、当时你愿意赌多大。再借用杜克讲过的一个牌桌习惯：找一个不知道你怎么选、也不知道后来怎样的同事，把情况讲到要拍板的那一刻，问他会怎么做。他要是也会签，复盘该看的是条款和审核，不是那个签名。要是你最近五笔这样的单子全砸了，这份记录告诉你的，就是一笔单子告诉不了你的东西。
模型的一次回答
同一个问题问语言模型，每次的回答可能不一样，所以任何一次回答里都掺着运气。假设你改了客服机器人的提示词，拿一封棘手的客户邮件试了一下，回答完美，就上线了。你等于只凭一手牌给提示词打了分。
2024 年，Anthropic 的研究者在评测分数上提出了同样的问题。一个模型在基准测试上赢了另一个，他们问：会不会「只是在抽到哪些题上运气好」？他们建议每个分数都附上误差范围；对要求模型一步步推理的评测，每道题的回答要重复采样几次。
落到你手上，就是拿新旧两版提示词去跑同样 20 封真实邮件，每封跑几次，每条回复都用你要求真人客服的标准去评。如果差距在大多数邮件、多次重跑里都站得住，就值得据此行动；只在一封邮件、一次运行里出现的差距，只是一条线索。
卡罗尔在《今日秀》上说，要是洛基特接住了那个球，「一切都会好好的，谁也不会多想一下」。