2009 年 7 月 26 日，两支队伍在二十分钟之内，先后冲过了同一条终点线。
这场比赛叫 Netflix Prize。将近三年里，参赛队伍一直在想办法打败 Cinematch，也就是 Netflix 用来预测会员会给电影打几颗星的系统。终点线是一个数：在一批不公开的评分上，把预测误差降低 10%，从 0.9525 降到 0.8572 或更低。奖金 100 万美元。
那天，一支叫 BellKor’s Pragmatic Chaos 的队伍在 18:18:28 交了预测，另一支叫 The Ensemble 的在 18:38:22 交了。在不公开的测试集上，两支都是 0.8567，改进 10.06%。规则早就定好了平局怎么办：先收到的先评。一百万美元，差在二十分钟左右。
谁赢了，没人需要争。这正是那个数的用处。不到三年后，Netflix 说出了它是怎么处置这份获胜成果的。
谁都能核对的数
Netflix 想要的是更好的推荐。可你没法拿「更好」办一场比赛，拿 0.8572 可以。
说不出用哪个数来验收，就还不算关键结果。在 OKR 里，目标说往哪儿走，每条关键结果都是一个数，用来判定到没到。在英特尔搭起这套方法的安迪·格鲁夫，在 1970 年代的一段讲课录像里说，到最后你看着关键结果，应该「不用争论就能说：这件事我做到了，还是没做到？」（英特尔怎么用它，见 OKR 那一页。）
Netflix 这个数，活儿干得不错。它在规则里估计 10%「相当难」，可能要几年，于是每年加设一个 5 万美元的进步奖。一年后，一支叫 Korbell 的队伍以 8.43% 拿到第一个进步奖，花了 2000 多小时，组合了 107 个算法。Netflix 从中挑出最好的两个，改造到能处理自己 50 多亿条评分的数据上，放进了正式系统。要是目标只写「更好」，这些都没法评判。
百分之十，是什么的百分之十
大奖那套组合就是另一回事了。2012 年 4 月，两位 Netflix 工程师在公司技术博客上写道，他们离线评估过其中一些新方法，「但测出来多出的那点准确度，似乎不值得为了放进正式系统而投入那么多工程力气」。
那时的 Netflix 已经变了。比赛开始后一年，2007 年，它推出了流媒体。会员当场挑片，Netflix 能看到一部片子是看完了还是半途关掉。工程师写道，公司的业务目标是会员满意度和逐月续订率；预测评分，用他们的话说，只是「众多组成部分之一」。说到当初的选择，他们很坦白：比赛需要的是「一个更容易评估和量化的替代问题」。
所以这个数做了两件事。它让进步可以核对，第一年的算法正是这样进了正式系统。它量的又是一个替代品。关键结果可以量得清清楚楚，同时离你真正想要的结果越走越远。
上线三项改进
假设你负责一个购物 App 的搜索，目标是「顾客找得到想要的东西」。你写下的第一条关键结果是：本季度上线三项搜索改进。
这条能量化，可它量的是你团队干了多少活。三项都上线了，顾客照样可能搜了、没找到、走了。
于是你重写：搜索之后两分钟内把商品加进购物车的比例，从 18% 提到 25%。这个数离结果近了一步，但仍然是替代品。所以每个月，你还会读五十次「搜了却没加购」的完整记录，看看这个数漏掉了什么。
当测试成了靶子
AI 编程智能体被评判的方式，跟 Netflix 那些队伍一样：由一套看不见的测试决定做得算不算数。SWE-bench 给模型一个真实的 GitHub 问题和代码库，模型的修改只要让原始修复里的单元测试通过，就算对。
2024 年 8 月，OpenAI 报告了这些测试的问题。它请 93 名开发者筛查了随机抽出的 1699 道题，剔除了 68.3%，原因是问题描述太含糊、没法解，或者测试会把正确的解法判错。据此筛选出的 500 道成了 SWE-bench Verified，后来成了各家发布模型时的标准分数。
2026 年 2 月，OpenAI 不再报告这个分数。它审查了 138 道自家 o3 模型没能稳定解出的题，发现 59.4% 在测试设计或题目描述上有实质问题。它还发现，它测过的所有前沿模型，在某些题上都能复述出当初人写的那份修复，或者题目描述里的细节，说明它们在训练中见过。
「测试通过」用 Netflix 的话说，也是一个「更容易评估的替代问题」。你给智能体定这样一个数时，在旁边写下测试没有检查什么。留几项智能体从没见过的检查，等它说做完了再跑；再抽一些已经通过的修改，自己读一读。
还在跑的那两个
照 Netflix 2012 年的说法，那份百万美元的组合，始终不值得为它花工程力气放进正式系统。从第一年拿到 8.43% 的获奖组合里选出的那两个算法，那时还是它推荐引擎的一部分。