2006 年春天的一个下午,亚特兰大帕克斯中学的一位数学老师,打开了存放州统考试卷的房间。试卷裹着玻璃纸。用剪刀会留下痕迹,他就出门走到街角小店,买了一片刀片。
据他后来对《纽约客》的讲述,回到房间,他划开玻璃纸,用打火机把刀片烤热,插进试卷的封口,慢慢撬开。他复印了三门科目,然后戴上手套,用打火机把玻璃纸的边重新烫合,看上去就像没人动过。
学校输不起。及格的学生不够,州里可以把这所学校关掉。考试周最后一天,他和另一位老师在考务办公室待了大约一个小时,把错的答案擦掉,涂上对的。
一个月后成绩出来,学校在走廊里摆上冰淇淋、披萨和炸鸡翅。《不让一个孩子掉队法》实施以来,帕克斯第一次达到了年度目标:八年级及格率,阅读涨了 31 个百分点,数学涨了 62 个。一个学生说:「就像我们的世界大赛,我们的奥运会。」
这组分数同时也成了新的起点。第二年春天,帕克斯得考得比它还高。
数字底下的那件事
古德哈特定律说,指标成了目标,就不再是好指标。1976 年,唐纳德·坎贝尔在一篇讨论怎样评估社会项目的论文里,写下了他自称「悲观」的两条定律,都装在一句话里:「一个量化的社会指标越是被用来做社会决策,它承受的腐蚀压力就越大,也越容易扭曲、败坏它本来要监测的那个社会过程。」
坎贝尔格外看重后半句:压力会穿过数字,伸进数字本来要看着的那件事里。说到学校,他讲得毫不客气:考试分数一旦成了教学的目标,它既失去了衡量教育水平的价值,也会把教育过程本身往坏处扭。
拿温度计给人打分,读数会被动手脚。打上几年分,就有人开始为了读数去调屋里的暖气。
2011 年,佐治亚州的特别调查组交出报告,看到的正是这个。他们查了亚特兰大 56 所学校,确认 44 所有作弊,点名 178 名教育工作者,其中 82 人承认。学区总监贝弗莉·霍尔按年度考试指标管学校,口号是「没有例外,没有借口」,任内换掉了九成校长。
在帕克斯,改答案只是开头。校长用记号笔把每位老师的指标写在教室门口的地板上,学生进出都看得见,还对老师们说:「你们得照着考试教。」课程按期限往前赶。那位数学老师回忆:「百分数只给两周。」第三周还在讲百分数,就会被说成课教得不行。点名开始推迟到一天里更晚的时候,据他说,后来干脆不记缺勤了。
来学这次翻身经验的人一拨接一拨,学校得拿出一套说法,老师们就做了「标准掌握档案夹」。这位数学老师还以此写了硕士论文。他说:「可我们弄这个,只是为了掩盖作弊。」
连老师自己的反馈也没了。他的妻子也在帕克斯教语文,有一年,她班上的分数全校最高。别的老师一直在改她学生的答案,这件事他从没告诉过她。
排行榜上的第二名
2025 年 4 月,Meta 的新模型 Llama 4 Maverick 冲上 LMArena 第二名。这个网站让人对比两个聊天机器人的回答,投票选更好的那个。
随后有研究者翻出了 Meta 的细则:上榜的是一个「为对话性做过优化」的「实验性聊天版本」,并非 Meta 发布的那个。LMArena 表示,Meta 对规则的理解「与我们对模型提供方的期望不符」,并更新了排行榜政策。同月一篇论文统计,Llama 4 发布前,Meta 在这个平台上私下测过 27 个版本;论文认为,这类做法会让模型去拟合「竞技场特有的规律,而不是整体的模型质量」。
又是坎贝尔的后半句:开发者照着排行榜挑模型,排行榜就反过来伸进了模型的制造过程。原本被这个排名打动的开发者西蒙·威利森事后说:「他们拿到高分的那个模型,我根本用不上。」
这一条你可以自己验证。照排名选模型之前,先在榜上查清那个模型的确切名字,确认它和你的服务商实际提供的是同一个,再拿二十个你自己的真实任务跑一遍。
压在最底下的档案
设想你管一个就业安置办公室。去年春天开始,市里按「安置人数」给你的个案员排名。安置数在涨。你把没结案的档案按等待时长排了一下。
排在最前面的,全是最难办的人:好几年没工作,没车,有案底。坎贝尔在一个就业办公室里描述过同样的事:按安置人数给员工打分,大家就去挑最容易的个案。没人违反规定,活儿只是悄悄流向了最快能计数的地方。
坎贝尔还注意到一件关于信任的事。他写道,在芝加哥,人们更相信人口普查,不太信选票统计,尽管普查的防范措施少得多。选票关系到职位、钱和权力;而人口普查,直到不久前,几乎什么都不决定。
于是你留了一个安静的数字。每个月,找一个不背任何考核的人,从那摞档案的最底下抽十份,记下每个人等了多久。这个数字不进任何人的考评。
第一个月交上来:十个人里,有三个已经等了半年以上。