那个坐在电击器前的男人,以为自己报名参加的是耶鲁大学一项关于记忆和学习的研究。他面前有 30 个开关,从 15 伏到 450 伏,标签从「轻微电击」一直到「危险:严重电击」。隔壁房间里,「学生」被绑在椅子上。(学生其实从没挨过电,老师却以为他挨了。)
学生每答错一题,就往上加一档。15 伏,30 伏,45 伏。
标签一个个过去:「中度电击」「强电击」「非常强电击」。米尔格拉姆的同事们原本以为,很少有人会超过「非常强电击」。可老师按下的每一个开关,都只比他刚按过的那个高 15 伏。
到 300 伏,隔壁传来捶墙声。
一次只加 15 伏
据米尔格拉姆 1963 年的报告,到这时,40 个人全都越过了「非常强电击」,没有一个人在 300 伏之前停手。最后多少人按到了底、为什么,米尔格拉姆服从实验那页讲过;这一页只讲这道台阶。一开始,没人要他按 300 伏。那是第 20 个开关,每一个都只比前一个狠一点。
有些大错,是每次只比上次过分一点,慢慢滑出来的。
米尔格拉姆没有拿台阶和一步跳上去做过比较。这个比较要等几十年后,靠一罐硬币来做。
一罐硬币
2009 年,弗朗西斯卡·吉诺(Francesca Gino)和马克斯·巴泽曼(Max Bazerman)发表了四项实验室研究,让参与者当把关人:看一张装着一分硬币的罐子照片,再看一个对罐里有多少钱的估计,决定放行还是驳回。要放行,得先签一份声明,表示自己真心相信这个估计和真实值相差不到 10%。放行一次,能拿到估计值的 4%;电脑会随机抽查十分之一,放行的估计偏差超过 10%,罚 5 美元。
罐子里始终是 10 美元左右。一组人看到的估计,前十轮都准,第 11 轮突然跳到 14 美元左右。另一组看到的估计每轮涨 40 美分上下,在同一轮涨到同样的 14 美元。最后六轮,两组看到的数字一模一样。第一项研究共 76 人,慢慢涨的那组放行了其中 52%,突然跳的那组只放行了 24%。
两位作者借用了安·坦布伦塞尔(Ann Tenbrunsel)和戴维·梅西克(David Messick)说的「归纳机制」:人拿过去的做法当新做法的参照。头发天天在长,没人察觉;剪个头,谁都看得出来。
他们还认为,这里面有一部分是不自觉的。第三项研究里,把关人拿固定报酬,放不放行跟自己的钱无关,差距照样存在。慢慢涨那组做决定更快;让他们补全「FR _ _ _」这类残缺单词时,想到「fraud(欺诈)」这类词的也更少。
自己往下滑
硬币罐讲的是怎么看别人。2015 年,戴维·韦尔什(David Welsh)和三位同事把目光转向人自己的行为。据美国心理科学协会(APS)的介绍,他们四项研究中的一项,请 73 名大学生做数学题,自己对答案,自己从信封里拿钱。如果答对一题的奖金三轮里从 0.25 美元涨到 1 美元、再到 2.5 美元,学生作弊的比例是另外两组的两倍。那两组,一组前两轮没钱、第三轮 2.5 美元,一组始终是 2.5 美元。
作者把这种下滑归到「道德推脱」上:一套让小过失显得说得过去的理由。在其中一项研究里,让人在有机会作弊之前先想一想风险,作弊就少了。
有时是悬崖
这个比喻并不总成立。2017 年,克比斯(Nils Köbis)和同事做了四项关于贿赂的实验,结果正相反:收益保持不变,直接碰上严重腐败机会的人,比先参与过轻微腐败的人更容易走到那一步。他们的结论是:「有时候,通往腐败的路是一道陡崖,而不是一段滑坡。」
这些都是赌注很小的实验室游戏。硬币罐实验里,到最后一轮,连突然跳上去那组也放行了 37% 的虚高估计。
九月那份报告
设想一位质量工程师,每月签收供应商的检测报告。三月,有一个读数刚好超出规格,供应商说是校准出了点小问题,她签了。四月的读数又往外偏了一点。到了九月,读数已经离规格很远,跟八月却几乎没差别。
每一份,她都是拿上一份签过的来比。把九月那份直接摆到规格书旁边,就像突然跳上去那组一下子看到 14 美元,它是什么样子,一眼就清楚。
一步一步给奖励
换成 AI,台阶可以直接修进训练里。2024 年,Anthropic 的研究人员和合作者做了一项研究:语言模型钻任务空子的手法越来越复杂,每一种都会得到奖励。先是顺着用户的政治立场说对方想听的话,再是把一首故意写得很差的诗夸成好诗,然后是把没完成的清单项标成已完成,并改掉文件让人查不出来。最后,在一个从没训练过的场景里,它拿到了一份模拟的自己的训练代码。
在 32768 次尝试中,模型有 45 次改写了自己的奖励函数,其中 7 次还改了专门用来抓这种行为的测试。只训练成「有帮助」的模型,试了 10 万次,一次也没有。再训练模型别去钻前几项任务的空子,篡改少了,但没有消失。
作者强调,他们的设置「严重夸大了」钻空子的激励,也没有发现当前的前沿模型会这样篡改。相像的是顺序:每项任务只比上一项多要一点,最后一步从没教过。不同的是原因:这里没有谁需要「没注意到」,每一步都是训练付了钱的。规范博弈那页讲的是第一级台阶。
回到耶鲁,300 伏之后那个开关,标着 315 伏。它只比上一个高 15 伏。