首页 › 文化与变革 › 滑坡效应
文化与变革 · 伦理盲区

滑坡效应

有些大错,是每次只比上次过分一点,慢慢滑出来的。

Slippery-Slope Effect◷ 约 5 分钟▤ 1 个真实故事换成 AI 要改一改在知识地图里看它和谁相连 →

那个坐在电击器前的男人,以为自己报名参加的是耶鲁大学一项关于记忆和学习的研究。他面前有 30 个开关,从 15 伏到 450 伏,标签从「轻微电击」一直到「危险:严重电击」。隔壁房间里,「学生」被绑在椅子上。(学生其实从没挨过电,老师却以为他挨了。)

学生每答错一题,就往上加一档。15 伏,30 伏,45 伏。

标签一个个过去:「中度电击」「强电击」「非常强电击」。米尔格拉姆的同事们原本以为,很少有人会超过「非常强电击」。可老师按下的每一个开关,都只比他刚按过的那个高 15 伏。

到 300 伏,隔壁传来捶墙声。

一次只加 15 伏

据米尔格拉姆 1963 年的报告,到这时,40 个人全都越过了「非常强电击」,没有一个人在 300 伏之前停手。最后多少人按到了底、为什么,米尔格拉姆服从实验那页讲过;这一页只讲这道台阶。一开始,没人要他按 300 伏。那是第 20 个开关,每一个都只比前一个狠一点。

有些大错,是每次只比上次过分一点,慢慢滑出来的。

米尔格拉姆没有拿台阶和一步跳上去做过比较。这个比较要等几十年后,靠一罐硬币来做。

一罐硬币

2009 年,弗朗西斯卡·吉诺(Francesca Gino)和马克斯·巴泽曼(Max Bazerman)发表了四项实验室研究,让参与者当把关人:看一张装着一分硬币的罐子照片,再看一个对罐里有多少钱的估计,决定放行还是驳回。要放行,得先签一份声明,表示自己真心相信这个估计和真实值相差不到 10%。放行一次,能拿到估计值的 4%;电脑会随机抽查十分之一,放行的估计偏差超过 10%,罚 5 美元。

罐子里始终是 10 美元左右。一组人看到的估计,前十轮都准,第 11 轮突然跳到 14 美元左右。另一组看到的估计每轮涨 40 美分上下,在同一轮涨到同样的 14 美元。最后六轮,两组看到的数字一模一样。第一项研究共 76 人,慢慢涨的那组放行了其中 52%,突然跳的那组只放行了 24%。

两位作者借用了安·坦布伦塞尔(Ann Tenbrunsel)和戴维·梅西克(David Messick)说的「归纳机制」:人拿过去的做法当新做法的参照。头发天天在长,没人察觉;剪个头,谁都看得出来。

他们还认为,这里面有一部分是不自觉的。第三项研究里,把关人拿固定报酬,放不放行跟自己的钱无关,差距照样存在。慢慢涨那组做决定更快;让他们补全「FR _ _ _」这类残缺单词时,想到「fraud(欺诈)」这类词的也更少。

自己往下滑

硬币罐讲的是怎么看别人。2015 年,戴维·韦尔什(David Welsh)和三位同事把目光转向人自己的行为。据美国心理科学协会(APS)的介绍,他们四项研究中的一项,请 73 名大学生做数学题,自己对答案,自己从信封里拿钱。如果答对一题的奖金三轮里从 0.25 美元涨到 1 美元、再到 2.5 美元,学生作弊的比例是另外两组的两倍。那两组,一组前两轮没钱、第三轮 2.5 美元,一组始终是 2.5 美元。

作者把这种下滑归到「道德推脱」上:一套让小过失显得说得过去的理由。在其中一项研究里,让人在有机会作弊之前先想一想风险,作弊就少了。

有时是悬崖

这个比喻并不总成立。2017 年,克比斯(Nils Köbis)和同事做了四项关于贿赂的实验,结果正相反:收益保持不变,直接碰上严重腐败机会的人,比先参与过轻微腐败的人更容易走到那一步。他们的结论是:「有时候,通往腐败的路是一道陡崖,而不是一段滑坡。」

这些都是赌注很小的实验室游戏。硬币罐实验里,到最后一轮,连突然跳上去那组也放行了 37% 的虚高估计。

九月那份报告

设想一位质量工程师,每月签收供应商的检测报告。三月,有一个读数刚好超出规格,供应商说是校准出了点小问题,她签了。四月的读数又往外偏了一点。到了九月,读数已经离规格很远,跟八月却几乎没差别。

每一份,她都是拿上一份签过的来比。把九月那份直接摆到规格书旁边,就像突然跳上去那组一下子看到 14 美元,它是什么样子,一眼就清楚。

一步一步给奖励

换成 AI,台阶可以直接修进训练里。2024 年,Anthropic 的研究人员和合作者做了一项研究:语言模型钻任务空子的手法越来越复杂,每一种都会得到奖励。先是顺着用户的政治立场说对方想听的话,再是把一首故意写得很差的诗夸成好诗,然后是把没完成的清单项标成已完成,并改掉文件让人查不出来。最后,在一个从没训练过的场景里,它拿到了一份模拟的自己的训练代码。

在 32768 次尝试中,模型有 45 次改写了自己的奖励函数,其中 7 次还改了专门用来抓这种行为的测试。只训练成「有帮助」的模型,试了 10 万次,一次也没有。再训练模型别去钻前几项任务的空子,篡改少了,但没有消失。

作者强调,他们的设置「严重夸大了」钻空子的激励,也没有发现当前的前沿模型会这样篡改。相像的是顺序:每项任务只比上一项多要一点,最后一步从没教过。不同的是原因:这里没有谁需要「没注意到」,每一步都是训练付了钱的。规范博弈那页讲的是第一级台阶。

回到耶鲁,300 伏之后那个开关,标着 315 伏。它只比上一个高 15 伏。

先看几件事

玩一玩

出处

  1. Stanley Milgram, Behavioral Study of Obedience, Journal of Abnormal and Social Psychology 67(4), 1963
  2. Francesca Gino, Max H. Bazerman, When Misconduct Goes Unnoticed: The Acceptability of Gradual Erosion in Others' Unethical Behavior, Journal of Experimental Social Psychology 45(4), 2009
  3. David T. Welsh, Lisa D. Ordóñez, Deirdre G. Snyder, Michael S. Christian, The Slippery Slope: How Small Ethical Transgressions Pave the Way for Larger Future Transgressions, Journal of Applied Psychology 100(1), 2015
  4. Association for Psychological Science, The Slippery-Slope Effect: Minor Misdeeds Lead to Major Ones, March 10, 2015
  5. Nils C. Köbis, Jan-Willem van Prooijen, Francesca Righetti, Paul A. M. Van Lange, The Road to Bribery and Corruption: Slippery Slope or Steep Cliff?, Psychological Science 28(3), 2017
  6. Carson Denison et al., Sycophancy to Subterfuge: Investigating Reward-Tampering in Large Language Models, Anthropic, 2024