2012 年前后，大众在美国卖的一些柴油车，排气系统的硬件在路上开始出故障。
大众的工程师心里大概有数。这些车装着一段软件，能认出监管部门在测功机上使用的那几套公开的驾驶工况。测功机就是实验室里让车原地跑的滚筒。在滚筒上，车干干净净；一上路，排放控制就打了折扣。现在，车在真实道路上也在测试模式里待得太久，硬件吃不消。
2012 年 7 月，工程师分别向两位主管汇报了这件事。两位主管都让他们把讲解用的那份文件销毁。
接下来，工程师做了碰到老出故障的零件时都会做的事：把它改好。新版的作弊软件还会看方向盘有没有在转，车在滚筒上时，方向盘是不动的。
一个老出故障的零件
从纸面上看，问题变成了一个受力过大的部件，一段需要判断得更准的检测程序。屋里的人当时怎么想，这份记录说不清。它写的是，两位主管明白这套软件的用途和分量，还鼓励继续瞒下去。
一件事只当成技术或生意问题看，它的对错就容易淡出视线。
用这个角度去看，值得问的是：改进作弊成了一项工程任务之后，还有没有人讨论它该不该存在。记录里能看到的是，又有工程师提出了顾虑，而 2013 年 4 月，发动机研发负责人还是批准了这个新功能。
安·滕布伦塞尔（Ann Tenbrunsel）和戴维·梅西克（David Messick）在 2004 年的一篇论文里，把这类现象叫作「道德褪色」。他们认为，人会自己骗自己：做的是对自己有利的事，心里却以为「自己的道德原则守住了」，决定里的道德成分就这样「褪」到了背景里。帮着它褪色的有四样东西：委婉的说法，一小步一小步的滑坡，对谁造成了什么的误判，以及人怎么看待自己。他们还认为，不顾这些力量的道德培训，效果有限。滕布伦塞尔后来和马克斯·巴泽曼（Max Bazerman）在 2011 年的《盲点》里接着写了它。这篇论文是概念和论证，框架会改变选择的证据，来自实验。
小一号的例子是西尔斯。1992 年，加州指控它的汽修中心卖给顾客用不着的维修。西尔斯否认骗过任何人，但承认它的销售激励「造成了一个确实会出错的环境」。
罚款变成了价钱
早在 1999 年，这两位研究者就用实验检验过其中一环。三项研究里，参与者面对的都是要不要合作的两难局面。处罚机制力度很弱时，合作反而比完全没有处罚还少。第二项研究提示了原因：处罚让人们把它看成「生意上的决定，而非道德上的决定」。
格尼茨（Uri Gneezy）和鲁斯蒂奇尼（Aldo Rustichini）在海法几家托儿所做的现场研究，指向同一个方向，挤出效应那页也讲过。托儿所对晚接孩子的家长开始收一笔小额罚款，结果晚到的家长变多了；罚款取消后，人数也没降下来。两位作者认为，罚款「改变了人们对自己所处环境的看法」。
这个效应也有边界。2020 年，西莉亚·崔（Celia Chui）和曼努埃尔·格里德（Manuel Grieder）在一项实验游戏里发现，查处不当行为的机制越强，人们越觉得那种行为不道德。规则本身也可以带着道德分量。何况这些是游戏和托儿所，不是公司的会议室。
挽留摩擦
设想一位产品经理，任务是降低退订率。她的看板盯着挽留率。团队给退订流程加了第三道确认页，又把退订按钮挪进了「管理套餐」里。挽留率涨了。复盘会上，大家争的是这次测试跑得够不够久。
没有人问：被「挽留」的顾客里，有多少其实想走，现在还在为本想退掉的东西付钱。会上说的是摩擦和转化，这套话里，这个问题没有位置。
把改动写成一句对顾客说的话，「我们让你更难退订了」，问题就回来了。问一句「这个数往上走，屋外是谁在买单」，也一样。两种做法都换了框架。
模型被要求预测什么
做 AI 系统，要定下模型学着预测什么，这看上去是个技术决定。奥伯迈尔（Ziad Obermeyer）等人 2019 年的研究显示，它能承载多大分量。
他们研究的是美国医疗系统用来挑选患者、提供额外照护的一款商业算法。它拿未来的医疗花费代表健康需要，还特意把种族排除在外。按常用的准确度指标，花费看上去是个不错的替身。可作者写道，看病的机会不平等，花在黑人患者身上的钱比白人患者少。在自动入选的那条分数线上，黑人患者的慢性病比白人患者多 26.3%。如果消除这个差距，入选者中黑人患者的比例会从 17.7% 升到 46.5%。
作者说，选定预测什么，「也许是开发这类算法时最重要的一个决定」；这种偏差「格外隐蔽，因为它可以出自合理的选择」。厂商用自己的全国数据复现了结果。数据和训练流程都不变，只把预测目标换成健康和花费合起来的指数，按其中一种衡量方法，偏差减少了 84%。
这项研究没有考察开发者当时怎么想，作者说偏差是无意中产生的。它是一个用来筛查的统计风险评分，不是聊天机器人。能搬到 AI 工作里的，是那个框架：训练目标被归在「参数设置」一栏，用准确度来评判；谁最后少得了照护，图表上没有这一行。
在大众，更准的作弊软件到车主手里的方式，和任何一次修理一样：保养时做的一次软件升级。