1995 年 6 月 10 日傍晚，邮轮「皇家威严号」载着 1509 人从百慕大驶向波士顿。驾驶台的屏幕显示，船正走在计划航线上，偏差不到 200 米。
实际上，它偏出去了 17 英里。一天多以前，GPS 天线的电缆松脱，接收机退回到靠航速和航向估算位置，船员一直照着它开。
驾驶台上其实一直开着另一台独立的定位仪，罗兰-C，显示的正是船的真实位置。值班的二副作证说，他没有用它去核对 GPS 的习惯。当晚，船在楠塔基特岛附近搁浅。
信任是一个可调的旋钮
美国国家运输安全委员会（NTSB）把原因归为「过度依赖」驾驶台系统的「自动化功能」。人因工程的研究者有一个更精确的说法。2004 年，爱荷华大学的约翰·李（John Lee）和卡特里娜·西（Katrina See）发表了一篇综述，把这叫作校准失败：校准指的是「一个人对自动化的信任，和自动化实际能力之间的对应程度」。
校准可以往两个方向偏。信任超过系统能力，就是过度信任，会导致误用，就像皇家威严号的船员跟着一台已经不知道自己在哪儿的 GPS 走。信任低于系统能力，就是不信任，会导致弃用。他们举的例子是造纸厂的操作员，拒绝使用自动控制器，白白丢掉了自动化能带来的好处。
他们还指出，好的信任是具体的：它落在系统的某项功能上，而不是笼统地给了整个系统；情况变了，它也跟着变。在皇家威严号上，GPS 出了故障，船员对它的信心还停在它好用的时候。屏幕上那个小小的「DR」，表示它已经不再用卫星定位，也没能让这份信心动一下。
查了一周
人一直在校准信任，只是通常不这么叫。设想一位仓库主管换了一套新的排班软件，由它给订单分配拣货员。第一周，她把每一条分配都亲手核一遍。普通订单都没问题；带特殊包装要求的加急订单，有时会出错。于是她不再核普通订单，只盯加急订单。几个月后软件升级，她又花了几天，把所有分配重新核了一遍，才再放手。
她的信任跟着软件的实际表现走，按订单类型分开，软件一变就回头再核。这比一概相信或一概不信都要费劲。
当 AI 告诉你它有多确定
AI 会让校准变得更难。在 BCG 那项 758 名顾问参加的研究里，借助 GPT-4 写的报告被评为更连贯、更有说服力，结论错了也一样。文笔好坏说明不了对错。
一个直觉上的办法，是让 AI 说出它有多确定。2020 年，IBM 的研究者测试了这个办法。参与者根据 1994 年美国人口普查的记录，判断一个人的年收入是否超过 5 万美元，旁边附着 AI 的建议。AI 同时显示置信度分数时，人们在高置信度的题上更常听它的，在低置信度的题上更少听。信任校准得更好了。可最终判断并没有变得更准：AI 拿不准的那些题，人也拿不准，在那些时候接手，帮不上多少忙。
在那项实验里，信任校准得更好，判断却没有更准，因为人自己的判断补不上机器的薄弱处。皇家威严号指向了能补上的东西：一种不经过同一批数据的核对办法，比如第二个信息来源，或者机器不知道的知识。在船上，那是罗兰-C；在办公室里，可能是合同原件、一通打给客户的电话，或者一位熟悉这个客户的同事。
所以，对要紧的 AI 工作，按任务类型分别记下它的表现；模型或工具一换，就重新核一遍；再留一台独立的仪器，一直开着。