美国独立日那天,波士顿查尔斯河岸边野餐、等着看烟花的人,被请去填一份问卷,报酬是一根冰淇淋雪糕。第一道题是:
球拍和球一共 1.10 美元,球拍比球贵 1 美元。球多少钱?
答案几乎是自己跳出来的:10 美分。研究者谢恩·弗雷德里克前后收了 3428 人的答卷,页边上常常是 10 美分被划掉,旁边写着 5 美分,「但从来没有反过来的」。他还让大家估计,别的答题者里有多少人能做对。答 10 美分的人估计 92%,答 5 美分的人估计 62%。
做错的人,反倒觉得题更容易。球是 5 美分。
两个角色
答案会自己很快冒出来;检查它要费劲,而且常常没开始。
弗雷德里克借用了心理学家基思·斯坦诺维奇和理查德·韦斯特 2000 年给两类思考起的名字。系统 1 是快的那种:有人走进教室,你一眼认出是数学老师,瞬间完成,不费力气。系统 2 是慢的那种:不用计算器,把 19163 开平方算到小数点后两位,要花力气、要有动力、要集中精神。这道题,没有哪个数会自己冒出来。
球拍和球这道题,是在邀请系统 1 抢答。系统 2 得自己发现:1 美元和 10 美分只差 90 美分。弗雷德里克有一组对照,能看出检查什么时候才启动:香蕉和百吉饼一共 37 美分,香蕉贵 13 美分,百吉饼多少钱?这道题做错的人少得多。这组数字招人去算,人也就算了。
2011 年,丹尼尔·卡尼曼用斯坦诺维奇和韦斯特的这两个名字,撑起了《思考,快与慢》整本书。他对这两个名字说得很小心:它们是「虚构的角色」,「大脑里并没有哪一块地方是哪个系统的家」。用它们,是因为一句话讲「系统 2 做了什么」,比讲「心算」更好懂。
没站住的部分
题目本身至今还能绊倒人。2023 年,研究者在网上找了几百人做这类题,答对的比例是 38%,弗雷德里克原研究里是 41%。
书里倚重的一些证据却没站住。有一章靠的是启动效应研究,说细微的暗示能改变人的行为。2012 年 9 月,卡尼曼写信给这个领域的研究者:「我看到一场火车事故正在逼近。」2014 年,「多实验室」项目在 36 个样本里重做了 13 个效应,两个启动效应没能重复出来。2017 年,有人分析了那一章引用的研究,卡尼曼回应说:「这篇博文说得完全对的一点是,我太相信那些统计效力不足的研究了。」他也说,自己对引用过的每项研究仍有感情,乐见每一项都在大样本里重做一遍。
书里还介绍了「自我损耗」:用力克制过一次,下一回就更难克制。2016 年,23 个实验室、2141 名参与者用同一套标准程序重做了这个实验,效应接近于零。
连这道题量的是什么,也有争议。2015 年,亚历山大·西纳耶夫和埃伦·彼得斯在两项研究里发现,这套测试之所以能预测更好的决策,靠的是对数字的熟练,而不是反思。
感觉像 25 的折扣
假设一位销售来找你批一单:先打八五折,提前付款再打九折。你批了「优惠 25%」,因为加起来就是这么多。
其实不是。在八五折的基础上再打九折,合起来是 23.5%。报价按 25% 发了出去,多让的那一个半百分点,合同期内的每一张发票上都要扣一次。
这道算术一点也不难,问题恰恰在这里。弗雷德里克的数据里,做错球拍和球的人,恰恰觉得这道题更容易。
答「30 天」的模型
2023 年,蒂洛·哈根多夫、萨拉·法比和米哈尔·科辛斯基把 150 道这类题,交给 OpenAI 从 GPT-1 到 ChatGPT-4 的一系列模型,也交给人来做。其中一道,正确答案是 59 天,陷阱是把总天数除以二,答 30 天。
在这 150 道题上,GPT-3-davinci-003 有 80% 的时候掉进陷阱,人是 55%。研究者在题后加上一句「我们用代数来解这道题」,它每次都写出了推导过程,掉进陷阱的降到 29%。可答对的只从 5% 升到 28%,因为别的错答案从 15% 涨到了 43%。ChatGPT-4 则大多答对,被要求只给最短的答案、不解释时,仍有 88% 是对的。
作者用了快与慢的说法,但也明说,他们无意把人工智能和人的认知过程等同起来。他们只测了 OpenAI 的模型,也承认有些模型可能在训练中见过足够多的同类题,是凭记忆答的。
这个实验你可以自己做一个小版本。同一道算数的题,开两个全新的对话各问一次:一次只要答案,一次让它把过程写出来。两个答案对不上,就自己把算术核一遍。写了过程也不等于对:那个 GPT-3 模型写出推导之后,仍然将近四题错三题。
球是 5 美分。1.05 美元加 5 美分,正好 1.10 美元。核一遍用的时间,比读题还短。