2023 年,波士顿咨询公司(BCG)的 758 名顾问参加了一场实验,合作方是来自哈佛、麻省理工、沃顿等院校的研究者。这些人是精英,约占公司一线咨询人员的 7%。一部分人不用 AI,其余的人拿到了 GPT-4,那是当时能力最强的模型。
大约一半人整场都在给一家虚构的鞋企做新品上市,18 项任务,从头脑风暴(「为一个没被满足的市场或运动项目,提出至少 10 个新鞋点子」),到细分市场、写新闻稿。有了 GPT-4,他们多完成了 12.2% 的活,快了大约四分之一,评分人打的质量分也明显更高。
另一半人拿到的是一道商业案例,BCG 面试应聘者时用的那种。一家公司的 CEO 想知道,哪个品牌最有增长空间。手上有一张看起来很完整的销售表,还有一份内部人员访谈,真正改变答案的细节就藏在访谈里。
不用 AI 的顾问,约 84.5% 答对。用 GPT-4 的两组,一组 60%,一组 70.6%。
同一家公司,同一类人,两组任务看上去差不多费脑子。在一组上,AI 把他们往上托;在另一组上,平均把他们往下拽了 19 个百分点,而他们交上来的报告,读起来比不用 AI 的同事还要漂亮。
一堵看不见的墙
研究者给这个现象起了名字:「锯齿状的技术前沿」。AI 的能力覆盖知识工作的方式是参差不齐的。论文写道:「在知识工作者看来难度相近的任务,人借助 AI 去做,结果可能更好,也可能更差。」在前沿以内,AI 能和人互补;在前沿以外,「AI 的产出不准确、用处更小,还会拉低人的表现」。
作者之一伊森·莫利克(Ethan Mollick)打过一个比方:一座城堡的城墙,有的地方塔楼远远伸进田野,有的地方又折回城堡中心。墙内的事 AI 都能做。「问题是,这堵墙是看不见的。」他举的是 2023 年的例子:GPT-4 写十四行诗很拿手,可让它写一首正好 50 个词的诗,它总是写多或写少。
文笔更好,答案却错了
最让人不安的结果和表达有关。评分人不知道正确答案,只按清晰、连贯、有说服力给每份报告打分。用 GPT-4 的顾问得分更高,不管他们选的品牌对不对。论文的总结是:AI「即使在底层分析有缺陷时,也能改善表达和论证」。
莫利克把这一点和论文第一作者法布里齐奥·德拉夸(Fabrizio Dell’Acqua)更早的一项实验联系起来:拿到很好用的 AI 工具的招聘人员变得马虎,判断反而比拿到较差工具的人更糟。德拉夸把这叫作「在方向盘后睡着了」。帮手大多数时候是对的,说起话来又总是很流畅,它出错的那一刻,看上去和它对的时候一模一样。
摸清一个人的边
管理者在人身上早就见过类似的事。设想团队来了一位新分析师,她做的第一份汇报材料是大家见过最清楚的。接着,经理给了她一件小一点的活:核对两份收入报表。交出去之前,经理逐行查了一遍。结果错得出人意料,汇报材料里看不出一点迹象。经理由此知道了一件简历上没写的事。下个季度,经理会放手把汇报材料交给她,数字则还要再盯一阵。
对同事,你摸清一次他的长处和短处,之后变化很慢。对 AI,有两处不同:它的边不按人的规律长,某方面强,说明不了旁边那件事;而且每换一个新模型,边界都可能变样。
画一张地图
所以,前沿要去试探,不能凭感觉。第一轮可以很小,比如挑上个月的十件真实任务,花一个下午,数字本身不要紧,要紧的是做法。把每件任务交给你在用的 AI,请知道正确答案的人评一评。换换输入:乱一点的文件,缺一个数,同一个问题换个问法。重要的任务多跑几遍,同样的请求,回来的结果可能不一样。这样得到的是对薄弱处的初步摸底,还算不上一张完整的地图。换了模型,再测一遍。
对边界附近的任务,莫利克从研究里归纳了两种做法。半人马分工清楚,自己做最擅长的部分,把前沿以内的活交给 AI;赛博格则从头到尾和 AI 来回传递。两种做法里,BCG 那道案例考的那件事都留在人手里:哪些细节真正改变了答案。
答错那道案例的顾问,手上有一张看似完整的表格、一个说话流畅的助手和一份漂亮的报告。他们手上也有那份访谈,改变答案的细节就在里面。能用来核对助手结论的材料一直都在,只是没被拿来用。