2023 年,波士顿咨询公司(BCG)让一组来自哈佛、麻省理工、沃顿等院校的社会科学家,拿自家员工做了一场实验。758 名顾问参加,约占公司一线咨询人员的 7%。一部分人照常干活;其余的人拿到了 GPT-4,那是当时能力最强的 AI 模型,其中一些人还另外上了一堂怎么写提示词的简短培训。
大约一半顾问,整场都在给一家虚构的鞋企做新品上市:18 项任务,从「为一个没被满足的市场或运动项目,提出至少 10 个新鞋点子」,到写新闻稿、给员工写内部信。有了 GPT-4,他们多完成了 12.2% 的任务,用时少了大约四分之一,评分人给出的质量分也明显更高。
另一半顾问拿到的是一道经典商业案例,就是 BCG 招人面试时用的那种。一家虚构公司的 CEO 想知道,旗下哪个品牌最有增长空间。顾问们手上有一张销售数据表,还有一份公司内部人员的访谈记录。表格看上去很完整,答案却取决于埋在访谈里的细节。研究者特意把题目设计成:把全部材料交给 GPT-4,它会答错。
不用 AI 的顾问,约 84.5% 选对了品牌。用 GPT-4 的两组,分别只有 60% 和 70.6%。平均下来,AI 的帮忙让他们少答对了 19 个百分点。
第一个发现里还藏着第二个。不知道正确答案的评分人,按清晰、连贯、有说服力给每份报告打分。用 AI 的顾问得分更高,不管他们的结论对不对。论文的原话是:AI「即使在底层分析有缺陷时,也能改善表达和论证」。
研究者把这条边界叫作「锯齿状的技术前沿」。边界这一侧,AI 能让高手的活儿更上一层;另一侧,它会把人往下拽。在人看来难度差不多的任务,可能分处两侧,屏幕上也没有任何东西告诉你,你站在哪一边。
论文作者之一伊森·莫利克(Ethan Mollick)在写这项研究时,描述了用好 AI 的顾问的两种做法。一种像半人马,人和机器之间分工清楚;另一种像赛博格,从头到尾和 AI 来回传递一小块一小块的活。不管哪种,决定哪块活交给机器的,始终是人。