首页 › 案例
波士顿咨询公司(BCG) · 2023 · AI 的故事

墙的另一边

有了 GPT-4,BCG 顾问做产品任务更多、更快、更好;可在一道分析题上,用 AI 的人答对率只有 60% 到 71%,不用的是 84.5%。

◷ 约 2 分钟

2023 年,波士顿咨询公司(BCG)让一组来自哈佛、麻省理工、沃顿等院校的社会科学家,拿自家员工做了一场实验。758 名顾问参加,约占公司一线咨询人员的 7%。一部分人照常干活;其余的人拿到了 GPT-4,那是当时能力最强的 AI 模型,其中一些人还另外上了一堂怎么写提示词的简短培训。

大约一半顾问,整场都在给一家虚构的鞋企做新品上市:18 项任务,从「为一个没被满足的市场或运动项目,提出至少 10 个新鞋点子」,到写新闻稿、给员工写内部信。有了 GPT-4,他们多完成了 12.2% 的任务,用时少了大约四分之一,评分人给出的质量分也明显更高。

另一半顾问拿到的是一道经典商业案例,就是 BCG 招人面试时用的那种。一家虚构公司的 CEO 想知道,旗下哪个品牌最有增长空间。顾问们手上有一张销售数据表,还有一份公司内部人员的访谈记录。表格看上去很完整,答案却取决于埋在访谈里的细节。研究者特意把题目设计成:把全部材料交给 GPT-4,它会答错。

不用 AI 的顾问,约 84.5% 选对了品牌。用 GPT-4 的两组,分别只有 60% 和 70.6%。平均下来,AI 的帮忙让他们少答对了 19 个百分点。

第一个发现里还藏着第二个。不知道正确答案的评分人,按清晰、连贯、有说服力给每份报告打分。用 AI 的顾问得分更高,不管他们的结论对不对。论文的原话是:AI「即使在底层分析有缺陷时,也能改善表达和论证」。

研究者把这条边界叫作「锯齿状的技术前沿」。边界这一侧,AI 能让高手的活儿更上一层;另一侧,它会把人往下拽。在人看来难度差不多的任务,可能分处两侧,屏幕上也没有任何东西告诉你,你站在哪一边。

论文作者之一伊森·莫利克(Ethan Mollick)在写这项研究时,描述了用好 AI 的顾问的两种做法。一种像半人马,人和机器之间分工清楚;另一种像赛博格,从头到尾和 AI 来回传递一小块一小块的活。不管哪种,决定哪块活交给机器的,始终是人。

这件事里藏着几个道理

锯齿状技术前沿两组看上去难度相当的咨询任务,落在了 GPT-4 能力边界的两侧:一组 AI 帮了忙,另一组帮了倒忙。自动化偏差线索藏在访谈里,表格里看不出来。拿到 GPT-4 的顾问,比不用 AI 的顾问更常答错。信任校准用 AI 的顾问写出的报告被评为更连贯、更有说服力,答错的也一样,所以文笔好坏说明不了对错。

出处

  1. Fabrizio Dell'Acqua et al., Navigating the Jagged Technological Frontier, Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality, Organization Science (first released as HBS Working Paper 24-013, September 2023)
  2. Ethan Mollick, Centaurs and Cyborgs on the Jagged Frontier, One Useful Thing, September 16, 2023