首页 › AI 时代 › 锯齿状技术前沿
AI 时代 · 人机信任

锯齿状技术前沿

AI 这件事做得极好,相似的另一件却可能做砸,事先毫无征兆。

Jagged Technological Frontier◷ 约 4 分钟▤ 6 个真实故事换成 AI 也一样在知识地图里看它和谁相连 →

2023 年,波士顿咨询公司(BCG)的 758 名顾问参加了一场实验,合作方是来自哈佛、麻省理工、沃顿等院校的研究者。这些人是精英,约占公司一线咨询人员的 7%。一部分人不用 AI,其余的人拿到了 GPT-4,那是当时能力最强的模型。

大约一半人整场都在给一家虚构的鞋企做新品上市,18 项任务,从头脑风暴(「为一个没被满足的市场或运动项目,提出至少 10 个新鞋点子」),到细分市场、写新闻稿。有了 GPT-4,他们多完成了 12.2% 的活,快了大约四分之一,评分人打的质量分也明显更高。

另一半人拿到的是一道商业案例,BCG 面试应聘者时用的那种。一家公司的 CEO 想知道,哪个品牌最有增长空间。手上有一张看起来很完整的销售表,还有一份内部人员访谈,真正改变答案的细节就藏在访谈里。

不用 AI 的顾问,约 84.5% 答对。用 GPT-4 的两组,一组 60%,一组 70.6%。

同一家公司,同一类人,两组任务看上去差不多费脑子。在一组上,AI 把他们往上托;在另一组上,平均把他们往下拽了 19 个百分点,而他们交上来的报告,读起来比不用 AI 的同事还要漂亮。

一堵看不见的墙

研究者给这个现象起了名字:「锯齿状的技术前沿」。AI 的能力覆盖知识工作的方式是参差不齐的。论文写道:「在知识工作者看来难度相近的任务,人借助 AI 去做,结果可能更好,也可能更差。」在前沿以内,AI 能和人互补;在前沿以外,「AI 的产出不准确、用处更小,还会拉低人的表现」。

作者之一伊森·莫利克(Ethan Mollick)打过一个比方:一座城堡的城墙,有的地方塔楼远远伸进田野,有的地方又折回城堡中心。墙内的事 AI 都能做。「问题是,这堵墙是看不见的。」他举的是 2023 年的例子:GPT-4 写十四行诗很拿手,可让它写一首正好 50 个词的诗,它总是写多或写少。

文笔更好,答案却错了

最让人不安的结果和表达有关。评分人不知道正确答案,只按清晰、连贯、有说服力给每份报告打分。用 GPT-4 的顾问得分更高,不管他们选的品牌对不对。论文的总结是:AI「即使在底层分析有缺陷时,也能改善表达和论证」。

莫利克把这一点和论文第一作者法布里齐奥·德拉夸(Fabrizio Dell’Acqua)更早的一项实验联系起来:拿到很好用的 AI 工具的招聘人员变得马虎,判断反而比拿到较差工具的人更糟。德拉夸把这叫作「在方向盘后睡着了」。帮手大多数时候是对的,说起话来又总是很流畅,它出错的那一刻,看上去和它对的时候一模一样。

摸清一个人的边

管理者在人身上早就见过类似的事。设想团队来了一位新分析师,她做的第一份汇报材料是大家见过最清楚的。接着,经理给了她一件小一点的活:核对两份收入报表。交出去之前,经理逐行查了一遍。结果错得出人意料,汇报材料里看不出一点迹象。经理由此知道了一件简历上没写的事。下个季度,经理会放手把汇报材料交给她,数字则还要再盯一阵。

对同事,你摸清一次他的长处和短处,之后变化很慢。对 AI,有两处不同:它的边不按人的规律长,某方面强,说明不了旁边那件事;而且每换一个新模型,边界都可能变样。

画一张地图

所以,前沿要去试探,不能凭感觉。第一轮可以很小,比如挑上个月的十件真实任务,花一个下午,数字本身不要紧,要紧的是做法。把每件任务交给你在用的 AI,请知道正确答案的人评一评。换换输入:乱一点的文件,缺一个数,同一个问题换个问法。重要的任务多跑几遍,同样的请求,回来的结果可能不一样。这样得到的是对薄弱处的初步摸底,还算不上一张完整的地图。换了模型,再测一遍。

对边界附近的任务,莫利克从研究里归纳了两种做法。半人马分工清楚,自己做最擅长的部分,把前沿以内的活交给 AI;赛博格则从头到尾和 AI 来回传递。两种做法里,BCG 那道案例考的那件事都留在人手里:哪些细节真正改变了答案。

答错那道案例的顾问,手上有一张看似完整的表格、一个说话流畅的助手和一份漂亮的报告。他们手上也有那份访谈,改变答案的细节就在里面。能用来核对助手结论的材料一直都在,只是没被拿来用。

先看几件事

波士顿咨询公司(BCG) · 2023墙的另一边两组看上去难度相当的咨询任务,落在了 GPT-4 能力边界的两侧:一组 AI 帮了忙,另一组帮了倒忙。看整件事 →Levidow, Levidow & Oberman 律所 · 2023Varghese 是真实的判例吗?ChatGPT 生成的判例引用像模像样,连引文都有。听起来对和真的对,落在了它能力边界的两侧。看整件事 →谷歌(Google) · 2024每天一块石头谷歌宣传 AI 概览能回答原本要搜好几次的复杂问题。向全美用户开放的头几周,它却栽在该吃几块石头、芝士怎么粘在披萨上这种问题上。看整件事 →麦当劳(McDonald's) · 2019–2024一单接一单按首席执行官 2021 年的说法,大约五单里有四单用不着人。可两位知情人告诉 CNBC,它听不太懂各种口音和方言;美联社描述过一段视频,顾客喊停之后,它还在加鸡块。看整件事 →纽约市(MyCity) · 2023–2026政府不能出这种事市政府说,机器人已经给成千上万的人提供了及时、准确的回答。可 The Markup 的十名员工分别问它楼房是否必须接受租房券,十个人得到的都是「不必」,而在纽约市,除了一个很窄的例外,拒收是违法的。看整件事 →Zillow · 2021卖家都点了头估准一套挂牌房子今天值多少,和预测它几个月后能卖多少,看上去是同一种本事。在 Zillow 的定价上,两者差得很远:从第二季度到第四季度的预期,单套房的盈亏摆动了大约 12 个百分点。看整件事 →

玩一玩

出处

  1. Fabrizio Dell'Acqua et al., Navigating the Jagged Technological Frontier, Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality, Organization Science (first released as HBS Working Paper 24-013, September 2023)
  2. Ethan Mollick, Centaurs and Cyborgs on the Jagged Frontier, One Useful Thing, September 16, 2023
  3. Mata v. Avianca, Inc., No. 22-cv-1461 (S.D.N.Y.), Opinion and Order on Sanctions, June 22, 2023
  4. Google, AI Overviews: About last week, May 30, 2024
  5. BBC News, Google AI search tells users to glue pizza and eat rocks, May 24, 2024
  6. The Guardian, Google to refine AI-generated search summaries in response to bizarre results, May 31, 2024
  7. CNBC, Google CEO tells employees Gemini AI blunder 'unacceptable', February 28, 2024
  8. CNBC, McDonald's to end AI drive-thru test with IBM, June 17, 2024
  9. Restaurant Business, McDonald's is ending its drive-thru AI test, June 14, 2024
  10. AP, McDonald's is ending its test run of AI-powered drive-thrus with IBM, June 18, 2024
  11. CNBC, McDonald's is testing automated drive-thru ordering at 10 Chicago restaurants, June 2, 2021
  12. NYC Office of the Mayor, Mayor Adams Releases First-of-Its-Kind Plan for Responsible Artificial Intelligence Use in NYC Government, October 16, 2023
  13. The Markup, NYC's AI Chatbot Tells Businesses to Break the Law, March 29, 2024
  14. The Markup, Malfunctioning NYC AI Chatbot Still Active Despite Widespread Evidence It's Encouraging Illegal Behavior, April 2, 2024
  15. The Markup, Mamdani to Kill the NYC AI Chatbot We Caught Telling Businesses to Break the Law, January 30, 2026 (updated February 4, 2026)
  16. Zillow, Zillow Starts Making Cash Offers For the Zestimate, February 25, 2021
  17. Zillow Group, Q2 2021 Shareholder Letter (Form 8-K, Exhibit 99.3), August 5, 2021
  18. Zillow Group, Q3 2021 Shareholder Letter (Form 8-K, Exhibit 99.3), November 2, 2021
  19. Zillow Group, Zillow Group Reports Third-Quarter 2021 Financial Results and Shares Plan to Wind Down Zillow Offers Operations (Form 8-K, Exhibit 99.1), November 2, 2021
  20. Bloomberg Businessweek, Zillow's Algorithm-Fueled Buying Spree Doomed Its Home-Flipping Experiment, November 8, 2021