首页 › 决策 › 外部视角(参照类预测)
决策 · 思考,快与慢

外部视角(参照类预测)

先别信自己的计划,看看类似的项目实际怎么收场。

Outside View (Reference Class Forecasting)◷ 约 4 分钟▤ 1 个真实故事换成 AI 也一样在知识地图里看它和谁相连 →

按爱丁堡市议员们批准的计划,有轨电车从机场一直修到海边的纽黑文,2011 年夏天通车,预算 5.45 亿英镑。可市议会自己的公司「爱丁堡交通倡议」(简称 tie)得先回答官方指南要问大型公共项目的一个问题:像你这样的项目,通常怎么收场?

2005 年 5 月的商业论证草案里,tie 用的是咨询公司莫特麦克唐纳 2002 年为英国财政部做的一份评估。评估把项目分成「标准土木工程」和「非标准土木工程」两类。tie 把电车归进了标准土木工程,说这是听了评估作者的意见。而在那份评估里,归在这一类的项目全是修路。

归哪一类,数字就跟着定了。标准土木工程要上浮 44%,估算和可用资金之间的余量刚好装得下。非标准要上浮 66%。工程公司奥雅纳 2004 年审查爱丁堡一条线路时已经用过的新铁路数字,是 57%。哪个都装不下。

tie 告诉市议会,它有 95% 的把握在预算内完工。

混在公路里的电车

电车在 2014 年 5 月 31 日通车,晚了将近三年,而且只修到约克广场。公开调查的最佳估计是,这条缩短的线路共花费 8.35739 亿英镑。tie 的前风险经理在调查中说,按非标准项目留那笔更大的余量,「只会危及这套系统能不能建成」,或者吓着出钱的人。

先别信自己的计划,看看类似的项目实际怎么收场。

内部视角从眼前的项目出发:它的计划,它的风险清单。1993 年,丹尼尔·卡尼曼和丹·洛瓦洛把过分乐观的预测归到这种视角上,说它「把预测锚定在计划和设想上」。外部视角先把细节放一边,问一类相似的项目后来怎样。卡尼曼自己编教材的故事,写在规划谬误那一页。

导航软件用的就是外部视角。它不问你打算开多快,只告诉你这段路最近别人都开了多久。

规划学者本特·弗吕夫布约格把这个想法做成了一套方法,叫参照类预测:挑出一类过去的相似项目,看它们的结果怎么分布,再把自己的项目放进这个分布里。他写道,这个类要「宽到在统计上有意义,又窄到真能拿来比」。2004 年,英国交通部和财政部把它用到了大型交通项目上;按弗吕夫布约格的说法,头一回实际使用,就是那次对爱丁堡线路的审查。

参照类由谁来挑

爱丁堡正好露出了这套方法漏水的地方。弗吕夫布约格是 2004 年那份指南的作者之一,他在调查中承认,指南让使用者自己判断项目落在参照类的哪个位置,这一步容易带进偏差。tie 走得更远:它以风险管理为由一路压低上浮,到 2007 年 12 月的最终商业论证,除了 12% 的风险准备金,为乐观偏差留的余量一分都没有了。弗吕夫布约格说,这 12%「根本不现实」。

方法本身也有边界。弗吕夫布约格写过,先例少的项目,比如引入陌生的新技术,参照类更难找。调查发现,指南依据的数据已是将近二十年前的,也没有给轻轨单独设类。2013 年,经济学家约纳斯·埃利亚松和莫恩斯·福斯格劳还提出,就算预测本身没有偏差,平均下来也可能超支,因为项目能不能上马,部分取决于预测看着好不好。他们认为,上浮能帮着给一整批项目做预算,但只有各类项目的偏差已知、能分得开时,才帮得上挑项目。

电车也不是只栽在预测上。调查列出了十条主要原因,从基础设施合同到管理架构都有;没留上浮,只是其中一条。

哪些旧项目算数

假设你要给公司网站的改版做预算。财务系统里能查到最近五个网站项目:三个是改版,都在计划的 10% 以内完成;另外两个连结账流程也重做了,超支 60%。

你的计划书上写的是「改版」,可这回的范围碰到了结账。归进哪一堆,预算就跟着走。

先写下哪些项目算数、为什么,再去算总数。想挪进便宜的那一堆,得拿出看得见的理由。弗吕夫布约格在调查中说,团队若有胜过同类的书面记录,可以少上浮一些;不过他从没见过哪次这样的调整最后被证明站得住。

凭记忆报出的基准率

2024 年,谷歌和华盛顿大学的一个团队让 PaLM 2(训练截至 2022 年 7 月)预测谷歌员工内部预测市场上的问题。其中一种做法,是让模型先自己提问「类似的事过去多常发生」,在不给数据的情况下自己作答,再做预测。在主要的那组问题上,它的布赖尔分数(越低越好)是 0.1562,直接问的是 0.1221,人类市场是 0.1334。

作者认为,直接问能领先,是因为模型爱往低了猜,而这些问题大多以「没发生」收场。把「发生了」和「没发生」两组分别计分,再等权平均,人类市场胜过所有模型做法;单看发生的那组,有两种模型做法比人强。这只是一个较早的模型,论文也没说它报的基准率对不对。

参照类不如你亲手交给模型。把过去的项目贴进去,问它算了哪几个、得出什么范围,再自己重算其中一个数。换几个新对话多问几次;要是它算进去的项目每次都不一样,先弄清原因再用那个数。

2019 年,从约克广场到纽黑文的最后一段线路,有了自己的商业论证,交到市议会手里。估价 2.073 亿英镑,这一回,里面含着一笔乐观偏差的余量。

先看几件事

玩一玩

出处

  1. The Edinburgh Tram Inquiry,The Inquiry Report(哈迪勋爵),建议与执行摘要,2023 年 9 月 19 日
  2. The Edinburgh Tram Inquiry,The Inquiry Report,第 21 章 Risk and optimism bias,2023
  3. Bent Flyvbjerg、Alexander Budzier,Report for the Edinburgh Tram Inquiry,2018 年 2 月
  4. Bent Flyvbjerg,From Nobel Prize to Project Management, Getting Risks Right,Project Management Journal 第 37 卷第 3 期,2006
  5. Daniel Kahneman、Dan Lovallo,Timid Choices and Bold Forecasts, A Cognitive Perspective on Risk Taking,Management Science 第 39 卷第 1 期,1993
  6. Jonas Eliasson、Mogens Fosgerau,Cost overruns and demand shortfalls, deception or selection?,Transportation Research Part B 第 57 卷,2013(工作论文版)
  7. Sarah Pratt、Seth Blumberg、Pietro Kreitlon Carolino、Meredith Ringel Morris,Can Language Models Use Forecasting Strategies?,arXiv,2024
  8. Bent Flyvbjerg、Alexander Budzier,Report for the Edinburgh Tram Inquiry,第 14 版,2018 年 2 月(调查证据编号 TRI00000265)
  9. 苏格兰政府,Edinburgh Tram Inquiry Report, Transport Secretary statement,2023 年 11 月 2 日