首页 › 案例
德勤澳大利亚(Deloitte Australia) · 2024–2025 · AI 的故事

世上保密最好的一本书

德勤给澳大利亚政府做的这份 44 万澳元的审查报告,引了根本不存在的文献,还给一份联邦法院判决编了引语。修订版披露:写报告时用过一套基于 GPT-4o 的工具链。

◷ 约 2 分钟

克里斯·拉奇在悉尼大学研究卫生与福利法。他在读一份 237 页的政府报告,读到一条参考文献:作者是他的一位同事,一位公法与宪法学教授,书名却像是另一个领域的东西。这本书他从没听说过。

「我一下子就明白了,这要么是 AI 编出来的,要么是全世界保密工作做得最好的一本书,」他后来对美联社说,「因为我从没听说过它,而且这书名听着就荒唐。」

这份报告花了澳大利亚就业和劳资关系部大约 44 万澳元。2024 年 12 月,部里请德勤审查「定向合规框架」,也就是那套自动处罚求职者的 IT 系统:领救济金的人没完成规定的求职义务,系统就扣钱。报告 2025 年 7 月 4 日挂上部里的网站,对这套系统批评得很重,说它「建立在参与者会违规的惩罚性假设之上」。

拉奇接着往下读。按他的统计,错处多达 20 个。有的参考文献指向根本不存在的报告,署名是悉尼大学和瑞典隆德大学的教授。他说,同事们的著作被当成了「正当性的筹码」,引了,但没人读过。

更让他在意的是一桩在联邦法院审理的 robodebt 案:阿马托诉联邦政府案。报告引用了判决里的一段话,而这段话是编的。

「这是在一份澳大利亚政府要依赖的报告里,把法律讲错了,」拉奇说。他把事情告诉了媒体。8 月,《澳大利亚金融评论报》报道了这些错误。

10 月 3 日是个星期五,澳大利亚很多地方紧接着就是长周末。就在这天,部里网站上换了一个新版本。十几条不存在的参考文献和脚注删掉了,参考文献列表重写了,归在法官名下的引语也拿掉了。附录里多了一段 7 月版没有的话:部分工作用了一套基于大语言模型 Azure OpenAI GPT-4o 的工具链,许可证是部里自己的,部署在部里自己的 Azure 租户上。

德勤没有说这些错误是 AI 造成的。美联社问它错误是不是 AI 生成的,它没有回答。修订版写明,这些更新「丝毫不影响报告的实质内容、结论和建议」。部里也确认,建议一条没改。

拉奇把新版仔细看了一遍。原来一条假文献的位置,现在换上了五条、六条、七条甚至八条真文献。「这说明,报告正文里原来那个说法,并不是基于哪一个具体的证据来源。」不过他也不愿说整份报告都不可信,因为它的结论和大量其他证据是一致的。

德勤同意退还合同的最后一期款项。工党参议员黛博拉·奥尼尔参加过参议院对咨询公司诚信问题的调查,她说:「德勤的问题出在人的智能上。」10 月 21 日,部里说退款金额超过 9.7 万澳元。

如今,部里这份报告的页面上又多了一行字:2026 年 2 月 3 日再次更新,「以处理已发现的更正事项」。

这件事里藏着几个道理

人在回路中修订版披露,部分工作用了一套基于 GPT-4o 的工具链。初版里的假文献,是在报告公开之后,由项目之外的一位学者发现的。职责分离与四眼原则这份审查本该是给部里福利系统把关的第二双眼睛。可审查报告自己的错,是一位读者在公开版里挑出来的,他说同事的著作被拿来引用,却没人读过。质量成本发布之后再改引用,代价是悄悄重新上传的报告、几个星期的新闻、超过 9.7 万澳元的退款,几个月后还有又一轮更正。委托代理问题部里花了约 44 万澳元买外部的专业能力,把这份审查当作依据。一位参加过咨询公司调查的参议员说,雇这些公司的人都该问清楚:活到底是谁干的。

出处

  1. Department of Employment and Workplace Relations, Targeted Compliance Framework Assurance Review, Final Report (report page and revision notes)
  2. The Guardian, Deloitte to pay money back to Albanese government after using AI in $440,000 report, October 6, 2025
  3. Associated Press, Deloitte to partially refund Australian government for report with apparent AI-generated errors, October 7, 2025
  4. Australian Financial Review, Deloitte AI report: Firm admits to using AI in error-filled government report, October 5, 2025
  5. CFO Dive, Deloitte refunds over $60K for report with AI errors, Australian government says, October 21, 2025