首页 › 案例
纽约市(MyCity) · 2023–2026 · AI 的故事

政府不能出这种事

纽约市推出 AI 聊天机器人,要给小企业主提供可信的城市法规解答。记者发现它告诉人们可以抽员工的小费、可以拒收持 Section 8 租房券的租客,市政府却让它在线上又挂了将近两年。

◷ 约 3 分钟

「可以,你可以从员工的小费里抽成。」

按纽约的法律,这个回答是错的。说这话的,是纽约市政府自己网站上的商业聊天机器人。The Markup 在 2024 年 3 月发表了这次测试的结果。

这个机器人出场时很风光。2023 年 10 月 16 日,市长埃里克·亚当斯(Eric Adams)发布了全市使用人工智能的计划,同时在新上线的 MyCity Business 网站上试点纽约第一个全市范围的 AI 聊天机器人。市政府说,它能让企业主获取「来自 2000 多个纽约商业网页的可信信息」,包括怎么守规矩、怎么避免违规和罚款。它跑在微软的 Azure AI 服务上。

2024 年 3 月,纽约市小企业服务局局长凯文·金(Kevin D. Kim)在一场座谈会上夸这个机器人。他说,政府用 AI,最要紧的是信任。他还提起了加拿大航空:那家航空公司的客服机器人把丧亲退款规则讲错了,最后吃了官司。「政府不能出这种事,」凯文·金说,「我们不能让那种信任丢掉,哪怕一次都不行。」

3 月 29 日,The Markup 联合 Documented 和 The City 发表了调查,把这个机器人一直在跟人说什么摆了出来。问它楼房是否必须接受 Section 8 租房券,它说不必。可在纽约市,房东不能因为租客的租金从哪来就拒租,只有房东本人或家人自住的小楼除外。有一次,一位记者得到了正确答案。可等到十名员工分头去问同一个问题,十个人得到的都是「不必」。

它告诉餐馆可以只收电子支付,可纽约市 2020 年就立法要求商家必须收现金。它还说,排班变了要不要通知员工,没有任何规定。法律援助机构 Legal Services NYC 负责全市住房事务的主任听说之后亲自去试,机器人告诉她,把租客锁在门外是合法的。换成别的语言提问,同样的错误照样出现。

页面上其实有提醒,就一行小字,说机器人「偶尔可能生成不正确、有害或带偏见的内容」。同一个页面上还写着,它「经过训练,为你提供官方的纽约商业信息」。市政府发言人说,这个试点「已经为成千上万的人提供了及时、准确的回答」。

报道发出四天后,亚当斯在新闻发布会上谈到了这件事。机器人不下线。「我们正在找出问题在哪,我们会修好它们,我们会拥有全球最好的聊天机器人系统。」他说。他的首席顾问拿 MapQuest 早年的地图导航作比。

先变的是机器人周围的页面。页面开始把它称为「测试版产品」,提醒访客不要把它的回答当成法律或专业建议。后来,用户得先同意它的种种局限,才能开始提问。

这个机器人比造它的那届政府活得还久。2026 年 1 月,面对 120 亿美元的预算缺口,新市长佐兰·曼达尼(Zohran Mamdani)点名把它列为可以省钱的地方。「上一届政府有一个 AI 聊天机器人,基本上没法用。」他说。照他的说法,这个机器人花了大约 50 万美元。

到 2 月 4 日,它已经不在了。原来的页面上只写着:聊天机器人的「测试已经结束」。

这件事里藏着几个道理

信任校准页面上写着机器人「经过训练,为你提供官方的纽约商业信息」,只有一行小字提醒它「偶尔可能生成不正确、有害或带偏见的内容」。用户同时被告知:这是官方信息,也可能是错的。人在回路中关于法律的回答,从机器人直接到了企业主手里。调查见报后,页面新增提示,让用户自己核对信息,别把回答当成法律建议。锯齿状技术前沿市政府说,机器人已经给成千上万的人提供了及时、准确的回答。可 The Markup 的十名员工分别问它楼房是否必须接受租房券,十个人得到的都是「不必」,而在纽约市,除了一个很窄的例外,拒收是违法的。

出处

  1. NYC Office of the Mayor, Mayor Adams Releases First-of-Its-Kind Plan for Responsible Artificial Intelligence Use in NYC Government, October 16, 2023
  2. The Markup, NYC's AI Chatbot Tells Businesses to Break the Law, March 29, 2024
  3. The Markup, Malfunctioning NYC AI Chatbot Still Active Despite Widespread Evidence It's Encouraging Illegal Behavior, April 2, 2024
  4. The Markup, Mamdani to Kill the NYC AI Chatbot We Caught Telling Businesses to Break the Law, January 30, 2026 (updated February 4, 2026)