「可以,你可以从员工的小费里抽成。」
按纽约的法律,这个回答是错的。说这话的,是纽约市政府自己网站上的商业聊天机器人。The Markup 在 2024 年 3 月发表了这次测试的结果。
这个机器人出场时很风光。2023 年 10 月 16 日,市长埃里克·亚当斯(Eric Adams)发布了全市使用人工智能的计划,同时在新上线的 MyCity Business 网站上试点纽约第一个全市范围的 AI 聊天机器人。市政府说,它能让企业主获取「来自 2000 多个纽约商业网页的可信信息」,包括怎么守规矩、怎么避免违规和罚款。它跑在微软的 Azure AI 服务上。
2024 年 3 月,纽约市小企业服务局局长凯文·金(Kevin D. Kim)在一场座谈会上夸这个机器人。他说,政府用 AI,最要紧的是信任。他还提起了加拿大航空:那家航空公司的客服机器人把丧亲退款规则讲错了,最后吃了官司。「政府不能出这种事,」凯文·金说,「我们不能让那种信任丢掉,哪怕一次都不行。」
3 月 29 日,The Markup 联合 Documented 和 The City 发表了调查,把这个机器人一直在跟人说什么摆了出来。问它楼房是否必须接受 Section 8 租房券,它说不必。可在纽约市,房东不能因为租客的租金从哪来就拒租,只有房东本人或家人自住的小楼除外。有一次,一位记者得到了正确答案。可等到十名员工分头去问同一个问题,十个人得到的都是「不必」。
它告诉餐馆可以只收电子支付,可纽约市 2020 年就立法要求商家必须收现金。它还说,排班变了要不要通知员工,没有任何规定。法律援助机构 Legal Services NYC 负责全市住房事务的主任听说之后亲自去试,机器人告诉她,把租客锁在门外是合法的。换成别的语言提问,同样的错误照样出现。
页面上其实有提醒,就一行小字,说机器人「偶尔可能生成不正确、有害或带偏见的内容」。同一个页面上还写着,它「经过训练,为你提供官方的纽约商业信息」。市政府发言人说,这个试点「已经为成千上万的人提供了及时、准确的回答」。
报道发出四天后,亚当斯在新闻发布会上谈到了这件事。机器人不下线。「我们正在找出问题在哪,我们会修好它们,我们会拥有全球最好的聊天机器人系统。」他说。他的首席顾问拿 MapQuest 早年的地图导航作比。
先变的是机器人周围的页面。页面开始把它称为「测试版产品」,提醒访客不要把它的回答当成法律或专业建议。后来,用户得先同意它的种种局限,才能开始提问。
这个机器人比造它的那届政府活得还久。2026 年 1 月,面对 120 亿美元的预算缺口,新市长佐兰·曼达尼(Zohran Mamdani)点名把它列为可以省钱的地方。「上一届政府有一个 AI 聊天机器人,基本上没法用。」他说。照他的说法,这个机器人花了大约 50 万美元。
到 2 月 4 日,它已经不在了。原来的页面上只写着:聊天机器人的「测试已经结束」。