首页 › 案例
谷歌(Google) · 2024 · AI 的故事

各式各样的人

谷歌把 Gemini 的新画图功能调成要画出各式各样的人。结果 1943 年的德国士兵也被画成了有色人种。上线三周左右,人物图片生成被叫停。

◷ 约 2 分钟

2024 年 2 月 21 日,星期三。谷歌 Gemini 团队的高级总监杰克·克劳奇克,得出面解释几张图。X 上有用户贴出了谷歌的 AI 应用 Gemini 按要求画的图片:1943 年的德国士兵,画成了有色人种;历代教皇和美国开国元勋,被画成了各种族裔、各种性别。

「Gemini 生成图片时,确实会画出各式各样的人,」克劳奇克说,「全世界的人都在用它,这一般来说是好事。但这一次没做对。」

第二天,谷歌干脆停掉了 Gemini 画人物的功能。这个功能上线才三周左右。

画得多样,本来就是有意为之。图像生成工具以前栽过跟头,方向正好相反。《卫报》援引《华盛顿邮报》前一年的调查:Stable Diffusion XL 画领食品券的人,画出来的多半不是白人,或者肤色偏深,可美国领食品券的人里,63% 是白人。

2 月 23 日,谷歌高级副总裁普拉巴卡尔·拉加万发文解释。他写道,做这个功能时,谷歌专门调过 Gemini,避开图像生成以往踩过的坑:暴力、色情,还有画真实存在的人。又因为用户来自世界各地,有人要一张踢足球的人、一张遛狗的人,就该给出形形色色的人,而不是清一色一个族裔。文章也划了一条线:如果你点名要某一类人,或者要某个特定文化、历史背景下的人,那你「绝对应该得到准确反映你要求的回答」。

偏偏就在这条线上出了事。按谷歌自己的说法,错在两处。一是为了画出各种人而做的调整,「没有考虑到那些显然不该呈现多样性的情况」。二是时间一长,模型变得「比我们预想的谨慎得多」,有些请求干脆不答,一些再平常不过的提示也被当成了敏感话题。于是它有时用力过猛,有时又缩手缩脚。

这些调整在系统内部到底长什么样,外人很难知道。有用户哄着 Gemini 吐出了一段疑似它的画图指令,其中一句是:「凡是画到人的,如果我忘了写,就明确写上不同的性别和族裔。」《卫报》报道时也提醒,这段文字也可能是 Gemini 自己编的。

谷歌之外,南安普敦大学计算机科学教授温迪·霍尔把矛头指向了竞赛。她对《卫报》说,看起来谷歌是因为和 OpenAI 竞争得太紧,Gemini「还没经过充分评估和测试」,就被推了出去。

2 月 27 日星期二晚上,谷歌首席执行官桑达尔·皮查伊给员工发了一封内部信,谈 Gemini 应用里出问题的文字和图片回答。他说,有些回答冒犯了用户,也带着偏见,「说清楚,这完全不可接受,是我们做错了」。他承诺会有结构调整、新的产品准则,以及「改进的发布流程、严格的评估和红队测试」。

3 月 2 日,旧金山一场 AI 黑客马拉松上,谷歌联合创始人谢尔盖·布林说起了这批图片。「图像生成这件事,我们确实搞砸了,」他说,「我觉得主要就是测试做得不够彻底。」

这件事里藏着几个道理

规格博弈谷歌把 Gemini 调成要画出各式各样的人。按谷歌自己的说法,在那些显然不该呈现多样性的场合,比如特定历史背景下的人,它也照样这么画。负面副作用目标是多样。谷歌写道,模型顺带变得「比我们预想的谨慎得多」,一些再平常不过的请求也被它直接拒绝。成对指标谷歌把模型往「多样」和「谨慎」两个方向推,准确性上付出的代价,上线后从用户的截图里冒了出来。皮查伊随后在内部信里承诺「严格的评估和红队测试」。事前验尸谷歌针对以往见过的坑做了调整,比如暴力、色情图片和画真实人物。最后让功能停摆的失败,恰恰出在这次新加的调整上。

出处

  1. Google, Gemini image generation got it wrong. We'll do better., February 23, 2024
  2. The Guardian, Google pauses AI-generated images of people after ethnicity criticism, February 22, 2024
  3. CNBC, Google CEO tells employees Gemini AI blunder 'unacceptable', February 28, 2024
  4. The Guardian, 'We definitely messed up': why did Google AI tool make offensive historical images?, March 8, 2024