「我该吃几块石头？」
2024 年 5 月，有人把这句话输进了谷歌。搜索结果最上面多了一个新框，叫 AI 概览（AI Overviews），它给了答案：地质学家建议，人每天吃一块石头。
另一个人问，怎样让芝士更好地粘在披萨上。AI 概览的建议是，可以用「无毒胶水」。
到 5 月 24 日，BBC 已经在报道这两个回答在社交媒体上被大肆嘲笑。5 月中旬，谷歌在一年一度的开发者大会上，把 AI 概览开放给了全美国的用户；在这之前，4 月里它只在英国对一小部分登录用户试过。谷歌宣传说，它「能替你省掉搜索的跑腿活」。BBC 援引 Statcounter 的数据，全世界九成以上的搜索都走谷歌。
谷歌有理由相信这个功能已经准备好了。三个月前，Gemini 的画图功能被迫暂停，桑达尔·皮查伊随后向员工承诺「严格的评估和红队测试」。谷歌后来写道，AI 概览上线前做过大量测试：有「扎实的红队演练」，有拿典型搜索样本做的评估，还在一部分真实搜索流量上试过。它也不是照聊天机器人的路子做的。谷歌把它设计成「只展示有排名靠前的网页结果佐证的信息」，所以照谷歌的说法，它一般不会凭空编造。
石头这件事上，它确实没编。网上几乎没人正经讨论一个人该吃几块石头，谷歌管这种空白叫「数据空洞」。讽刺网站《洋葱》讨论过，当然不是正经的。那篇文章题为《地质学家建议每天至少吃一小块石头》，后来还被一家地质软件公司转载到了自己的网站上。用谷歌的话说，AI 概览「忠实地链接到了少数几个讨论过这个问题的网站之一」。至于胶水，谷歌说来自「论坛上挖苦人或故意捣乱的内容」。BBC 报道，有些回答看起来是照着 Reddit 上的评论写的。
起初，谷歌发言人说这些只是「个别例子」。5 月 30 日，谷歌搜索负责人莉兹·里德发文，给出了公司自己的说法。她写道，截图疯传之前，几乎没人在谷歌上问过该吃几块石头。她还说，很多截图是伪造的，有些暗示谷歌在把狗留在车里、孕期吸烟、抑郁症这类话题上给了危险建议。「那些 AI 概览从来没有出现过。」按谷歌的统计，在出现过 AI 概览的独立搜索里，违反内容政策的不到 700 万分之一。
说到上线前的测试，她写道：「什么都比不上几百万人真正用起这个功能，搜出许多前所未有的问题。」
这套说法并没有让所有人信服。《卫报》指出，疯传的回答里确实很多来自稀奇古怪的搜索，但也有一些看起来出自相当正常的问题；好几位 AI 专家认为，这暴露了 AI 在判断事实是否准确上更普遍的毛病。
谷歌说，它已经做了十几项技术改进：更好地识别没有意义的搜索，少引用讽刺和搞笑内容，在可能给出误导建议的回答里少用用户自己发的内容。它还收紧了 AI 概览出现的条件。此后，更多搜索的结果顶上，不会再有那段 AI 写的摘要。