首页 › 目标与指标 › 虚荣指标
目标与指标 · 指标设计

虚荣指标

让你高兴的数,不一定能告诉你下一步做什么。

Vanity Metrics◷ 约 4 分钟▤ 1 个真实故事换成 AI 也一样在知识地图里看它和谁相连 →

2012 年 12 月 6 日,谷歌高级副总裁维克·冈多特拉在公司官方博客上发文,宣布 Google+ 的几项新功能。第二段一开头,他先下了个判断:「如今,Google+ 是史上增长最快的社交网络玩意儿。」

接着他报了规模,一句话里报了三次:超过 5 亿人已经升级;2.35 亿人在谷歌各处活跃;把活跃只算到信息流里,是 1.35 亿人。

这三个数数的是三样东西:升级了的人,在谷歌某个角落活跃的人,只在信息流里活跃的人。按各自的定义,每个都可以是真的;每个回答的,也都是不同的问题。

可没有一个数说明,大家在上面待了多久。

高兴归高兴,一无所知

让你高兴的数,不一定能告诉你下一步做什么。

2009 年,3D 聊天公司 IMVU 的联合创始人、前首席技术官埃里克·莱斯,在蒂姆·费里斯的博客上发了一篇客座文章,给这种数起了名字。他写道,现成的分析软件里的数据,大部分都是他所说的「虚荣指标」:「它们也许让你感觉良好,却给不出该做什么的明确指引。」他举的例子是网站的总点击量。假设你有一万次,然后呢?

最常见的元凶是累计总数。总注册数也好,总账号数也好,把所有来过的人都算上,这个数只会往上走;而它往上走的原因,可能和产品好不好用毫无关系。一次发布会能把它推上去,注册页面上改一个选项也能。健身房累计办过卡的人数,每年一月往上蹿,从来不会往下掉。有没有人真来练,要看门禁刷卡记录。

谷歌的累计数,也许就借过这样的力。2012 年 1 月 20 日,也就是拉里·佩奇宣布 Google+ 有 9000 万用户的第二天,TechCrunch 发现,新建谷歌账号现在得同时在 Google+ 上建一个身份。文章作者说,这一改「闻起来像是想把 G+ 的数字做大」。几周后,据 Poynter 转述,《华尔街日报》援引 comScore 的数据:在电脑上,Google+ 访客每月大约只待 3 分钟,Facebook 是 6 到 7 小时。这组数据没有算手机。

莱斯建议换成能回答问题的数:一种是拆分测试,一半顾客看到改动,一半看不到;一种是按人、按批次来看的数,把每周新来的一批人单独拎出来,看他们后来做了什么。他写道,如果每一批的数字都很稳,说明没发生什么要紧的变化;要是某一批突然变了,你就得到了「一个该去查一查的快速信号」。

虚不虚荣,看拿它做什么

没有哪个数天生就虚荣。总账号数,对估算服务器容量的工程师很有用。同一个数,放在融资演示的第一页,用来证明大家喜欢这个产品,就成了虚荣指标,因为不管喜不喜欢,它都会涨。

莱斯的标准是:这个数能不能帮你做决定。用起来可以这样问自己:要是这个数低一些,我会做什么不一样的事?老实的回答如果是「什么都不会变」,它就只是装饰。按批次看的数也不是万无一失。一批只有四十个人,靠运气就能晃出很大的波动;突然的变化,照莱斯的话,是该去查一查的信号,还算不上结论。

注册量涨了四成

假设你在做一个预约遛狗师的小应用,这个月给投资人的简报里有一张漂亮的图:一次推荐活动之后,注册量涨了 40%。发出去之前,你把注册的人按加入的那一周分开,只看一件事:30 天内又约了第二次遛狗的,有多少。

活动之前的那几周,大约四个人里有一个。活动那几周,大约十个人里有一个。原因你还不知道:可能推荐奖励招来的是冲着奖励来的人,也可能招来了附近根本没有遛狗师的城镇里的人。但你手里有了一个值得花一周去查的问题,简报里也可以老实写上,哪些事你还不清楚。

排行榜第二名

AI 公司也在排行榜上比拼,名次就是新闻标题。2025 年 4 月 5 日,Meta 发布 Llama 4 系列模型,公告里说,Maverick 模型的一个「实验性聊天版本」在 LMArena 上拿到了 1417 的 Elo 分。LMArena 是一个让人对比两个模型的回答、投票选更好那个的网站。这个分数让它排到了第二。

很快有研究者发现,LMArena 上的那个版本,不是开发者能下载到的那个。Meta 自己的材料写着,它是「为对话性优化过的」。LMArena 发文说,Meta「本该交代得更清楚」,那是「一个为迎合人类偏好而定制的模型」,并因此修改了规则。Meta 则表示,公司会试验「各种定制版本」。据 TechCrunch 4 月 11 日的报道,LMArena 给正式发布的模型打分后,它排在好几款更老的模型后面,其中包括 OpenAI 的 GPT-4o。

对拿到它的那个模型来说,这个名次是真的。可对要挑一个模型来用的人来说,它量的是一样用不上的东西。真正要做的检查更窄,也更枯燥:从自己的工作里挑二十个任务,开始之前先写下好答案长什么样,再用你真要部署的那个模型版本,每个任务跑几遍。每次的回答会有出入,所以要看几遍下来的规律,再拿自己的标准去读那些没做好的。

2018 年 10 月,谷歌宣布将关停消费者版 Google+。这一回,它公布的数字说的是大家待了多久:「Google+ 的用户使用时段,有 90% 不到五秒。」

先看几件事

玩一玩

出处

  1. Vic Gundotra, Google+: Communities and photos, Official Google Blog, December 6, 2012
  2. Google, Google Announces Fourth Quarter and Fiscal Year 2011 Results, January 19, 2012 (archived copy)
  3. Devin Coldewey, New Google Accounts Require Gmail And G+ Accounts, TechCrunch, January 20, 2012
  4. Jeff Sonderman, Despite user growth, Google+ is a 'ghost town,' WSJ reports, Poynter, February 28, 2012
  5. Ben Smith, Project Strobe: Protecting your data, improving our third-party APIs, and sunsetting consumer Google+, Google, October 8, 2018
  6. Eric Ries, Vanity Metrics vs. Actionable Metrics, guest post on Tim Ferriss's blog, May 19, 2009
  7. Meta, The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation, April 5, 2025
  8. Kylie Robison, Meta got caught gaming AI benchmarks, The Verge, April 8, 2025
  9. Kyle Wiggers, Meta's vanilla Maverick AI model ranks below rivals on a popular chat benchmark, TechCrunch, April 11, 2025
  10. Amir Efrati, The Mounting Minuses at Google+, The Wall Street Journal, February 28, 2012 (archived copy)