2012 年 12 月 6 日,谷歌高级副总裁维克·冈多特拉在公司官方博客上发文,宣布 Google+ 的几项新功能。第二段一开头,他先下了个判断:「如今,Google+ 是史上增长最快的社交网络玩意儿。」
接着他报了规模,一句话里报了三次:超过 5 亿人已经升级;2.35 亿人在谷歌各处活跃;把活跃只算到信息流里,是 1.35 亿人。
这三个数数的是三样东西:升级了的人,在谷歌某个角落活跃的人,只在信息流里活跃的人。按各自的定义,每个都可以是真的;每个回答的,也都是不同的问题。
可没有一个数说明,大家在上面待了多久。
高兴归高兴,一无所知
让你高兴的数,不一定能告诉你下一步做什么。
2009 年,3D 聊天公司 IMVU 的联合创始人、前首席技术官埃里克·莱斯,在蒂姆·费里斯的博客上发了一篇客座文章,给这种数起了名字。他写道,现成的分析软件里的数据,大部分都是他所说的「虚荣指标」:「它们也许让你感觉良好,却给不出该做什么的明确指引。」他举的例子是网站的总点击量。假设你有一万次,然后呢?
最常见的元凶是累计总数。总注册数也好,总账号数也好,把所有来过的人都算上,这个数只会往上走;而它往上走的原因,可能和产品好不好用毫无关系。一次发布会能把它推上去,注册页面上改一个选项也能。健身房累计办过卡的人数,每年一月往上蹿,从来不会往下掉。有没有人真来练,要看门禁刷卡记录。
谷歌的累计数,也许就借过这样的力。2012 年 1 月 20 日,也就是拉里·佩奇宣布 Google+ 有 9000 万用户的第二天,TechCrunch 发现,新建谷歌账号现在得同时在 Google+ 上建一个身份。文章作者说,这一改「闻起来像是想把 G+ 的数字做大」。几周后,据 Poynter 转述,《华尔街日报》援引 comScore 的数据:在电脑上,Google+ 访客每月大约只待 3 分钟,Facebook 是 6 到 7 小时。这组数据没有算手机。
莱斯建议换成能回答问题的数:一种是拆分测试,一半顾客看到改动,一半看不到;一种是按人、按批次来看的数,把每周新来的一批人单独拎出来,看他们后来做了什么。他写道,如果每一批的数字都很稳,说明没发生什么要紧的变化;要是某一批突然变了,你就得到了「一个该去查一查的快速信号」。
虚不虚荣,看拿它做什么
没有哪个数天生就虚荣。总账号数,对估算服务器容量的工程师很有用。同一个数,放在融资演示的第一页,用来证明大家喜欢这个产品,就成了虚荣指标,因为不管喜不喜欢,它都会涨。
莱斯的标准是:这个数能不能帮你做决定。用起来可以这样问自己:要是这个数低一些,我会做什么不一样的事?老实的回答如果是「什么都不会变」,它就只是装饰。按批次看的数也不是万无一失。一批只有四十个人,靠运气就能晃出很大的波动;突然的变化,照莱斯的话,是该去查一查的信号,还算不上结论。
注册量涨了四成
假设你在做一个预约遛狗师的小应用,这个月给投资人的简报里有一张漂亮的图:一次推荐活动之后,注册量涨了 40%。发出去之前,你把注册的人按加入的那一周分开,只看一件事:30 天内又约了第二次遛狗的,有多少。
活动之前的那几周,大约四个人里有一个。活动那几周,大约十个人里有一个。原因你还不知道:可能推荐奖励招来的是冲着奖励来的人,也可能招来了附近根本没有遛狗师的城镇里的人。但你手里有了一个值得花一周去查的问题,简报里也可以老实写上,哪些事你还不清楚。
排行榜第二名
AI 公司也在排行榜上比拼,名次就是新闻标题。2025 年 4 月 5 日,Meta 发布 Llama 4 系列模型,公告里说,Maverick 模型的一个「实验性聊天版本」在 LMArena 上拿到了 1417 的 Elo 分。LMArena 是一个让人对比两个模型的回答、投票选更好那个的网站。这个分数让它排到了第二。
很快有研究者发现,LMArena 上的那个版本,不是开发者能下载到的那个。Meta 自己的材料写着,它是「为对话性优化过的」。LMArena 发文说,Meta「本该交代得更清楚」,那是「一个为迎合人类偏好而定制的模型」,并因此修改了规则。Meta 则表示,公司会试验「各种定制版本」。据 TechCrunch 4 月 11 日的报道,LMArena 给正式发布的模型打分后,它排在好几款更老的模型后面,其中包括 OpenAI 的 GPT-4o。
对拿到它的那个模型来说,这个名次是真的。可对要挑一个模型来用的人来说,它量的是一样用不上的东西。真正要做的检查更窄,也更枯燥:从自己的工作里挑二十个任务,开始之前先写下好答案长什么样,再用你真要部署的那个模型版本,每个任务跑几遍。每次的回答会有出入,所以要看几遍下来的规律,再拿自己的标准去读那些没做好的。
2018 年 10 月,谷歌宣布将关停消费者版 Google+。这一回,它公布的数字说的是大家待了多久:「Google+ 的用户使用时段,有 90% 不到五秒。」