丹·西罗克(Dan Siroker)后来写道,2007 年,奥巴马还在争取党内提名,民调落后两位数,竞选团队手里差不多就只有一个网站。西罗克是团队的数据分析主管,他的活儿是用数据帮团队做更好的决定。
网站上有个引导页:上面一张图片或一段视频,下面一个按钮,留下邮箱就算报名。一个邮箱很值钱,日后可以请它来当志愿者,也可以请它捐款。
放哪段视频,团队心里早有数。西罗克写道,大家「非常偏爱」一段叫「Sam’s Video」的视频。「要不是做了这个实验,我们多半就把那段视频放上引导页了。」
实验从 2007 年 12 月开始,同时测页面的两个部分:六种素材(三张图片、三段视频)和四种按钮,一共 24 种组合。每个访客随机看到其中一种,团队记下这个人有没有报名。前后一共 310,382 名访客,每个版本大约 13,000 人。
「竞选团队里人人都爱那几段视频,」西罗克写道,「结果所有视频都不如所有图片。」他在帖子下的回复里给了数字:三段视频的报名率是 5.95%、6.29%、7.76%,三张图片是 8.54%、8.87%、9.66%。
最好的组合,是一张全家福配一个写着「Learn More(了解更多)」的按钮,报名率 11.6%。原来的页面是 8.26%,胜出的版本相对高出 40.6%。
西罗克接着自己算了一笔账。他写道,假如这份提升在后面的竞选里大致保持不变,这个页面会多带来大约 288 万个邮箱。照竞选团队平时的转化率,相当于多出 28.8 万名志愿者;照每个邮箱平均捐 21 美元算,多出 6000 万美元捐款。这是建立在那个假设上的估算,不是清点出来的数。
这次测试也改了后面的做法。「因为第一个实验效果这么好,」西罗克写道,「整个竞选期间,我们在整个网站上又做了几十个实验。」后来,他参与创办了 Optimizely,一家卖网站测试软件的公司。