2007 年 12 月，巴拉克·奥巴马在民调里落后两位数。他的竞选网站有一个引导页：上面一张图片或一段视频，下面一个按钮，留下邮箱就算报名。每一个邮箱，日后都可以请它来当志愿者，请它捐款。
放哪段视频，团队心里早有数。竞选团队的数据分析主管丹·西罗克（Dan Siroker）写道，大家「非常偏爱」一段叫「Sam’s Video」的视频。「要不是做了这个实验，我们多半就把那段视频放上引导页了。」
可他们没有直接拍板，而是做了 24 个版本：六种素材（三张图、三段视频）乘以四种按钮。每个访客随机看到其中一个，团队记下谁报了名。前后一共 310,382 名访客。
「竞选团队里人人都爱那几段视频。」西罗克写道。
每段视频都输了
「结果所有视频都不如所有图片。」西罗克在帖子下的回复里给了数字：视频版的报名率在 5.95% 到 7.76% 之间，图片版在 8.54% 到 9.66% 之间。最好的那个版本，是一张全家福配一个写着「Learn More（了解更多）」的按钮，报名率 11.6%。原来的页面是 8.26%。
做一点，量一量人们实际怎么做，再让结果改你的下一步。《精益创业》（2011）的作者埃里克·莱斯，管这叫「开发-测量-认知」反馈循环。他在这本书的网站上写道：「创业公司最根本的活动，是把想法变成产品，衡量顾客的反应，然后认清是该转向还是坚持。」他还说，所有成功的创业流程，都「应当以加快这个反馈循环为目标」。
关着灯扔飞镖，你可以练上好几年，越练越自信，却一点没扔准。测量就是开灯，扔一下，看一眼。
这次测试也改了竞选团队后来的做法。西罗克写道：「因为第一个实验效果这么好，整个竞选期间，我们在整个网站上又做了几十个实验。」
只转一圈，转了一年
小圈不转，圈照样会转，只是转得大。罗恩·约翰逊打算把 J.C. Penney 大部分的促销和优惠券换成「天天低价」时，有人问他，新定价能不能先小范围试一试。据报道，他回答：「我们在苹果就没做过测试。」
新定价 2012 年初在全公司铺开。到这个财年结束，营收跌了 24.8%。然后才轮到「认知」这一步。约翰逊谈到 Penney 的顾客时说：「我们知道了，她更喜欢打折。有时候，她爱死了优惠券。」
测试回答不了的事
循环转得再快，转的也只是你放进去的东西。特普·费林（Teppo Felin）和几位同事批评精益创业：对假设从哪里来几乎没给指导，从顾客反馈里能学到的东西有限，实验的结果也往往只是小修小补。这是南希·博肯和尤利娅·斯尼胡尔 2020 年对这番批评的概括；她们的回应是，精益创业本来就是为反复试验设计的，不是为想点子设计的。
奥巴马团队的测试，是在别人已经做好的 24 个版本里挑最好的，它变不出第 25 个。它量的是报名率，因为这个数得出来。西罗克估算，胜出的页面多带来 6000 万美元捐款，他自己也说明了，这个数建立在一个假设上：这份提升在后面的竞选里一直保持。
打电话，还是发短信
假设你管着一家牙科诊所的前台，爽约的病人太多。一位前台想把提醒短信换成前一天打电话，另一位说，电话会把她的整个上午都占掉。
于是你轮着来。接下来的 80 个预约，一个发短信，一个打电话，交替进行。开始之前，你先写好看什么：有没有爽约。结果是短信组爽约 5 个，电话组 4 个。80 个预约，这个差别跟抛硬币差不多，说明不了什么。你倒是弄清了一件事：打电话每天要花大约 40 分钟。所以下一轮，可以试得更久一点，或者更省一点。
安静下来的免下车窗口
麦当劳给 AI 走的是慢的那条路。2021 年 10 月，它和 IBM 结成合作，此后在大约 100 家餐厅测试一套在免下车窗口点餐的 AI 系统。据餐饮行业媒体 Nation’s Restaurant News（NRN）报道，测试的目标是看自动语音点餐能不能让员工的活更简单，让顾客点餐更快、更好。NRN 还报道，麦当劳的目标是点餐准确率达到 95% 以上，才考虑更大范围推广。
2024 年 6 月，麦当劳对 NRN 说：「经过慎重评估，麦当劳决定，目前与 IBM 在自动点餐上的全球合作不再延续到明年。」它说自己收获了「很多经验」，这次合作让它「有信心，免下车的语音点餐会是我们餐厅未来的一部分」。
在一个 AI 工具铺给所有人之前，先用你自己的话写下它要过的线，比如 50 个真实的顾客请求里，答对 45 个。拿这 50 个去试，每一条都亲手核对。再跑一遍，因为同一个工具下一次的回答可能不一样。然后再做决定。
麦当劳说，打算在年底前「就未来的语音点餐方案作出有依据的决定」。下一圈循环，会从大约 100 个免下车窗口两年半里教给它的东西开始。