神刀安全网

干货 | 吆喝科技创始人王晔 :传说中的增长黑客必杀技

编者按: 吆喝科技AppAdhoc是一家以A/B测试为基础的数据优化平台,引入Google全数据驱动产品优化的理念,用数据帮助开发者做产品决策,优化移动广告。创始人王晔是清华和耶鲁校友,曾在Google美国总部负责广告产品的创新和研发,对AB测试系统、大规模复杂系统、数据挖掘和分析、互联网基础架构有深入研究,曾发表过多篇计算机科学论文,拥有多项国际专利。关于增长黑客这件事,王晔有自己的独到看法。

如何使用A/B测试迭代产品

其实A/B测试这件事情,它的作用以及它变成通用化的解决方案和常规的工具,是从美国开始,准确的说是从Google开始的。2004年到2007年把这个东西做出来,后来慢慢这样的技术、工具就被很多的互联网企业所使用。包括中生代的Facebook,包括新一代的UBER、Airbnb。

在2010年的时候有一家叫Optimizely的公司,开始把这个做成云服务,就是第三方的标准化服务。Optimizely这个产品从10年到现在(16年),它已经应该成长为美国最牛的,也是全球最牛的A/B测试云服务商。据我们所了解Optimizely是美国市场第一,它有好几千家付费客户。据说按流量比前100位的网站,有30多个都是使用Optimizely做A/B测试的。

先说几个具体的案例。Google曾经在12年左右的时候把社交这件事情看得很重,所以投资了很多在Google Plus产品以及相关的东西上。facebook非常关心怎么能够把Google Plus里的信息,相当于把Google用户个人的喜好、他们朋友的喜好,作为广告内容或者Google生成的内容的一个参考或信号。

通过A/B测试就会发现,这个信号其实并不是特别理想,就是没有想象的那么好。也就是可能用户的社交行为对用户的需求来说,远远不如用户的搜索词重要。如果大家不知道这件事情话,如果我们不通过A/B测试,我们可能会误以为,花了很大的精力在技术上解决了很多难题,然后做了社交广告的产品会很有用。但实践告诉我们,它的用处没有想象的那么大。所以后来我们就在技术上和产品上做了很多的精简,相当于节约了大量的开支,并且避免了不必要的技术投入。

类似的情况还有很多,也有很多成功的案例。比如Google发现一个它的搜索页面,它的落地页,或者这些落地结果的网站,如果这个网站有一个第三方的权威的认证,这件事情很可能对用户来说是很重要的,他的搜索的质量可能会高。通过第三方的包括公开的Wikipedia,或者是非公开的,权威的百科数据库等等。用这些信息作为一个网站搜索结果的信号。比如搜相机,可能搜到Canon或Leica,然后从第三方的权威数据库可以知道,Canon这个公司是哪一年成立的,业绩怎么样,有多少人。这些信息可能对用户很重要,把这些信息加到搜索结果里,果然Google的搜索质量提高了很多,而且也给公司带来了每年超过4亿多美元的营收增长。

还有很多类似的移动端的例子。像Airbnb它做过很多关于怎么去展示自己房屋的A/B测试试验,用过很多很多种方法。后来它发现房屋展示里面最关键的就是最上面的几张照片,所以它就做了对照片展示的优化,通过这个就大幅度提高了用户对App的留存,以及在上面下单及订房的转化率。

干货 | 吆喝科技创始人王晔 :传说中的增长黑客必杀技

据野史记载,早期airbnb的「收藏」按钮是颗五角星。不知道哪位脑洞大开的产品经理认为,在airbnb中有很多女性用户喜欢看漂亮的房间来缓解压力,所以如果把「收藏」按钮改成心形比较好。结果这一个小的改动竟然真的让点击收藏的用户提升了20%。

其实A/B测试这个工具很强大,但是怎么用好它也是一个很重要的部分。像在Google里的经验,或者其他好的互联网公司,他们一般都会这样做。他们就是根据自己现有的运营的状况还有产品的形态,总结过去的一些尝试的试验经验。然后他们会去想一些想法,一些brain storm。通过brain storm产生的想法,他们就会去判断,相当于他要去做一个试验的假设定义。

他就首先会说,如果我要改了这行文案,那么我期待他可能会带来什么样的变化。比如用户的注册率提高了,或者用户的下单率升高,这是我的假设。然后我用A/B测试来检验我的假设对不对,他再去付诸实践。

所以在产品迭代有了A/B测试之后,他的过程就变成这样了。每一次产品迭代周期的早期,是一些头脑风暴,大家想一些idea,然后进行一些讨论,讨论完之后产生一个测试的方案,就是刚才所说的我有哪些假设,我要一一的怎么样去检验,这些假设和测试方案确定了之后,再交付给工程师去开发。发开的时候就会考虑到A/B测试里灰度发布之类的功能,这些功能都会一并上线,上线之后再通过放流量进来的方法,对这些假设或者试验一一的进行验证。那些不好的,验证失败的,发现我的假设不对,跟我想的不一样,那么他的试验就会关停。

大多数用户并不知道这件事情发生。那些成功的试验,就可能原来是1%的流量,现在就给他增长到5%,让更多的用户来体验,发现又好,那么增长到20%,最后发布给所有的用户。一旦发布给所有的用户之后,可能在下一个产品迭代周期的时候,他的代码、他的功能就固化了,就不用再去试验了。下一个迭代周期的时候又会上一些新的功能,就这样长此往复。

也就是说,每一个迭代周期,我们都把原来试验成功的部分发布给所有用户,让大家受益,然后再上线一些我们想到的新的方法,逐渐尝试,逐渐优化,每一次都比原来要提高一些,日积月累就会越来越好。如果我们不是很熟悉A/B测试,特别是它背后的一些数学原理的话,那我们在第一次使用它的时候可能会出现各种各样的误区。比如说我们随机分了两组用户,一组用A版,一组用B版。最后看到一些数据,B版的用户点击多了,A版的用户点击少了,那么我们就认为B版比A版好,其实这是不够的。

A/B测试从科学性上来讲,就是要其他条件都相等,只改变一个条件。但是,比如随机分了一些用户,有可能恰好分到A租的用户,他们就是一些爱点击的用户,那么你得出的结论并不说明A版本好,只是因为你凑巧选中了一些爱点击的用户。有一些产品经理可能,如果他走向这个误区,他可能会走极端,他就会做很多很多次试验,总有一次他能碰到他的版本比别人好的情况,那么他就会说,哎我这个成功了。但其实这是一个误区,我们不应该这么去做。

我们正确的方法应该是,保证A组和B组的用户都有足够强的代表性,是比较相似的。 要做到这一点有很多种方法。如果我们的系统在分割流量的时候,有这种随机性或者不确定性。有一种简单的方法我们叫A/A测试,可以来帮助你解决这个问题。就是在你上线A版本对B版本的试验之前,你先分两组用户让他们都用A版本,然后做个对比看看有没有问题,跑了几天或者一个星期之后,发现好像A/A测试通过了,没有问题,这个时候再把其中一组变成B版本,这个时候的A/B测试结果就会比较准确。

另外当你产生试验结果的时候,分析的时候不能很简单只是看一些简单的数字。比如这组里面购买了100万,另外一组里购买了98万,但这并不能说明100万的就好,98万的不好。而你要去考虑整体的情况。这个试验组里到底进来了多少用户,这些用户的行为又是什么样的随机事件的组合。

最终,比如说我们的平台,就会把两个试验组和对照组的用户的行为,看做是两个模型,对模型的参数进行统计学意义上的分析,最终可以得出一个大家比较好判断的,叫置信区间这样一个试验结果。那么就是说我会告诉你,这个版本比那个版本,平均意义上或者统计学意义上讲,我好了5%。但实际上这5%是一个猜测,它更有可能的区间是从3%到7%,这样一个置信区间的结论就对大家比较有帮助。

几点关于A/B测试的经验总结

在我和大家一些分享中,我曾经提到过Ronny(微软的科学家)的A/B测试若干条经验,有些经验是非常非常棒的,我就再总结一遍。

第一点是,首先A/B测试应该从小的改动做起,而不是大的改动。

有很多产品经理或者运营人员,他们总觉得我要做一个大的改版,或者是我要做一个完全不同的新的功能,来和老的版本进行对比会不会有意义。实际上往往你得出的结论对你的帮助都很有限。为什么呢?除了因为你的变化太多,你没有办法归因。比如你改动了界面里的5个地方,最后你提高了10%,那么这10%是因为什么呢?是因为这5个改动每个都帮你提高了2%呢?还是有一个改动帮你提高了100%,其他4个改动反而拖累了你呢?这个东西就很难归因。这是从你的最后的经验总结上,给你带来不必要的麻烦,甚至是大大降低了你的A/B测试的价值。

第二点是,巨大的改动有时候会影响到你的科学性。一旦改动了很大的版面,很可能你的用户群体也会发生变化。

你原来是卖车的,你现在变成一个卖房的,那用户群体都会发生变化。你用你对男人做的A/B测试的结果,用到女人身上,那显然是没有意义的嘛,是不可靠的。或者说大的改动的A/B测试帮助很小。应该是小的改动的A/B测试帮助很大。而且小的改动往往有奇效。但是大多数的改动其实帮助不大,就是你可能做100个测试,你会发现五六十个对你都没有什么帮助,往往是一些不起眼的改动,出乎意料的有效果。

有一点经验是永远有效的,叫做提升你的产品和技术的性能。举个例子来说。我们常常都要大量做H5营销,在微信里传播H5页面,有很多可以影响H5传播的效果的。比如你的文案、你的标题、你的图片、你的内容、你的配图、你的版面,都会影响。但是有一个东西是一定会影响的,就是它读取的性能。如果你的H5页面的改版比你的老版提升10%的性能,你的转化率、分享率都可能提升20% 30%或者更多。所以性能提升一定会带来效果提升。

第三点是,我们做A/B测试一定不要太局限于细节,我们一定要从产品和运营的大的目标来进行。

换句话说就是我们要找准真正对我们有意义的KPI。

我举个很有意思的例子,有个电商做了这样一个试验。他说我把商品的展示页面里,我加强一下对价格的展示,原来那个价格就在下面文案里,我现在搞一个大圆圈的价格展示在图片上。发现加了这个之后,用户浏览这个商品的点击率下降了一半以上,好像这个试验结果很糟糕,但其实这个试验结果很成功。

为什么呢?因为虽然点进去看这个商品的人减少了一半,但是下单率却提高了两倍以上。最后你的营收反而增长了。因为从A/B测试的角度讲你得到了一些数据,然后就可以把这个经验转化成自己可以吸收的东西,你就会发现,原来我之前很多用户点这个商品的时候并不知道这个价格。就是一些可能根本不会买这个商品的人都点了这个东西。那么当然就浪费这些用户的时间。他根本就不可能更好的下单或者找到自己想要的东西。但如果我在展示上做了这样一个优化,我就发现虽然用户点的少了,但是那是因为他点的准了,就是他更有可能更快的找到他想买的东西。

本文作者:红沙发RedCouch  微信公众号: RC4Startup;已授权鸵鸟电台发布,未经允许一律禁止转载。

求报道、谈合作请添加“xiongyan624”为微信好友。

声明:鸵鸟电台所有发布内容均为原创或授权发布,如需转载,请务必注明文章作者以及来源:鸵鸟电台(微信:鸵鸟FM),任何不尊重原创的行为鸵鸟电台都将进行责任追究,洽谈合作、求报道请添加“17098041936”为微信好友。

*文章为作者独立观点,不代表鸵鸟电台立场

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 干货 | 吆喝科技创始人王晔 :传说中的增长黑客必杀技

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址