奇闻吧
首页 > 科学探索 > 什么是A/B测试?AB测试对企业转型有价值吗?

什么是A/B测试?AB测试对企业转型有价值吗?

时间:2019-01-25 11:40:20 作者:迷迷 来源:奇闻吧 手机阅读

什么是A/B测试?你是怎么做到的效果如何本文为您共享几个应用程序场景和案例,告诉您如何在团队中有效地促进A/B测试。  

本文论述了AB测试对企业转型的价值,以及如何有效地促进AB测试和团队中AB测试系统的科学设计。  

震颤可以说是当今最热的成长公司。在街上和巷子里行走的人中,手机很流行。这让腾讯深感危机,并被迫应对。自2017年下半年以来,震颤在大象水平上呈现爆炸性增长。  

它的母公司,字节反弹,价值750亿美元,本身就是一个非常实验性的公司,通过A/B测试推动科学成长。  

A/B测试对于标题产品来说是一件很自然的事情,整个公司一直在关注它,因为高级管理人员张一鸣曾在一份报告中写道,标题发布了一个新的应用程序,其名称必须通过将N个包放在多个A/B测试中来确定。应用市场。张一鸣告诉他的同事,即使你有99.9%的信心,这是最好的名字,怎么可能是一个神奇的马关系测试它  

今天的头条新闻从名字开始使用数据思维。创始团队没有头脑风暴,没有投票,没有大人物。相反,它使用科学实验通过数据观察来确定标题的名称。  

他们整理出AppStore上各种免费列表的前十名,然后根据姓名(琅琅上话、内涵感受、模拟特殊声音、公司名称+用法等)进行分类,分析这些类别的比例。朗朗上口的口语效果最好。  

其次,通道AB测试识别具有相似先验效应的发布通道,并将它们分别放入。界面的标志功能完全相同。计算核心数据指标,如用户下载和每个频道的活动。最后,《今日头条》的结果是最好的。  

A/B测试是产品优化的一种方法。对于相同的优化目标,制定了两个方案(例如,两页)。用户的一部分可以使用方案,而另一部分使用B方案。计算不同方案的转化率、点击率和保留率,比较不同方案的优劣,做出决策。  

blob.png

在A/B测试更成熟的公司,它可能不仅限于A和B版本。可能有ABC测试,ABCD测试,甚至ABCDE测试。  

在某些情况下,可能会发生特殊的A/B测试,例如AAB测试。由于整个AB测试系统的准确性需要验证,因此需要建立两个对照组,所以称之为AAB测试。  

结合开放数据和深入的行业调查,我们对AB测试频率进行了综述。可以看出,公司的市场价值或成交量与AB测试频率正相关。  

许多公司,如谷歌,都拥有相对成熟的A/B测试系统和数据分析平台。平均每周有2000次A/B测试,包括一些比较复杂的实验,如推荐算法A/B测试和相对简单的A/B测试。至于国内一线互联网公司,如BAT,他们每周也进行数百次A/B测试。  

我们合作的大多数公司都有广泛的行业,如互联网金融,电子商务,氧气等。他们没有能力和精力自己开发一个成熟的A/B测试平台,所以他们选择与TestinA/B测试合作,以便快速地将A/B测试服务应用到他们的业务中。  

例如,互联网金融用户在使用TestinAB测试之前,每周只能进行0.1A/B测试。使用云A/B测试服务后,A/B测试的频率大大提高,每周进行大约30次A/B测试实验。  

当然,在其每周30次实验中,约有13次的实验会达到转化指数提高5%-30%,剩下的23次的实验结果不理想,没有达到较好的数据指标。  

通过这个例子,我们可以看出,大约三分之二的产品构思没有达到预期,也就是说,转换率实际上没有原始版本那么好,这也是需要A/B测试的根本原因。产品直觉用于产品决策,但23改进不是最优解决方案。  

上图显示了微软Bing搜索引擎AB测试的增长曲线,涵盖了2008-2015年Bing的AB测试实验的增长。  

可以看出,Bing产品开始时,每周AB测试频率保持在10-50之间,2012年后,每周BingAB测试频率进入快速增长期。  

图中右下角的绿色曲线是Bing移动终端的AB测试频率增长曲线,通过该曲线可以看出Bing非常重视并认真实施AB测试实验,以推动数据增长,促进业务发展。  

我们首先来看一下移动应用程序中A/B测试的四个主要应用程序场景:应用程序、着陆页面、后端算法和小程序。  

APP终端是移动互联网发展的主要载体。PC或H5(如普通朋友圈屏幕刷屏活动)或广告登陆页面可分为登陆页面。还有后端算法场景,如推荐算法、广告算法、数千人等。  

在不同的场景中,AB测试的重点也是不同的,但是核心目标仍然是围绕业务的增长,也就是熟悉的PolarisIndex。  

这种情况是在其产品的商业化过程中的尝试。希望提高商店中表达包或道具的支付率,但是为了完成支付目标,第一步是提高商店入口处的点击率。  

因此,他们设置了几个商店入口方案(改变图标样式、复制),通过A/B测试来验证哪个方案可以最大化商店入口的点击率。  

在验证过程中,他们还对人群目标进行了有针对性的测试,如日本、中国、韩国和其他地区。最后,他们在这个入口同时推出了7-8个测试版本。通过A/B测试,整体点击率提高了约80%。  

这种情况是互联网金融行业的应用。他们希望通过更改签入按钮的文本来提高保留率。按钮的文本从签入改为签到赚钱。A/B测试进行分配5%的流量版本A和B。  

经过测试,我们发现新版本的签入时间比原始版本高4.17%。95%置信区间的结果表明,小规模人群的测试结果扩展到全规模用户,95%的概率提高了1.7%-6.6%。P-值小于0.05,表明新旧版本之间有显著的统计学差异,其中Power100有显著的统计学效果。  

在该测试中,利用TestinAB测试的可视化功能,直接修改相关元素的属性,实现控制功能,无需开发人员的干预。  

我们知道A/B测试的成本,例如开发多个版本、构建可用的A/B测试和数据分析平台等。  

考虑投入产出比,AB测试平台有两个必要条件:一是产品决策影响很大,二是产品方案选择困难。  

如果决策对产品有很大影响,但是选择并不困难,那么就不需要A/B测试,例如,是否向App添加Wechat和第三方登录,这对产品有很大影响,但是决策并不困难,因为有共同的解决方案在行业中。  

例如,增加非常小的功能,并且功能入口非常深,用户数量很少,那么AB测试的优先级就不高,只有当产品决策满足影响大和难以选择的两个条件时,它才能最适合AB测试。  

以我们自己的测试为例,我们将根据函数的影响大小和选择它们的困难程度来对要测试的函数进行优先级排序,然后确定哪些函数需要进行A/B测试。  

通过与我们的合作伙伴(如Freedom、36氪、短消息子弹或51信用卡)通信,我们发现在陆地上进行AB测试有三个关键因素:  

首先,从人的角度  

同时,如果成长或产品团队的领导者没有这种意识,认为AB测试并不重要,并且更多地依靠经验来作出产品优化决策,那么AB测试也很难做到。  

对于APP,包括目前的小程序,新产品层出不穷,产品面临激烈的竞争,此外,互联网流量的股利期正在逐渐结束,获取客户的成本也在增加。如果你想继续实现业务增长,最有效的方法是找到AB测试、数据驱动的增长路径。  

行业趋势决定了所有团队将慢慢地通过科学实验迁移到增长路径上。即使您现在的团队很难促进A/B测试,但我相信在不久的将来,A/B测试将是产品增长的最重要的驱动力。  

我与更多的欧美增长型同行进行了深入的交流,深感他们在互联网企业中的A/B测试氛围更强,主要是因为美国的劳动力成本相对较高,他们特别关注投入产出比,所以他们很早就进入了精细操作阶段。  

自主研发在可控性和业务耦合方面具有一定的优势,但对于一般企业来说,其研发成本和人力成本都很高。AB测试服务的开发也涉及更严格的数据统计。需要部署专业的数据分析员。  

如果我们在市场上使用第三方工具,如TestinAB测试服务,我们可以最大限度地降低成本,并加速业务着陆AB测试服务。  

例如,当一个小程序用户在同一天访问TestinAB测试服务后,在同一天运行三个AB测试实验。不管是自己研究还是使用第三方工具,关键是要适合您的团队。  

这里需要注意的是,并非所有的实验都会证明对指标的增长有显著的影响,如果是这样,我们就不需要进行实验。  

如果这种情况发生,我们需要告诉我们的团队成员不要灰心,因为一些实验证明是无效的,我们将找到一种有效的成长方式。  

实验失败是一个大概率的事件。我们最好的方法是增加测试的频率并继续测试,而不是仅仅尝试它并回到经验主义的旧方式。  

介绍了着陆AB测试的三个关键因素和AB测试的最佳实践流程,并分享了企业AB测试成熟度模型。  

我们将企业A/B测试分为四个阶段,即开始阶段、成长阶段、成熟阶段和大规模应用阶段,这种能力成熟的核心指标是每周可以进行多少A/B测试。  

在初始阶段,平均每周可进行0-1A/B测试。整个组织结构处于尝试A/B测试的开始阶段。但是,目前还没有建立AB测试实验平台,实验仍采用最简单的分流方法和数据分析方法。  

此时,A/B测试不是标准的A/B测试。从实验评价体系的角度出发,虽然已经确定了转化率等基本指标,但还没有形成体系。  

什么是系统指标也就是说,从单一指标体系到多维指标体系,系统跟踪实验对产品影响很大。  

第三阶段是相对成熟的阶段,每周可以进行3至10次测试。AB测试已经成为产品迭代过程的一部分,并且需要高级功能,如可视化AB测试和后端AB测试,以满足各种AB测试需求。  

在成熟和大规模应用阶段,提到了名词OEC,OEC可以理解为综合评价指标,也可以是综合指标。通过加权平均得到多个单项指标,通过OEC的设置,指导整个组织的绩效发展。  

下面,我想和大家分享一下设计一个典型的AB测试系统需要哪些能力或特性:  

本文重点研究了分层业务分割机制的需求,如果没有分层业务分割机制,则存在以下局限性:  

采用分层的流量划分机制,可以很好地满足不同业务或场景之间、不同产品模块之间的AB测试需求。  

作者:陈冠成,睾丸副主席,睾丸A/B检测业务负责人,欧洲科学院院士PerSte.om教授,发表了6篇关于大数据和8项国际专利的国际论文。他为AtlasandEnjoyableWealth等公司建立了一个AB测试驱动的增长数据系统。  


相关文章

  • 探秘十大禁区:百慕大诡秘秘密终被破
    探秘十大禁区:百慕大诡秘秘密终被破
    中国神农架  神农架位于中国长江与汉水间的川鄂交界地带,有华中屋脊之称,面积3250平方公里,林地占85%以上。平均海拔1700米,最高处达3105米,有多种气候类型。  提起神农架,人们不能不想到野人。从古至今,大量的关于野人的记载和野人...
  • 鲸鱼返祖图片、鲸鱼的进化过程
    鲸鱼返祖图片、鲸鱼的进化过程
    我们都知道地球(蓝星)上所有的生物都是由进化的过程中来的,我们人类据说也从猿人进化到现在的,那么你听说过鲸鱼是专门进化得来的呢?接下来就和()猎奇吧小编一起来探索鲸鱼返祖图片和鲸鱼的进化过程吧。鲸鱼进化过程1、在距今我们3000到5000万...
  • 巨石阵之谜:巨石阵真的存在吗,它又是干什么用的?
    巨石阵之谜:巨石阵真的存在吗,它又是干什么用的?
    一说到巨石阵人们城市很猎奇,还会遐想到近来热播的电视剧《老九门》里的景象,在《老九门》里也曾近屡次呈现过巨石阵的景象,而且内里的人还都不敢接近这些巨石邻近,那这些巨石阵究竟是用来做甚么的呢?巨石阵真的存在吗?记得未解之谜网之前就说过,良多影...
  • NASA为何要让航天飞机退役?
    NASA为何要让航天飞机退役?
    从国际空间站看到的正在执行STS-120任务的“发现号”航天飞机。图为教师克里斯塔·麦考利夫,她是STS-51L任务的成员之一。1986年挑战者号航天飞机在发射升空后不久爆炸,机上全体成员不幸罹难。STS-107任务的全体成员。2003年发...
  • 跨越物种的恋爱?重口味?
    跨越物种的恋爱?重口味?
    小编记得在国外媒体报道过美国男子性侵母猪的新闻,该男子还被判刑。而此后又有其他类似新闻。小编真心觉得口味太重了。不过同时我们也要尊重人家的取向问题。有心理学家称,有的人就是认为自己是猪,有人认为自己是马,而有人甚至认为自己是铁塔!所以就有人...
  • 2019科学突破巨奖揭晓:庄小威陈志坚许晨阳榜上有名
    2019科学突破巨奖揭晓:庄小威陈志坚许晨阳榜上有名
    新浪科技讯北京时间10月18日消息,据国外媒体报道,10月17日晚,备受瞩目的2019年“科学突破奖”揭晓,8位科学家获奖(另一位科学家已在今年9月提前获奖揭晓),这一奖项是由硅谷出资设...
  • 大西洋墓地死神岛谜团,孤岛吞噬500余艘船/岛上含磁铁矿
    大西洋墓地死神岛谜团,孤岛吞噬500余艘船/岛上含磁铁矿
    在浩瀚的大西洋中,有很多人们不知道的离奇事件。在北大西洋中,有一个知名的死神岛。提起这个死神岛航海的人就惧怕,这个岛吞噬了500余艘,近5000人的生命。岛上有什么诡秘力量?死神岛谜团直到近年才被揭晓,死神岛谜团原本四因为岛上的磁铁矿!孤岛...
  • 地球史前诡秘怪兽未解的谜团
    地球史前诡秘怪兽未解的谜团
    2009年8月,两位新西兰探险者带着摄影机和探险设备来到遥远的蒙古戈壁来寻找一种被认为存在着的物种蒙古死亡之虫,它也被当地的人们称为肠虫。根据传说,这种虫会潜伏在沙漠中,从头部向猎物喷射酸性物质。探险者在沙土表面制造颤动来引诱蒙古死亡之虫以...
  • 二十大穿越时空铁证:南极上空时间之门
    二十大穿越时空铁证:南极上空时间之门
    穿越时空,是许多人朝思暮想的一件工作。虽然许多人以为穿越时空底子不成能产生,但历史上已经产生过20件与穿越时空有关的奇怪变乱。  1、回到古埃及目击金字塔的建筑  听说前苏联崩溃后流出了一些秘密文件,此中就说到一件事。那是在1971年8月的...
  • 人类对肉食的渴望无法抑制
    人类对肉食的渴望无法抑制
    研讨人员称,在“巨型动物群”(megafauna)的成员中,有70%的物种正在衰亡,而59%的物种面对灭绝的危险。 北京时刻3月5日音讯,据国外媒体报道,世界上一些体型最大的动物正面对灭绝的危险,原因是人类对肉食的巴...

科学探索

热门文章

今日最新

友情链接: 美女图片 两性健康网 奇闻818手机版 说说大全 奇闻网 168图片网 z6新闻网 奇闻818 天下奇闻