这可能不是你第一次读到A/B测试。关于A/B测试结果的文章被广泛分享。见鬼，你可能已经A/B测试了你的电子邮件主题行或社交媒体帖子。
尽管有很多关于A/B测试的说法，很多的营销ob欧宝娱乐app下载地址人员仍然搞错了。结果呢?人们根据不恰当测试的不准确结果做出重大业务决策。
问题在于A/B测试经常被过度简化，特别是在为商店老板编写的内容中。
解决方案?以下是你开始电子商务A/B测试需要知道的一切，尽可能简单地解释。OB欧宝娱乐APP
目录
- 什么是A/B测试?
- A/B测试是如何工作的
- 什么是A/B/n测试?
- A/B测试应该运行多长时间?
- 为什么要进行A/B测试?
- 优先考虑A/B测试想法
- A/B测试统计速成班
- 如何建立A/B测试
- 如何分析A/B测试结果
- 如何存档过去的A/B测试
- A/B测试流程的优点
什么是A/B测试?
A/B测试，有时被称为分割测试，是比较同一网页的两个版本，以确定哪个表现更好的过程。
这个过程可以让你回答重要的商业问题，帮助你产生更多的收入你已经拥有的流量，并为以数据为基础的营销策略奠定基础。ob欧宝娱乐app下载地址
A/B测试是如何进行的
你将向50%的访问者展示版本A(我们称之为“控制”)，你将向50%的访问者展示版本B(我们称之为“变体”)。
结果最高的网页版本转化率赢了。例如，假设变体(版本B)产生了最高的转化率。然后你会宣布它是赢家，并将100%的访问者推向该变体。
然后，该变体成为新的控件，您必须设计一个新的变体。
值得一提的是，转化率并不是衡量成功的完美标准。为什么?你可以通过在商店中提供免费内容来提高转化率。当然，这是一个糟糕的商业决策。
这就是为什么你应该跟踪转换的价值，一直到收银机的铃声。
什么是A/B/n测试?
使用A/B/n测试，您可以针对控制测试多个变体。所以，不是给50%的访问者显示对照，给50%的访问者显示变体，你可能会给25%的访问者显示对照，25%的访问者显示第一种变体，25%的访问者显示第二种变体，25%的访问者显示第三种变体。
注意:这与多元测试不同，多元测试也涉及多个变量。在运行多变量测试时，您不仅要测试多个变量，还要测试多个元素。我们的目标是找出哪种组合表现最好。
你需要很多的交通来运行多变量测试，因此您可以暂时忽略这些测试。
A/B测试应该运行多长时间?
运行你的A/B测试至少一个，但最好是两个，完整的商业周期。不要因为你达到了重要的程度就停止你的测试。你还需要满足你预定的样本量。最后，不要忘记在一周内运行所有测试。
为什么有两个完整的商业周期?首先:OB欧宝娱乐APP
- 你可以解释“我需要考虑一下”的买家。
- 你可以考虑所有不同的流量来源(Facebook，电子邮件通讯，有机搜索等)。
- 您可以解释异常情况。例如，你周五的电子邮件简报。
如果你使用过任何类型的A/B测试工具，你可能对绿色的“统计显著性”图标很熟悉。
不幸的是，对许多人来说，这是“测试已经煮熟了，叫它吧”的通用标志。在统计学速成班中，你会学到更多关于统计学显著性的知识不是停止规则。仅仅因为达到了这个标准并不意味着你应该停止测试。
那么你预定的样本量呢?这并不像看起来那么可怕。打开一个样本容量计算器，比如这是埃文·米勒写的．
这个计算的意思是，如果你当前的转化率是5%，而你想要检测到15%的效果，你需要13,533个样本每一个变化．因此，如果这是一个标准的a /B测试，总共需要超过25,000名访问者。
如果你想检测一个较小的影响，看看会发生什么:
唯一改变的是最小可探测效应(MDE)。从15%下降到8%。在这种情况下，你需要47127个样本每一个变化．因此，如果是标准的a /B测试，总共需要近10万名访问者。
你的样本量应该提前计算，在测试开始之前。OB欧宝娱乐APP你的测试不能停止，即使它达到显著性，直到达到预定的样本量。如果是，则测试无效。
这就是为什么你不能漫无目的地遵循最佳实践，比如“100次转换后停止”。
运行一周的测试也很重要。你的流量可以根据一周中的一天和一天中的时间而变化，所以你要确保包括一周中的每一天。
为什么要进行A/B测试?
比如说你花100美元在Facebook上做广告派十个人到你的网站。你的平均订单价值是25美元。其中8名游客什么都没买就走了，另外两名游客每人花了25美元。结果呢?你输了50美元。
现在假设你花100美元在Facebook上做广告，只为吸引10个人访问你的网站。你的平均订单价值仍然是25美元。但这一次，只有5名游客什么都没买就离开了，另外5名游客每人花了25美元。结果呢?你赚了25美元。
当然，这是一个简化的例子。但通过提高现场转化率，你让相同的交通更有价值。
A/B测试还可以帮助你发现洞察力，无论你的测试是赢是输。这个价值是可以转移的。例如，来自产品描述a /B测试的文案洞察可以帮助您了解您的价值主张和其他产品说明．
你也不能忽视持续提高商店效率的内在价值。
你是否应该进行A/B测试?
不一定。如果你是一个低流量的网站，a /B测试对你来说可能不是最好的优化方法。例如，通过执行用户测试或与客户交谈，您可能会看到更高的投资回报(ROI)。
尽管人们普遍认为，转化率优化并不是从测试开始和结束的。
考虑上面样本大小计算器中的数字。47127名游客每一个变化检测8%的影响，如果你基准转换利率是5%。假设你想测试一个产品页面．你的产品页面是否能在2 - 4周内吸引近10万名访问者?
举起。为什么是两到四周?请记住，我们希望至少为两个完整的业务周期运行测试。通常情况下，这需要两到四周。现在你可能在想，“没问题，Shanelle，我会进行超过两到四周的测试，以达到所需的样本量。”那也不行。
你看，测试运行的时间越长，就越容易受到外部有效性威胁和样本污染的影响。例如，访问者可能会删除他们的cookie，最终以新访问者的身份重新进入A/B测试。或者有人可以从他们的手机切换到台式机，看到另一种变化。
从本质上讲，让您的测试运行太长时间也不是一个选择。
TL;博士:对于能够在两到四周内满足所需样本量的商店来说，测试是值得投资的。不能这样做的商店应该在流量增加之前考虑其他形式的优化。
Shopify的数据科学家Julia starostanco对此表示赞同，她解释道:
朱莉娅·斯达斯坦科，Shopify的
“实验很有趣!但重要的是要确保结果是准确的。
问问你自己:你的受众足够大吗?你收集到足够的数据了吗?为了获得真正的统计意义(在合理的时间范围内)，用户规模需要足够大。”
你应该进行什么A/B测试?
我不能告诉你你应该A/B测试什么。我知道，我知道。如果我能给你一个包含99个测试内容的列表，你的生活肯定会变得更轻松。为了点击率，愿意这么做的营销人员不乏其人。ob欧宝娱乐app下载地址
事实上，唯一值得运行的测试是基于您自己的数据的测试。我不能访问你的数据，你的客户等等，也没有人能策划那些庞大的A/B测试想法列表。没有人能做到有意义的告诉你要测试什么。
唯一值得运行的测试是基于您自己的数据的测试。
相反，我鼓励你通过定性和定量分析来自己回答这个问题。这可能意味着:
- 技术分析:你的商店在每个浏览器上都能正确快速地加载吗?在每个设备上?你可能有一部崭新的iPhone X，但某个地方的某个人还在摆弄着2005年的摩托罗拉Razr。如果你的网站不能正常和快速地工作，它肯定不能转换为它可以。
- 现场调查:当你的商店访问者浏览时，这些就会弹出。例如，一项现场调查可能会询问已经浏览同一页面一段时间的访问者，是否有什么东西阻止他们今天购买。如果有，是什么?你可以使用这些定性数据来提高你的拷贝率和转化率。
- 客户访谈:没有什么可以取代打电话和客户交谈。为什么他们选择你的店而不是竞争对手的店?当他们到达你的网站时，他们试图解决什么问题?你可以问无数个问题来了解你的客户是谁为什么他们真的向你购买。
- 客户调查:顾客调查是针对已经购买商品的人而不是访客的全面调查。在设计一份调查时，你要关注:定义你的客户，定义他们的问题，定义他们在购买之前的犹豫，以及识别他们用来描述你的商店的单词和短语。
- 分析分析:你的分析工具是否正确地跟踪和报告你的数据?这听起来可能很傻，但你会惊讶于有多少分析工具配置错误。分析分析是关于深入分析和分析访问者的行为。例如，你可能专注于漏斗。哪里漏水了?换句话说，大多数人从你的漏斗中退出的地方是哪里?这是开始测试的好地方。OB欧宝娱乐APP
- 用户测试:在这里，您可以看到真人尝试在您的站点上执行任务。例如，你可以让他们在40-60美元范围内找到一款电子游戏，并将其添加到购物车中。当他们执行任务时，他们会大声叙述他们的想法和行动。
- 会话回放:会话回放类似于用户测试，但现在您要处理的是真实的人与真正的钱和真正的购买意愿．您将看到实际访问者如何浏览您的站点。他们很难找到什么?他们在哪里感到沮丧?他们在哪里感到困惑?
还有其他类型的研究，但这七种方法是一个很好的起点。OB欧宝娱乐APP如果你浏览其中的一些，你就会有一大堆值得测试的基于数据的想法。我保证你的列表会比任何“99个马上要测试的东西”的文章给你带来更多的价值。
优先考虑A/B测试想法
大量的A/B测试想法令人兴奋，但对于决定测试什么并没有多大帮助。你从哪里开始呢?OB欧宝娱乐APP这就是优先级的由来。
你可以使用一些常见的优先级框架:
- 冰:ICE代表影响，自信和轻松．这些因素中的每一个都得到了1-10的排名。例如，如果您可以自己轻松地运行测试，而无需开发人员或设计人员的帮助，那么您可能会给Ease打8分。您在这里使用自己的判断，如果有多个人在运行测试，排名可能会变得太主观。有一套指导方针可以帮助每个人实现客观。
- 派:PIE代表潜力，重要性和轻松．同样，每个因素都会得到1-10的排名。例如，如果测试将达到你流量的90%，你可能会给重要性打8分。PIE和ICE一样是主观的，所以指导方针对这个框架也有帮助。
- PXL:PXL是来自CXL的优先级框架。它有点不同，更可定制，迫使玩家做出更客观的决定。而不是三个因素，你会发现是/否问题和一个是否容易实现的问题。例如，框架可能会问:“测试是为了增加动机吗?”如果是，则得到1。如果不是，它就得到0。您可以了解更多关于这个框架和在此下载电子表格．
现在你有了一个从哪里开始的想法，但它也有助于分类你的想法。OB欧宝娱乐APP例如，在我最近做的一些转换研究中，我使用了三个类别:实现、调查和测试。
- 实现:尽管去做。它坏了或者很明显。
- 调查:需要额外的思考来定义问题或缩小解决方案。
- 测试:这个想法是合理的，而且有数据依据。测试它!
在这种分类和优先级之间，你就搞定了。
A/B测试统计速成班
在进行测试之前，深入研究统计数据是很重要的。我知道，统计学通常不是粉丝们的最爱，但把它看作是你不情愿毕业的必修课。
统计数据是a /B测试的重要组成部分。幸运的是，测试工具使优化器的工作变得更容易，但是对幕后发生的事情的基本理解对于以后分析测试结果至关重要。
Alex Birkett，成长营销经理ob欧宝娱乐app下载地址HubSpot的解释:
Alex Birkett, HubSpot
“统计数据不是转化的神奇数字，也不是‘成功!’或者‘失败’之类的。这是一个在不确定的情况下做出决定的过程，通过减少对给定决定的结果的模糊性来降低风险。
考虑到这一点，我认为最必要的是了解基本知识:什么是均值、方差、抽样、标准差、回归均值，以及什么构成了“代表性”样本。此外，当你开始进行A/B测试时，设置一些特定的护栏来尽可能减少人为错OB欧宝娱乐APP误也会有所帮助。”
什么意思?
Mean就是平均值。你的目标是找到一个代表整体的均值。
例如，假设你想要找出电子游戏的平均价格。你不会把世界上所有电子游戏的价格加起来然后除以世界上所有电子游戏的数量。相反，您将分离出一个小样本代表世界上那么多电子游戏。
你可能会发现几百个电子游戏的平均价格。如果你选择了一个具有代表性的样本，那么这200款电子游戏的平均价格应该能够代表世界上所有电子游戏。
什么是方差?
方差是平均变率。本质上，变异性越高，预测单个数据点的平均值就越不准确。
那么，每个电子游戏的平均价格与实际价格有多接近呢?
什么是抽样?
样本量越大，变异性就越小，这意味着平均值更可能是准确的。
所以，如果你将样本从200个电子游戏增加到2000个电子游戏，你会得到更少的方差和更精确的均值。
什么是统计显著性?
假设A和B之间没有差异，你有多少次会偶然看到这种效应?
统计显著性水平越低，获胜变量根本不是赢家的可能性就越大。
简单地说，低显著性水平意味着你的“赢家”很有可能不是真正的赢家(这被称为假阳性)。
请注意，大多数A/B测试工具调用统计显著性而不需要等待预定的样本量或时间点。这就是为什么你可能会注意到你的测试在统计显著性和统计不显著性之间来回切换。
Peep Laja，创始人CXL研究所，祝愿更多的人真的理解统计学意义及其重要性:
嘘拉贾，CXL研究所
“统计显著性不等于有效性，这不是一个停止规则。当你达到95%或更高的统计显著性时，这意味着在满足其他两个更重要的条件之前几乎没有什么:
1.有足够的样本容量，可以用样本容量计算器算出来。也就是说，有足够多的人参与实验所以我们可以得出任何结论。
2.测试已经运行了足够长的时间，所以样本是具有代表性的(并且不会太长而无法避免样品污染）.在大多数情况下，你需要进行2周、3周或4周的测试，这取决于你多快能得到所需的样本。”
什么是均值回归?
在A/B测试开始时，您可能会注意到极端波动。
回归均值是一种现象，即如果某物在第一次测量时非常极端，那么在第二次测量时就可能更接近平均值。
如果你进行测试的唯一原因是它达到了统计显著性，你可能会看到假阳性。随着时间的推移，你获胜的变化可能会回归到平均值。
什么是统计能力?
假设a和B之间存在差异，你多久会看到这种影响?
权力等级越低，赢家不被承认的可能性就越大。权力等级越高，获胜者不被承认的可能性就越低。实际上，你只需要知道80%的统计能力是大多数A/B测试工具的标准。
Ton Wesseling，创始人在线对话她希望有更多的人了解统计数据的力量，不过:
Ton Wesseling，在线对话
“很多人担心误报。我们更担心假阴性。为什么要进行那些找到证据证明你的积极改变产生影响的几率非常低的实验呢?”
什么是外部有效性威胁?
有些外部因素会威胁测试的有效性。例如:
- 黑色星期五网络星期一促销。
- 正面或负面的新闻报道。
- 一个大型付费活动的启动。
- 星期几。
- 季节的变化。
例如，您将在12月份运行一个测试。主要购物假期这就意味着当月你的商店的客流量会增加。你可能会在1月份发现12月份的赢家不再表现良好。
为什么?
因为一个外部的有效性威胁:假期。
您的测试决策所依据的数据是异常的。当事情在一月份安定下来时，你可能会惊讶地发现你的赢家输了。
您无法消除外部有效性威胁，但可以通过连续运行测试(例如，不要在周一开始测试，并在周五结束测试)，包括不同类型的流量(例如，不要只测试付费流量，然后将结果推出到每个流量源)，以及注意潜在威胁来减轻它们。OB欧宝娱乐APP
如果您恰好在繁忙的购物季运行一个测试，比如BFCM，或者遇到重大的外部有效性威胁，你会发现这篇文章很有帮助．
如何进行A/B测试
测试前任何东西，你需要有一个可靠的假设。(太好了，我们刚上完数学课，现在我们来上科学课。)
别担心，这并不复杂。基本上，你需要验证一个假设，而不是一个想法。假设是可衡量的，渴望解决特定的转换问题，专注于洞察而不是胜利。
你需要A/B测试一个假设，而不是一个想法。
每当我写假设的时候，我都借用了一个公式克雷格·沙利文的假设工具包：
- 因为我看到[插入研究数据/反馈]
- 我希望[您正在测试的更改]会导致[您预期的影响]
- 我将使用[数据度量]来衡量这一点
容易,对吧?你所要做的就是填空，你的测试想法就变成了一个假设。
选择A/B测试工具
现在你可以开始选择A/BOB欧宝娱乐APP测试工具了。很多时候，你会想到谷歌优化，优化和VWO第一。
这些都是很好的、安全的选择。
- 谷歌优化:免费保存一些多变量限制，如果您刚刚开始，这应该不会真正影响到您。OB欧宝娱乐APP与谷歌Analytics密切合作，这是一个加分项。
- 优化:即使没有技术技能，也可以轻松启动并运行小型测试。数据引擎更容易分析测试结果。一般来说，Optimizely是三个选项中最昂贵的。
- VWO:VWO已经SmartStats为了使分析更容易。此外，他们有一个很棒的所见即所得编辑器初学者。每个VWO计划都配有热图，现场调查，表单分析等。
我们也有一些测试工具Shopify App Store你可能会觉得有帮助。
一旦您选择了一个工具，只需注册并按照提供的说明进行操作。不同工具的过程不同。不过，通常情况下，你会被要求在你的网站上安装一个代码片段，并设置目标。
如何分析A/B测试结果
还记得我说过，写假设可以把关注点从胜利转移到洞察吗?Krista Seiden，分析倡导者和产品经理谷歌，解释了这是什么意思:
克丽丝塔·塞登，谷歌
“A/B测试中最容易被忽视的一点就是从失败中学习。事实上，在我运行的优化程序中，我习惯发布一份“失败报告”，在报告中我列出了本季度最大的输家以及我们从他们身上学到的东西。
我最喜欢的一段话来自一个历时数月的竞选活动。我们能够在新活动登陆页面上线前进行A/B测试，这是一件好事，因为它失败得很惨。如果我们真的按原样启动页面，我们的底线将受到重大打击。我们不仅为公司节省了一大笔钱，还深入研究并做出了一些假设(我们后来进行了测试)，了解了为什么新页面表现如此糟糕，这让我们成为了更好的营销人员，在未来的活动中也更成功。”ob欧宝娱乐app下载地址
如果你正确地提出了你的假设，即使是失败者也是赢家，因为你将获得可以用于未来测试和业务其他领域的见解。所以，当你分析测试结果时，你需要专注于洞察，而不是测试的成败。总有东西要学，总有东西要分析。不要轻视失败者!
如果你的假设是正确的，即使是失败者也是赢家。
这里需要注意的最重要的事情是细分的需要。一个测试可能总体上是失败的，但它至少在一个部分表现得很好。分段是什么意思?
- 新访客。
- 返回的游客。
- iOS游客。
- Android的游客。
- Chrome的游客。
- Safari游客。
- 桌面的游客。
- 平板电脑的游客。
- 有机搜索访问者。
- 游客支付。
- 社交媒体访问者。
- 登录买家。
你懂的，对吧?
当您在测试工具中查看结果时，您看到的是整个Smarties包。你需要做的是把smarty按颜色分开，这样你就可以最后吃红色的了。我的意思是，这样你就可以发现更深入的，细分的见解。
这种假设在某些部分被证明是正确的。这也说明了一些问题。
TL;博士:分析不仅仅是关于测试是赢家还是输家。专注于洞察和细分你的数据，以发现隐藏在表面之下的洞察。
A/B测试工具不会为你做分析，所以这是一项需要长期培养的重要技能。
如何存档过去的A/B测试
假设您明天进行第一次测试。两年后的明天，你还记得明天考试的细节吗?不太可能。
这就是为什么存档你的A/B测试结果很重要。如果没有一个维护良好的档案，你所获得的所有见解都会丢失。另外，我不骗你，如果你没有存档，你很容易对同一个东西进行两次测试。
但是，没有“正确”的方法来做到这一点。你可以用一个工具项目或有效的实验，或者你也可以使用Excel。这完全取决于你，尤其是当你刚刚开始的时候。OB欧宝娱乐APP只要确保你记录了:
- 假设。
- 控制和变化的截图。
- 不管它是赢是输。
- 通过分析获得的见解。
随着你的成长，你会感谢自己保留了这些档案。它不仅会帮助你，还会帮助新员工和顾问/利益相关者。
A/B测试流程的优点
现在您已经完成了标准的a /B测试流程，让我们来看看谷歌和HubSpot等公司的专业人员的确切流程。
克丽丝塔·塞登，谷歌
我的A/B测试的步骤是从分析开始的——在我看来，这是任何好的测试程序的核心。OB欧宝娱乐APP在分析阶段，目标是分析你的分析数据、调查或用户体验数据，或你可能拥有的任何其他客户洞察来源，以了解优化的机会在哪里。
一旦您从分析阶段获得了良好的想法管道，您就可以继续假设可能出错的地方，以及您可能如何修复或改进这些优化领域。
接下来，是时候构建和运行测试了。确保在合理的时间内运行它们(我默认为两周，以确保每周都有变化或异常)，当你有足够的数据时，分析结果以确定你的赢家。
在这个阶段花点时间分析失败者也很重要——你能从这些变化中学到什么?
最后，你可能只有在花时间为一个可靠的优化程序奠定基础之后才会进入这个阶段，现在是时候研究了个性化．这并不一定需要一个花哨的工具集，而是可以从您拥有的用户数据中得到。
个性化可以简单到将正确的内容定位到正确的位置，也可以复杂到根据个人用户操作进行定位。不过，不要一下子就跳到个性化方面，首先要确保你花了足够的时间来掌握基本知识。
Alex Birkett, HubSpot
在较高的层次上，我尝试遵循这个过程:
- 收集数据并确保分析执行是准确的。
- 分析数据，发现见解。
- 把洞察变成假设。
- 根据影响和便捷性确定优先级，并最大化我的资源分配(特别是技术资源)。
- 运行测试(尽我所知和能力遵循统计最佳实践)。
- 分析结果并根据结果执行。
- 基于发现进行迭代并重复。
简单地说:研究、测试、分析、重复。
尽管这个过程可以根据上下文(我是否测试业务关键产品特性?博客文章CTA?创新与风险缓解之间的风险概况和平衡是什么?)，它适用于任何规模或类型的公司。
关键是这个过程是敏捷的，但它也收集了足够的数据定性客户反馈定量分析，能够提出更好的测试想法，更好地优先考虑它们，从而不浪费流量。
Ton Wesseling，在线对话
当我们想要优化客户旅程时，我们总是回答的第一个问题是:这个产品或服务适合我们在在线对话中创建的ROAR模型吗?你是否仍处于我们可以做大量研究，但无法通过在线实验验证我们发现的风险阶段(每月转化率低于1000次)，或者你是否仍处于优化阶段?甚至更高?
- R风险阶段:大量的研究，这些研究将转化为从商业模式转向全新设计和价值主张的任何事情。
- O优化阶段:将优化价值主张和商业模式的大型实验。
- O优化阶段:验证用户行为假设的小实验，这将为更大的设计更改积累知识。
- 一个utomation:你仍然有实验的权力(访问者)，这意味着你不需要全部的测试潜力来验证你的用户旅程。剩下的应该用来开发，现在就可以更快地增长(不要专注于长期学习)。这可以通过运行匪徒/使用算法来自动化。
- RE-think:你停止大量的研究，除非它是一个新的支点。
所以A/B测试只是ROAR优化阶段的一件大事(直到重新思考)。
我们运行实验的方法是FACT & ACT模型:
我们所做的研究是基于我们的5V模型:
我们收集所有这些见解，提出一个主要的研究支持的假设，这将导致子假设，将根据收集到的数据进行优先排序。假设成立的概率越高，排名就越靠前。
一旦我们知道我们的假设是对的还是错的，我们就可以开始结合学习，通过重新设计/重新调整客户旅程的更大部分来采取更大的OB欧宝娱乐APP步骤。然而，在某些时候，所有获胜的实现都将导致局部最大值。然后你需要迈出更大的一步，才能达到潜在的全局最大值。
当然，主要的学习成果将在整个公司范围内传播，这将导致各种更广泛的优化和创新，这些优化和创新都基于你经过验证的第一方见解。
你是面向国际用户ob欧宝娱乐app下载地址进行营销吗?学习如何让这个过程变得简单pseudo-localization．
朱莉娅·斯达斯坦科，Shopify的
实验的目的是验证对现有网页进行更改是否会对业务产生积极影响。
在开始之前，确定进行实验是否真OB欧宝娱乐APP的有必要是很重要的。考虑以下场景:有一个按钮的点击率非常低。要降低这个按钮的性能几乎是不可能的。因此，验证提议的按钮更改的有效性(即运行一个实验)是不必要的。
类似地，如果提议的按钮更改很小，可能就不值得花时间设置、执行和取消实验。在这种情况下，更改应该向所有人推出，并且可以监视按钮的性能。
如果确定运行一个实验实际上是有益的，那么下一步是定义应该改进的业务度量(例如，提高按钮的转化率)。然后，我们确保适当的数据收集到位。
一旦完成，观众被随机分成两组;一组显示现有版本的按钮，而另一组显示新版本的按钮。监测每个观众的转化率，一旦达到统计显著性，就可以确定实验的结果。
嘘拉贾，CXL研究所
A/B测试是更大的转换优化图景的一部分。在我看来，80%是关于研究，只有20%是关于测试。转换研究将帮助你决定从什么开始测试。
我的过程通常是这样的(一个简化的总结):
- 使用像这样的框架进行转换研究ResearchXL识别网站上的问题。
- 选择一个高优先级的问题(影响大部分用户的问题，是一个严重的问题)，并对这个问题进行尽可能多的解决方案的头脑风暴。将你的转化研究见解告知你的构思过程。确定要在哪个设备上运行测试(需要在桌面和移动设备上运行单独的测试)。
- 确定你可以测试多少变化(基于你的流量/事务水平)，然后选择你最好的1-2个解决方案来测试控制。
- 根据修改的范围，你可能还需要一个设计师来设计新元素。
- 让前端开发人员在测试工具中实现处理。建立必要的整合(谷歌Analytics)，设定适当的目标。
- 在测试中进行QA(失败的测试是迄今为止A/B测试的最大杀手)，以确保它适用于所有浏览器/设备组合。
- 启动测试!
- 一旦测试完成，进行测试后分析。
- 根据结果，要么实施赢家，要么迭代治疗方法，要么去测试其他东西。
轮到你
你有了过程，你就有了力量!所以，走出去，开始测试你的商店吧。OB欧宝娱乐APP在你意识到这一点之前，这些见解会为你的银行积累更多的钱。
如果你对所读的内容有任何疑问，或者在阅读过程中遇到了麻烦，请在下方评论。