完整指南的A/B测试:专家提示从谷歌，HubSpot，和更多

通过Shanelle穆林
转换

2022年11月18日
28分钟阅读

无论你是经验丰富的企业家还是刚刚起步，你都很有可能看过无数关于a /B测试的文章和资源。OB欧宝娱乐APP你甚至可能已经对你的电子邮件主题行或社交媒体帖子进行了A/B测试。

尽管市场营销领域有很多关于A/B测试的说法，ob欧宝娱乐app下载地址很多仍然有很多人弄错了。结果呢?人们根据不正确的测试得出的不准确的结果做出重大的商业决策。

点击这里开始使用ShopifOB欧宝娱乐APPy在线销售

A/B测试通常过于简化，尤其是在为商店所有者编写内容时。下面你会发现你需要知道的一切，以便开始进行不同类型的电子商务A/B测试，并尽可能清楚地解释。OB欧宝娱乐APPA/B测试可以改变游戏规则，帮助你选择正确的产品定位，提高登陆页面的转化率等等。

目录表

什么是A/B测试?

A/B测试，有时也被称为分割测试，是比较相同网页、电子邮件或其他数字资产的两个版本，以根据用户行为决定哪个版本表现更好的过程。这是一个有用的工具，可以提高营销活动的表现，更好地了解是什么转化了你的目标受众。ob欧宝娱乐app下载地址

这个过程可以让你回答重要的商业问题，帮助你产生更多的收入你已经拥有的流量，并为基于数据的营销策略奠定基础。ob欧宝娱乐app下载地址

了解更多:如何进行测试SWOT分析为您的业务

A/B测试是如何工作的

当在市场营销中使用A/B测试时，你向50%的访问者展示你的资产的A版本(我们称之为ob欧宝娱乐app下载地址“控制”)，向50%的访问者展示你的资产的B版本(我们称之为“变体”)。

转化率最高的版本胜出。例如，假设变体(版本B)产生了最高的转化率。然后你会宣布它是赢家，并将100%的访问者推送到该变体。

然后，变体成为新的控件，您必须设计一个新的变体。

值得一提的是，A/B测试的转化率往往不是衡量成功的完美标准。

例如，如果你在一页上标价50美元，而在另一页上则完全免费，这就无法提供任何真正有价值的信息。就像你在业务中使用的任何工具或策略一样，它必须是战略性的。

这就是为什么你应该一直追踪转化价值直到最终销售。

免费阅读列表:转换优化为初学者

通过获得转换优化速成课程，将更多的网站访问者转化为客户。访问下面我们的免费，策划的高影响力文章列表。

什么是A/B/n测试?

使用A/B/n测试，您可以针对控件测试多个变体。所以，与其让50%的访问者看到对照组，50%的访问者看到变体，不如让25%的访问者看到对照组，25%的访问者看到第一种变体，25%的访问者看到第二种变体，25%的访问者看到第三种变体。

注意:这与多变量测试不同，多变量测试也涉及多个变量。当运行多变量测试时，你不仅要测试多个变量，还要测试多个元素，例如A/B测试UX或SEO分割测试。目标是找出哪种组合效果最好。

你需要很多运行多变量测试的流量，所以你现在可以忽略它们。

A/B测试应该运行多长时间?

运行你的A/B测试至少一个，最好是两个完整的商业周期。不要因为你达到了重要的程度就停止你的测试。你还需要达到你预定的样本量。最后，不要忘记以整周的增量运行所有测试。

为什么是两个完整的商业周期?首先:OB欧宝娱乐APP

你可以考虑“我需要考虑一下”的买家。
你可以考虑所有不同的流量来源(Facebook，电子邮件通讯，自然搜索等)。
你可以解释异常情况。例如，你周五的电子邮件简报。

两个商业周期通常足以让你深入了解目标用户的用户行为。

如果你使用过任何类型的A/B测试登陆页测试工具，你可能会熟悉小的绿色“统计显著”图标。

不幸的是，对许多人来说，这是“考试结束了，快叫吧”的普遍信号。正如你将在下文了解到的，仅仅因为A/B测试达到了统计显著性并不意味着你应该停止测试。

那你预定的样本量呢?这并不像看起来那么吓人。打开一个样本大小计算器，比如这张来自埃文·米勒，以在您的网页中引用，以帮助提高您的转化率。

这个计算表明，如果你当前的转化率为5%，而你希望能够检测到15%的效果，那么你需要每个变量的样本为13,533。所以，如果这是一个标准的a /B测试，那么总共需要超过25000名访问者。

如果你想检测一个较小的效果，看看会发生什么:

唯一改变的是最小可检测效应(MDE)。从15%下降到8%。在本例中，每个变量需要47,127个样本。所以，如果这是一个标准的a /B测试，那么总共需要近10万名访问者。

无论你是进行A/B测试UX还是SEO分割测试，你的样本大小都应该在测试开始前预先计算好。OB欧宝娱乐APP您的测试不能停止，即使它达到了显著性，直到达到预定的样本量。如果是，测试就无效。

这就是为什么你不能漫无目的地遵循最佳实践，比如“100次转换后停止”。

对整个星期的增量进行分割测试也很重要。你的流量可以根据一周中的一天和一天中的时间而变化，所以你要确保包括一周中的每一天。

为什么要进行A/B测试?

假设你花了100美元Facebook的广告发送10个人到你的网站。你的平均订单价值是25美元。其中8名游客没有买任何东西就离开了，另外两名游客每人花了25美元。结果呢?你损失了50美元。

现在假设你在Facebook广告上花了100美元，让10个人访问你的网站。你的平均订单价值仍然是25美元。不过，这一次，只有5名游客没有买任何东西就离开了，其他5人每人花了25美元。结果呢?你赚了25美元。

当然，这是比较简单的A/B测试例子之一。但是通过提高你的在线商店的转化率，你创造了欧宝体育官网入口首页相同的交通更有价值。

A/B测试图像无论你的测试是成功还是失败，副本也能帮助你发现真知灼见。这个价值是很容易转移的。例如，从一个文案的见解产品描述A/B测试可以帮助告知你的价值主张产品视频，或其他产品说明。

你也不能忽视专注于持续提高在线商店效率的内在价值。欧宝体育官网入口首页

你是否应该进行A/B测试?

不一定。如果你运行的是低流量网站或网页或手机应用，那么a /B测试可能并不是最适合你的优化方法。例如，通过进行用户测试或与客户交谈，您可能会看到更高的投资回报(ROI)。

尽管人们普遍认为，转化率优化不以测试开始和结束。

考虑上面的样本大小计算器中的数字。47,127个访问者每个变体检测8%的效果，如果你基准转换利率是5%。假设你想测试a产品页面。它会在两到四周内接待近10万名游客吗?

为什么是两到四周?请记住，我们希望在至少两个完整的业务周期内运行测试。通常情况下，这需要两到四周的时间。现在您可能在想，“没问题，我将运行超过两到四周的测试以达到所需的样本量。”这也行不通。

测试运行时间越长，越容易受到外部效度威胁和样本污染的影响。例如，访问者可能会删除他们的cookie，最终以新访问者的身份重新进入A/B测试。或者有人可以从手机切换到桌面，看到另一种变化。

从本质上讲，让您的测试运行太长时间与不让它运行足够长的时间一样糟糕。

对于能够在两到四周内满足样本量要求的商店来说，测试是值得投资的。在流量增加之前，不能考虑其他形式的优化。

Pinterest的产品经理Julia Starostenko对此表示赞同，她解释道:

Pinterest网站的Julia Starostenko

“实验很有趣!但重要的是要确保结果是准确的。

“问问你自己:你的受众足够多吗?你收集到足够的数据了吗?为了获得真正的统计意义(在合理的时间范围内)，用户规模需要足够大。”

你应该做什么A/B测试?

我无法告诉你应该做什么A/B测试。我知道，我知道。如果我现在能给你一份99项测试的清单，你的生活肯定会轻松一些。很多营销人员都愿意这样做来换取点击量。ob欧宝娱乐app下载地址

事实上，唯一值得运行的测试是基于您自己的数据的测试。我无法访问你的数据，你的客户等等，任何人也无法管理那些庞大的A/B测试想法列表。没有人能有意义的告诉你要测试什么。

唯一值得运行的测试是基于您自己的数据的测试。

相反，我鼓励你通过定性和定量分析来回答这个问题。一些流行的A/B测试例子是:

技术分析。你的商店在每个浏览器上都能正确快速地加载吗?在每个设备上?你可能有一部闪亮的新iPhone 14，但在某个地方，有人还在拿着2005年的摩托罗拉Razr。如果你的网站不能正常和快速地工作，那么它肯定不能很好地转换。
现场调查。当您的商店的访客浏览时，这些弹出。例如，一个现场调查可能会询问在同一页面上停留了一段时间的访问者，是否有什么东西阻碍了他们今天的购买。如果有，是什么?你可以使用这些定性数据来提高你的文案和转化率。
客户面试。没有什么能代替打电话和客户交谈。他们为什么选择你的店而不是其他竞争对手的店?当他们到达你的网站时，他们试图解决什么问题?你可以问成千上万的问题来了解你的客户是谁为什么他们真的从你这里买。
客户调查。客户调查是针对已经购买过商品的人(而不是访问者)进行的全面调查。当设计一个调查时，你要关注:定义你的客户，定义他们的问题，定义他们在购买之前的犹豫，以及识别他们用来描述你的商店的单词和短语。
分析分析。你的分析工具是否正确地跟踪和报告你的数据?这可能听起来很傻，但您会惊讶于有多少分析工具配置不正确。分析分析就是要弄清楚访问者的行为。例如，您可能会关注漏斗。你们最大的公司在哪里?转换漏斗泄漏？换句话说，大多数人会从你的漏斗中退出?这是开始测试的好地方。OB欧宝娱乐APP
用户测试。这是你在一个付费的、受控的实验中观察真实的人试图在你的网站上执行任务。例如，你可以让他们找到一款价格在40美元到60美元之间的电子游戏，并将其添加到购物车中。当他们执行这些任务时，他们大声说出自己的想法和行动。
会话回放。会话回放类似于用户测试，但现在你面对的是真正的人，他们有真正的金钱和真正的购买意图。你会看到你的实际访问者浏览你的网站。他们找不到什么?他们在哪里感到沮丧?他们在哪里看起来很困惑?

还有其他类型的研究，但首先要选择最适合你的A/B测试方法。OB欧宝娱乐APP如果你浏览了其中的一些，你就会有一长串值得测试的基于数据的想法。我保证你的清单将带给你比任何“99个现在要测试的东西”的文章都更有价值。

优先考虑A/B测试的想法

大量的A/B测试想法固然令人兴奋，但对于决定测试什么并没有多大帮助。你从哪里开始?OB欧宝娱乐APP这就是优先级的作用。

你可以使用一些常见的优先级框架:

冰。ICE代表影响力，信心和轻松。这些因素中的每一个都有1-10的排名。例如，如果您可以在没有开发人员或设计人员帮助的情况下轻松地自己运行测试，那么您可能会给它打8分。你在这里使用你的判断，如果你有不止一个人运行测试，排名可能会变得过于主观。有一套指导方针可以帮助每个人保持客观。

派。PIE代表潜力、重要性和易用性。同样，每个因素的排名为1-10。例如，如果测试将达到您的流量的90%，您可能会给重要性8。PIE和ICE一样具有主观性，因此指导方针也可以对该框架有所帮助。
PXL。PXL是来自CXL的优先级框架。它有点不同，更可定制，迫使玩家做出更客观的决定。你会发现不是三个因素，而是一个是/否问题和一个容易实现的问题。例如，框架可能会问:“这个测试是为了增加动机而设计的吗?”如果是，则得到1。如果不是，它得到0。您可以了解更多关于这个框架和下载电子表格。

现在你对从哪里开始有了一个想法，但它也可以帮助你对你的想法进行分类OB欧宝娱乐APP。例如，在我最近做的一些转换研究中，我使用了三个类别:实现、调查和测试。

实现。只管去做。它是坏的或明显的。
调查。需要额外的思考来定义问题或缩小解决方案。
测试。这个想法是合理的，有数据依据的。测试它!

在这个分类和优先级之间，你是固定的。

A/B测试统计的速成课程

在运行测试之前，深入研究统计数据是很重要的。我知道，统计学通常不受欢迎，但把它想象成你不情愿毕业的必修课。

统计数据是a /B测试的重要组成部分。幸运的是，A/B测试工具和分割测试软件使优化器的工作变得更加简单，但对幕后发生的事情的基本理解对于随后分析测试结果至关重要。

Alex Birkett，前增长营销经理ob欧宝娱乐app下载地址HubSpot的现任联合创始人无所不知的数字解释:

Alex Birkett，全知数码公司

“统计数据不是转换的神奇数字，也不是二元的‘成功’!或“失败”之类的东西。这是一个在不确定的情况下做出决策的过程，通过试图减少给定决策结果的模糊性来降低风险。

“考虑到这一点，我认为了解基础知识是最必要的:什么是均值、方差、抽样、标准差、回归均值，以及什么构成了‘代表性’样本。此外，当你开始进行A/B测试时，设置一些特定的护栏可以帮助你尽可能地OB欧宝娱乐APP减少人为错误。”

意思是什么?

Mean是平均值。你的目标是找到一个能代表整体的平均值。

例如，假设你想找出电子游戏的平均价格。你不会把世界上所有电子游戏的价格相加然后除以世界上所有电子游戏的数量。相反，您将分离出一个小样本代表世界上所有的电子游戏中。

你最终可能会发现几百个电子游戏的平均价格。如果你选择了一个具有代表性的样本，那么这200款电子游戏的平均价格应该能够代表世界上所有的电子游戏。

什么是抽样?

样本量越大，变异性越小，这意味着平均值更可能是准确的。

如果样本从200个电子游戏增加到2000个，方差会更小，均值会更精确。

什么是方差?

方差是平均可变性。从本质上讲，变异性越高，平均值在预测单个数据点时就越不准确。

那么，每个电子游戏的平均价格和实际价格有多接近呢?

什么是统计显著性?

假设A和B之间没有区别，你有多少次会偶然看到这种效果?

统计显著性水平越低，获胜变异根本不是赢家的可能性就越大。

简单地说，低显著性水平意味着你的“赢家”很有可能不是真正的赢家(这被称为假阳性)。

请注意，大多数A/B测试工具和开源A/B测试软件调用统计显著性，而无需等待预先确定的样本大小或时间点。这就是为什么你可能会注意到你的测试在统计显著和统计不显著之间来回切换。

创始人佩普·拉贾CXL他希望更多的人这样做真的理解A/B测试的统计意义及其重要性:

看Laja, CXL

“统计显著性不等于有效性——这不是一个停止的规则。当你达到95%或更高的统计显著性时，在满足另外两个更重要的条件之前，这意味着什么:

“1。有足够的样本量，你可以用样本量计算器算出来。也就是说，有足够多的人参与了这个实验，所以我们可以得出任何结论。

“2。测试已经运行了足够长的时间，因此样本具有代表性(并且不会太长而无法避免)样品污染)。在大多数情况下，你需要进行两周、三周或四周的测试，这取决于你能多快获得所需的样本。”

什么是回归均值?

你可能会在A/B测试开始时注意到极端的波动。

回归均值是一种现象，如果某物在第一次测量中是极端的，那么在第二次测量中它可能更接近平均值。

如果您调用测试的唯一原因是因为它达到了统计显著性，那么您可能会看到假阳性。随着时间的推移，你的成功变异可能会回归到平均值。

什么是统计能力?

假设a和B之间存在差异，你多久能看到一次效果?

权力级别越低，赢家被忽视的可能性就越大。权力级别越高，赢家被忽视的机会就越低。实际上，你只需要知道80%的统计能力是大多数A/B测试工具和/或任何分离测试服务的标准。

Ton Wesseling，创始人在线对话她希望更多的人了解统计能力:

tonwesseling，在线对话

“很多人担心误报。我们更担心假阴性。为什么要进行这样的实验呢?在这种情况下，找到证据证明你的积极改变会产生影响的可能性真的很低?”

什么是外部有效性威胁?

有一些外部因素会威胁到你测试的有效性。例如:

黑色星期五网络星期一(BFCM)销售
正面或负面的媒体报道
一个大型付费活动的启动
一周中的一天
变换的季节

外部有效性威胁影响结果的一个更常见的A/B测试例子是在季节性事件期间。假设你要在12月进行一个测试。主要的购物节日意味着你的商店在那个月的客流量会增加。你可能会在1月份发现，12月份的赢家表现不再好。

为什么?

因为一个外部的有效性威胁:假期。

你的测试决定所依据的数据是异常的。当事情在一月份稳定下来时，你可能会惊讶地发现你的赢家输了。

您无法消除外部有效性威胁，但是您可以通过连续几周运行测试(例如，不要在周一开始测试，而在周五结束测试)来减轻它们，包括不同类型的流量(例如，不要只测试付费流量，然后将结果推广到每个流量源)，并注意潜在的威胁。OB欧宝娱乐APP

如何设置A/B测试

让我们浏览一下a /B测试教程。测试前任何东西，你需要有一个可靠的假设。(太好了，我们刚上完数学课，现在开始上科学课。)例如，“如果我降低运费，转化率就会提高。”

别担心，这并不复杂。基本上，你需要测试一个假设，而不是一个想法。假设是可衡量的，渴望解决特定的转换问题，关注洞察力而不是胜利。

你需要对假设进行A/B测试，而不是想法。

每当我写假设的时候，我都会借用一个公式克雷格·沙利文的假说工具包：

因为你看到[从研究中插入数据/反馈]
您期望[您正在测试的更改]将导致[您预期的影响]并且
你将使用[数据度量]来衡量这一点

容易,对吧?你所要做的就是填空，然后你的测试想法就变成了假设。

选择A/B测试工具

现在你可以开始选择A/BOB欧宝娱乐APP测试工具或分离测试服务了。通常，你会想到谷歌优化，优化,VWO第一。

这些都是好的、安全的选择。

谷歌优化。免费，除了一些多变量限制，如果您刚刚开始，它应该不会真正影响您。OB欧宝娱乐APP它在执行Google Analytics A/B测试时运行良好，这是一个加分项。
优化。即使没有技术技能，也很容易启动和运行小测试。数据引擎使分析测试结果更容易。通常，Optimizely是三个选项中最昂贵的。
VWO。VWO已经SmartStats使分析更容易。此外，它还为初学者提供了一个很棒的所见即所得编辑器。每个VWO计划都配有热图，现场调查，表单分析等。

我们也有一些A/B测试工具Shopify应用商店你可能会觉得有用。

一旦你选择了A/B测试工具或分离测试软件，填写注册表格并按照提供的说明进行操作。该过程因工具而异。但是，通常情况下，您会被要求在您的站点上安装一个代码片段并设置目标。

如何分析A/B测试结果

还记得我说过写假设会把重点从胜利转移到见解上吗?Krista Seiden, Analytics倡导者，前产品经理谷歌解释了这意味着什么:

Krista Seiden，谷歌

“A/B测试最容易被忽视的方面是向失败者学习。事实上，在我运行的优化程序中，我养成了发布“失败报告”的习惯，在报告中我会列出本季度最大的失败案例，以及我们从中吸取的教训。

“我一直以来最喜欢的一张照片来自一个酝酿了几个月的竞选活动。我们能够在登陆页上线前悄悄进行测试，这是件好事，因为它失败得很惨。如果我们真的发布了这个页面，我们的底线就会受到重大打击。我们不仅最终为公司节省了大量资金，而且我们能够深入研究并做出一些假设(我们后来进行了测试)为什么新页面表现如此之差，这使我们成为更好的营销人员，并在未来的活动中取得更大的成功。”ob欧宝娱乐app下载地址

如果你的假设是正确的，即使是失败者也是赢家，因为你将获得可以用于未来测试和其他业务领域的见解。所以，当你分析你的测试结果时，你需要关注的是洞察力，而不是测试是赢还是输。总有东西要学，总有东西要分析。不要轻视失败者!

如果你的假设是正确的，即使是失败者也是赢家。

这里需要注意的最重要的事情是分割的必要性。一个测试可能在整体上是失败的，但它有可能至少在一个部分表现良好。我说的分段是什么意思?

新访客
返回的游客
iOS的游客
Android的游客
Chrome的游客
旅行的游客
桌面的游客
平板电脑的游客
自然搜索访问者
游客支付
社交媒体访问者
登录买家

你懂的，对吧?

当您查看测试工具中的结果时，您查看的是整盒糖果。你需要做的是把糖果分开，这样你就能发现更深层次的、分段的见解。

有可能这个假设在某些部分被证明是正确的。这也告诉了你一些事情。

分析不仅仅是关于考试是赢家还是输家。分割你的数据，发现隐藏在表面之下的洞察力。

A/B测试工具不会为你做分析，所以这是一项需要长期培养的重要技能。

免费电子书:电子商务分析初学者

找出哪些指标是建立和发展在线业务的关键。这个免费指南是学习电子商务分析的完美第一步。

如何存档过去的A/B测试

假设你明天进行第一次测试。两年后的明天，你还记得那次考试的细节吗?不太可能。

这就是为什么存档你的A/B测试结果很重要。如果没有一个维护良好的档案，你所获得的所有见解将会丢失。另外，我不骗你，如果你不存档，很容易对同一个东西进行两次测试。

然而，没有“正确”的方法来做到这一点。你可以用这样的工具有效的实验，或者你也可以用Excel。这完全取决于你自己，尤其是当你刚刚开始的时候。OB欧宝娱乐APP只要确保你记录了:

假设
控制和变化的屏幕截图
无论是赢还是输
通过分析获得的见解

长大后，你会感谢自己保存了这些档案。这不仅对你有帮助，对新员工、顾问/利益相关者也有帮助。