Esta provavelmente não é a primeira vez que você ouve falar sobre os testes A/B. Vai ver você já leu alguns tantos artigos sobre o tema na internet, ou então já até roda esses testes nos e-mails e posts da sua loja.
O problema? É que mesmo com tanta informação sobre o tema, ainda temmuitagente que não consegue fazer bom uso desses testes. O resultado, já dá para imaginar: empreendedores tomando decisões importantes com base em dados incorretos, gerados via testes imprecisos.
Uma das raízes desse problema está no fato de que os testes A/B muitas vezes são explicados de maneira extremamente simplificada, sem que se dê a devida atenção aos pormenores do processo de criação.
Foi por isso que decidimos criar este guia, que vai mostrar absolutamentetudoo que você precisa saber para rodar testes A/B no e-commerce.
O que é um teste A/B?
O teste A/B, também conhecido como split testing, compara duas versões de uma mesma página da internet para então determinar qual delas apresenta um melhor desempenho.
Esse processo de comparação ajuda você, empreendedor, a tomar decisões comerciais importantes, gerar mais receita a partir do tráfego da loja e coletar dados relevantes para novas estratégia de marketing.
Como funciona?
Num teste A/B padrão, você mostra a versão A (também chamada de “controle”) do site para 50% dos seus visitantes, e a versão B (“variante”) para os outros 50%. Ganha a versão que apresentar a melhor taxa de conversão.
Se, por exemplo, a variante (versão B) conseguir a taxa mais alta de conversão, ela deverá ser implementada como versão oficial no site e disponibilizada para 100% dos seus visitantes.
Isso significa que a variante vai se tornar a nova versão de controle, o que por sua vez demanda a criação de uma nova variante.
Antes de continuarmos, é importante lembrar que a taxa de conversão do site é uma métrica imperfeita para avaliar o sucesso da loja; sabe por quê?
Porque é possível aumentar a taxa de conversão instantaneamente: basta anunciar todos os seus produtos de graça. Vai ser uma péssima decisão comercial, mas certamente vai colocar a taxa de conversão lá nas alturas.
一个melhor estrategia portanto e acompanhar o valor de uma conversão até o final da jornada de compra de um cliente.
O que é um teste A/B/n?
O teste A/B/n nada mais é do que uma forma de testar mais de uma variante em relação ao controle. No lugar de mostrar o controle para 50% dos seus visitantes e a variante para os outros 50%, você pode optar por mostrar a versão controle para 25%, a primeira variante para outros 25% e a segunda variante para uma terceira parcela de 25% dos visitantes.
Atenção:um teste A/B/n é diferente de um teste multivariado. Neste último formato, o objetivo é testar variantes e elementos diferentes para determinar qual combinação apresenta melhores resultados.
E, para realizar um teste multivariado, você precisa ter um volume de tráfegoextremamente alto.
Qual deve ser o tempo de duração de um teste A/B?
O ideal é que o seu teste A/B fique ativo por ao menos doisciclos econômicos; se isso não for possível na sua loja, tente deixá-lo rodando por pelo menos um ciclo completo.
Lembre-se também de não interromper o teste só porque a significância estatística foi atingida; também não vale interrompê-lo antes de atingir a amostra pré-determinada. Outro elemento importante dos testes A/B é a realização de atualizações e aprimoramentos periódicos.
A seguir, explicamos as vantagens de realizar os testes ao longo de dois ciclos econômicos:
- Os clientes que precisam de tempo para decidir se compram ou não podem entrar na amostra de teste;
- Todas as fontes de tráfego podem ser contempladas (Facebook, e-mail, newsletters, mecanismos de busca...);
- Anomalias e acontecimentos inesperados podem ser incluídos no teste (uma newsletter não programada ou um evento especial de compra).
Se você já usou uma ferramenta ou app para criar e implementar testes A/B, com certeza está familiarizado com aquele ícone verdinho da “significância estatística”.
O problema é que, para muita gente, esse ícone verde é um sinal para “opa, já consegui os resultados; posso cancelar o teste”. Infelizmente, a significância estatística não é um aviso para encerrar o teste: o fato de que ela foi atingida, portanto,não deve ser lido como uma permissãopara coletar os dados e seguir em frente.
E o tamanho pré-determinado da amostra não precisa ser um elemento tão intimidador como muita gente faz parecer. Você pode até usar acalculadora da Resultados Digitaispara fazer as contas:
O cálculo acima mostra que, se taxa de conversão atual da loja for de 10% e você estiver calculando uma melhoria de 30%, você precisará atingir uma amostrapor variaçãode 1.629 visitas em cada página do site. Isso significa que você precisa conseguir ao menos 3.300 visitas para coletar dados relevantes.
Vejamos o que acontece se diminuirmos os parâmetros:
Agora, diminuímos a taxa de conversão atual para 3% e colocamos a expectativa de melhoria em 10%. Como o nível de significância estatística não mudou, a amostrapor variaçãosubiu para 51.486 – o que significa que, para atingir bons resultados no teste, você vai precisar de pouco mais de 100 mil visitantes.
Os dois exemplos acima servem para mostrar que o tamanho da amostra deve ser calculado antes do teste A/B ser implementado. Além disso, lembre-se: mesmo que tenha atingido o nível de significância estatística, o teste não pode ser interrompido até que o tamanho da amostra seja atingido. Se mesmo assim você interromper o teste, este deixará de ser válido.
É por isso que você não deve seguir regras que muita gente disfarça como “práticas recomendadas”, por exemplo: “parar o teste após conseguir 100 novas conversões”.
Realizar atualizacoes e aprimoramentos periodico》nos testes também é um elemento importante para garantir a precisão dos resultados, pois o tráfego da loja pode variar de acordo com o dia da semana ou mesmo horários individuais.
Motivos para realizar testes A/B
Vamos supor que você gastou R$ 100,00 em uma campanha no Facebook Ads e conseguiu fazer com que dez visitantes chegassem até o site da loja. Se o valor médio do seu produto é de R$ 25,00, oito daqueles dez visitantes deixaram o site sem realizar nenhuma compra e os outros dois gastaram R$ 25,00 cada um, você...
Perdeu R$ 50,00.
集市我们imaginar嗯结尾部分cenario:低地gastouR$ 100,00 com anúncios do Facebook, e o valor médio do seu produto ainda é de R$ 25,00. Mas, daqueles dez visitantes, cinco gastaram R$ 25,00 cada; os outros cinco não compraram nada.
O resultado? Você ganhou R$ 25,00.
É claro que a vida real vai ser mais complicada do que os exemplos acima; contudo, vale lembrar que, ao aumentar a taxa de conversão no site, é possível dar mais valor ao tráfego que você já possui.
Os testes A/B também podem ajudar você a descobrir insights relevantes em áreas diversas, como descrição de produtos, mensagens das newsletters e conteúdos do blog. Além disso, esses testes também são uma maneira de otimizar continuamente o desempenho da loja.
Devo rodar testes A/B na minha loja?
Depende. Se o seu site apresenta um volume baixo de tráfego, o teste A/B dificilmente será a estratégia de otimização recomendada. Nesse caso, você terá mais sucesso realizando testes diretamente com os usuários ou simplesmente conversando com eles para descobrir o que pode ser ajustado.
Apesar do que dizem por aí, a otimização da taxa de conversão não acontece exclusivamente via testes.
É só olhar os números que coletamos nos exemplos acima. 51.486 visitaspor variaçãopara uma melhoria de 10% – e tudo isso com uma taxa atual de conversão de 3%. Imagina só se você quiser testar uma página de produto: quais são as chances de que você tenha uma página que receba 100 mil visitantes entre duas e quatro semanas?
Opa. Da onde surgiu esse intervalo de tempo de duas a quatro semanas?
Simples: da necessidade de rodar os testes por ao menos dois ciclos econômicos, que duram em média algo entre duas e quatro semanas.
Para contornar o problema, você deve estar pensando: “Sem problemas. É só eu expandir o tempo de aplicação do teste até atingir a amostra estipulada”.
Só que isso também não vai funcionar.
Quanto maior for o tempo de duração de um teste A/B, maiores são as chances de que ele fique exposto a ameaças externas capazes de afetar os resultados. Existe a possibilidade de que os seus visitantes apaguem os cookies de navegação e acabem contabilizados novamente, dessa vez como novos visitantes; ou então alguém que já acessou o site via desktop decide navegar via smartphone, acessando duas variáveis diferentes do teste.
Ou seja: deixar o teste rodando por muito tempo também não é uma opção.
Resumo da ópera:os testes A/B podem beneficiar marcas capazes de atingir as amostras pré-determinadas dentro de um período de duas a quatro semanas. Se esta não for a realidade da sua loja, é melhor investir em outras estratégias de otimização até que o tráfego orgânico do site aumente de tamanho.
Julia Starostenko, cientista de dados da Shopify, explica:
Julia Starostenko, da Shopify
“É legal realizar testes e brincar com as variáveis, mas também é importante se certificar de que os resultados atingidos sejam precisos.
Para que isso aconteça, você precisa perguntar a si mesmo: “O público-alvo é grande o suficiente?” “Eu já coletei os dados de que preciso?” Para atingir a significância estatística dentro de um período razoável, o tamanho do seu público precisa ser considerável.”
Quais variáveis e elementos devo testar?
Infelizmente, eu não tenho essa resposta.
Por mais que seja tentador buscar uma lista pronta listando todos os elementos que podem e devem ser testados, tudo vai depender das particularidades da sua loja e, em especial, dos seus dados internos.
Eu não tenho acesso a esses dados; eu sequer conheço os seus clientes e os produtos que você vende. Por isso mesmo, não posso te dizerexatamenteo que você precisa testar.
Você deve testar os elementos indicados pelos dados internos.
O que eu posso fazer, no entanto, é indicar algumas perguntas que você mesmo pode fazer (e algumas ações de fácil implementação) para nortear a criação e a implementação de testes A/B:
- Análise técnica:o site da loja carrega corretamente em todos os navegadores e em todos os dispositivos? Há atraso no carregamento de alguma página? Tudo bem se o site estiver funcionando nos dispositivos da Apple, mas será que ele funciona também num smartphone da Motorola de 2014? Um site que não funciona corretamente, afinal, não vai conseguir converter.
- Pesquisas e análises no site:antes de realizar um teste A/B, pode ser uma boa ideia instalar pequenos pop-ups que serão exibidos ao longo da experiência de navegação do cliente. Dessa forma, você pode criar pop-ups customizados para visitantes que estão navegando pelas mesmas páginas há algum tempo, mas ainda não realizaram nenhuma compra; uma maneira de coletar dados importantes e possivelmente otimizar a taxa de conversão do site.
- Conversas com clientes:nada é mais eficaz para o sucesso de uma loja do que conversar diretamente com os clientes. Procure saber o que fez essas pessoas escolherem a sua loja e não outra; o que eles estavam buscando quando encontraram os seus produtos e serviços; qual é, na opinião deles, o diferencial que a sua marca oferece. Tudo isso vai ajudar você a descobrir o verdadeiro potencial da sua loja – e a anunciar com mais segurança.
- Pesquisas de satisfação:essas pesquisas são enviadas apenas para clientes que já realizaram ao menos uma compra na loja (e não para visitantes). Ao projetar a pesquisa de satisfação da sua loja, é importante que você possa definir de maneira detalhadaquemsão os seus clientes, quais são os problemas enfrentados por eles e os fatores que entram em jogo na decisão de compra. Também é importante ficar de olho nas palavras e frases que esses clientes usam para descrever a marca.
- Análise de dados:as suas ferramentas para análise de dados estão funcionando corretamente? Não é raro encontrar ferramentas configuradas incorretamente, então é melhor dar uma olhada antes de rodar novos relatórios. A análise de dados, afinal, tem como objetivo avaliar o comportamento dos seus visitantes e tentar descobrir em qual ponto do funil de vendas essas pessoas estão desistindo da compra.
- Testes em tempo real:esses testes são recursos valiosos, pois permitem que você veja os visitantes navegando no seu site em tempo real. Para melhores resultados, peça que eles realizem uma ação específica (por exemplo, incluir um item de R$ 50,00 no carrinho) e narrem as ações em voz alta.
- Replay de compra:apesar de serem similares aos testes em tempo real, os replays de compra são gravações da navegação dos clientes no site da loja. Isso significa que você está lidando com uma situação que envolvedinheiro e intenção de compra.Os replays são excelentes para identificar os pontos da loja que podem ser melhorados.
Existem outros tipos adicionais de pesquisa, mas com esses sete você já vai conseguir juntar informações valiosas para orientar os seus testes A/B.
Como priorizar os testes A/B
怪兽乌玛lista cheia de念头,para睾丸A / B e勒gal, mas pode não ser particularmente produtiva: na hora de decidir qual teste rodar primeiro, é importante saber como priorizar.
Por sorte, existem alguns frameworks de priorização que podem ajudar:
- ICE:em inglês, ICE é um acrônimo para “impacto, confiança e facilidade” (impact, confidence and ease). Nesse framework, cada um desses três fatores recebe uma nota que varia de 1 a 10. Por exemplo: se o teste pode ser rodado sem a ajuda de um desenvolvedor ou designer, a facilidade dele pode ser avaliada em 8. É uma boa estratégia para determinar a ordem dos testes, mas se você estiver trabalhando em grupo as notas podem começar a ficar um pouco subjetivas. Para evitar que isso aconteça, determine algumas diretrizes a serem seguidas.
- PIE:派tambem e嗯acronimo da通用inglesa;significa “potencial, importância e facilidade” (potential, importance and ease). Assim como acontece no ICE, cada fator recebe uma nota num ranking de 1 a 10 (e, tal como o ICE, as notas podem ser muito subjetivas se nenhuma diretriz for imposta). Vamos supor que o teste vai atingir 90% do seu tráfego: nesse caso, a importância dele seria de 8.
Além de ajudarem a priorizar a ordem dos testes A/B, esses frameworks também podem ser úteis na hora de organizar as ideias. Numa pesquisa que fiz recentemente sobre taxas de conversão no e-commerce, usei esses frameworks de inspiração e elaborei três etapas próprias de categorização: implementação, investigação e teste.
- Implementação:só há duas opções. Ou não tem jeito, ou a solução é óbvia. Então é só respirar fundo e seguir em frente.
- Investigação:é necessário pesquisar a fundo para poder definir o problema e encontrar a solução.
- Teste:a sua ideia é concreta e baseada em dados reais. Agora é só testar!
Curso rápido sobre testes A/B
Antes de rodar um teste A/B, é importante estudar com cuidado as estatísticas envolvidas no processo.
Sim, eu sei que esse tema não é muito popular; mas, infelizmente, faz parte, até porque as estatísticas são um elemento extremamente relevante para o funcionamento dos testes A/B que estamos discutindo.
A parte boa da história é que as ferramentas de teste disponíveis no mercado ficam responsáveis por rodar e avaliar as estatísticas das métricas inseridas; no entanto, é importante que você saiba como avaliar esses dados para poder interpretar corretamente os resultados gerados.
Alex Birkett, gerente de marketing de crescimento naHubSpot, concorda com a gente:
Alex Birkett, da HubSpot
“As estatísticas não são números mágicos, e também não estão confinadas à avaliação binária de ‘Sucesso! ’ ou ‘Fracasso ’. Na verdade, é melhor entendê-las como um processo para tomar decisões e reduzir os riscos que tem, como base, dados concretos.
Dito isso, o mais importante é saber ao menos o básico do tema: o que significam termos como média, variância, amostragem, desvio padrão, regressão à média e, para completar, o que constitui uma ‘amostra representativa’. Se você está se preparando para rodar os seus primeiros testes A/B, pode ser uma boa ideia ajustar alguns parâmetros com folga para mitigar possíveis erros.”
Definição de média
A média, como o próprio nome já diz, é a posição intermediária entre o volume mínimo e o volume máximo de alguma coisa. Nos testes A/B, é necessário encontrar uma média que represente corretamente o todo.
Vamos supor que você está tentando encontrar o valor médio para o preço de videogames, pois está estudando a possibilidade de vendê-los na sua loja. Não dá para somar o valor de todos os videogames do mundo para então dividir a quantia pelo número de videogames que existem nos quatro cantos do planeta: isso é simplesmente impossível. Em vez disso, você vai isolar uma pequena amostra com, por exemplo, 200 videogames, pararepresentartodos esses videogames.
Definição de variância
A variância simboliza as variáveis médias de qualquer situação. Quanto mais alta a variância, menor a precisão dos dados.
Definição de amostragem
Quanto maior for o tamanho da amostragem, menor a variância – e, portanto, maior a chance de que a média seja a mais precisa possível.
Se você aumentar o grupo de amostra de 200 videogames para 2 mil videogames, a variação será menor e a média, mais precisa.
Definição de significância estatística
Considerando, nao existemgrandes diferenças entre as variáveis do seu teste, quais são as chances de observar resultados relevantes?
Bom, quanto menor for o nível de significância estatística determinado, maiores as chances de que a variante “vencedora” do teste (aquela com os melhores resultados) simplesmente não seja a vencedora.
O motivo é simples: um nível baixo de significância estatística pode influenciar na determinação da variante vencedora, gerando que chamamos de um falso positivo.
Isso é particularmente importante quando lidamos com ferramentas de teste A/B que determinam a significância estatística sem levar em conta o tamanho da amostra.
Peep Laja, fundador doCXL Institute, explica o que faz da significância estatística um elemento tão importante nos testes A/B
Peep Laja, do CXL Institute
“Significância estatística não é sinônimo para resultados verdadeiros, e por isso mesmo não deve ser entendida como um parâmetro capaz de interromper o teste. Mesmo uma significância estatística de 95% não quer dizer nada se você não atingir, antes, duas outras condições extremamente relevantes:
1. Uma amostra considerável, ou seja: um número suficiente de pessoas participou do experimento e é seguro tirar conclusões com base nas ações que elas realizaram;
2. O teste rodou por tempo suficiente para que a amostra gerada seja representativa (mas não por muito tempo a ponto de poluir a amostra). Na maioria dos casos, esse intervalo de tempo pode variar entre duas, três ou quatro semanas.”
Definição de regressão à média
É possível que, no início do teste, você perceba uma flutuação considerável de dados.
Isso é perfeitamente normal, e está ligado ao que chamamos de regressão à média: um fenômeno que mostra que, se algo estiver incorreto ou simplesmente exagerado na primeira avaliação, provavelmente será ajustado para ficar mais próximo à média na hora da segunda avaliação.
Se você está prestes a interromper um teste só porque atingiu a significância estatística, é provável que o resultado seja um falso positivo. Muitas vezes, a variável vencedora é aquela que sofre o efeito de regressão à média.
Definição de potência estatística
Quanto menor a potência estatística do teste, maiores as chances de que a variável vencedora passe despercebida nos resultados. Por outro lado, quanto maior a potência estatística, menor a chance de que isso aconteça.
O ideal, para testes A/B, é ajustar essa métrica em 80%.
Ton Wesseling, fundador daOnline Dialogue, explica a relevância da potência estatística:
Ton Wesseling, da Online Dialogue
“Muita gente se preocupa com os resultados falso positivos, mas acaba se esquecendo dos falso negativos. A potência estatística é a métrica capaz de encontrar as variáveis vencedoras que ficaram esquecidas em resultados não calibrados.”
Você tem uma ideia de negócios?
Comece o seu teste grátis da Shopify hoje mesmo, sem precisar de cartão de crédito!
Definição de ameaças de validade externa
As ameaças de validade externa são fatores externos ao sistema do teste A/B que podem, potencialmente, ameaçar a integridade dos dados.
Listamos, abaixo, alguns exemplos:
- Vendas geradas por ocasião do Black Friday Cyber Monday;
- Uma menção positiva ou negativa na mídia;
- Uma campanha de publicidade paga e com alto alcance;
- O dia da semana escolhido;
- Outro evento de vendas ou feriado com alto movimento de clientes.
Digamos que você decida rodar um teste A/B durante o mês de dezembro. A alta demanda gerada pelas festas de fim de ano vai sem dúvida influenciar o tráfego da loja, afetando a escolha da variável vencedora. E pode ser que já em janeiro essa variável não esteja gerando bons resultados.
O motivo?
Uma ameaça de validade externa: as festas de fim de ano.
Isso significa que os dados nos quais você se baseou nada mais eram do que anomalias, pois haviam sido afetados pelo movimento inesperado de dezembro.
Por mais que não seja possível eliminar as ameaças de validade externa, é possível mitigar o seu efeito. Uma solução, por exemplo, é rodar testes com duração de uma semana inteira; outra possibilidade é incluir fontes diferentes de tráfego.
Qualquer que seja o caminho escolhido, o importante é estar sempre alerta e evitar que os dados do teste sejam afetados.
Como configurar um teste A/B
Antes de criar um teste, você precisa primeiro ter uma hipótese sólida.
Parece complicado, mas não é. Na verdade, é a ordem básica para qualquer experimento: um teste, afinal, prova a validade de uma hipótese, e não de uma ideia.
Uma hipótese é algo que pode ser avaliado concretamente; uma ideia, não.
O teste A/B prova a validade de uma hipótese, e não de uma ideia.
Na hora de formular uma hipótese, tente seguir os três passos propostos porCraig Sullivan:
- Como eu vi que [insira aqui dados ou feedbacks da sua pesquisa],
- É possível que [a mudança ou variável que você vai testar] acabe gerando [o impacto previsto].
- Para verificar isso, vou usar [a métrica escolhida].
Simples, né? Agora tudo o que você precisa fazer é preencher as lacunas e transformar a sua ideia em uma hipótese.
Como escolher a ferramenta ideal para testes A/B
Enfim chegou a hora de escolher a sua ferramenta para testes A/B – e é bem provável que você esteja considerando oGoogle Optimize, aOptimizelye aVWO.
As três são excelentes opções.
- OGoogle Optimizefunciona de maneira integrada ao Google Analytics, o que é excelente na hora de rodar e avaliar os dados. Além disso, tem recursos como o salvamento gratuito de algumas limitações de variável;
- OOptimizelyé ideal para quem quer criar testes pequenos e não tem grandes habilidades técnicas para determinar manualmente os parâmetros do teste. Das três opções, no entanto, o Optimizely é a que custa mais caro;
- Por último, oVWO, que possui um excelente editor de WYSIWYG para iniciantes. Todos os planos de assinatura da ferramenta possuem heatmaps, pesquisas que podem ser realizadas no site, formulários de análise de dados e muito mais.
Se você preferir, também pode dar uma olhada naShopify App Store: ela está cheia de recursos e ferramentas para testes A/B.
Depois de escolher a ferramenta a ser utilizada, basta fazer seu login e seguir as instruções de utilização. O processo costuma variar de uma ferramenta para outra, mas geralmente envolve a instalação de um snippet no site e uma definição objetiva de metas.
Como analisar os resultados de um teste A/B
Voltando rapidamente para o assunto das hipóteses como forma de encontrar insights, veja só o que a Krista Seiden, gerente de produtos e especialista em análise de dados doGoogle, tem a dizer sobre o tema:
Krista Seiden, do Google
“O aspecto mais negligenciado dos testes A/B é a possibilidade de aprender com as variantes perdedoras. Na maioria dos programas de otimização que gerencio, faço questão de publicar um ‘relatório do que deu errado’: um espaço onde listo tudo aquilo que não funcionou e o que aprendemos com esses erros.
Uma vez, estávamos trabalhando numa campanha de lançamento que já durava meses. Quando finalmente conseguimos realizar um teste A/B da página inicial do novo produto, descobrimos que a variante escolhida não funcionava: ela falhou terrivelmente nos testes. Sem o teste A/B, a página seria lançada como estava e nós provavelmente teríamos levado um prejuízo imenso. Nós não só conseguimos evitar essa situação, como também avaliamos a situação com cuidado e levantamos algumas hipóteses (que, mais tarde, foram testadas) capazes de justificar o fracasso do desempenho da variável.”
Com uma hipótese bem formulada, mesmo a variante perdedora pode trazer bons resultados: ela vai ajudar você a construir novos insights, que certamente poderão ser aplicados em testes futuros ou então em outras áreas da loja.
Na hora de analisar os resultados do seu teste A/B, concentre-se nos insights – e não nos vencedores e perdedores. Toda situação pode trazer um novo aprendizado, então não descarte nada; nem a variante perdedora!
Com uma hipótese bem formulada, mesmo a variante perdedora pode trazer bons resultados.
Outra coisa importante para ter em mente é a necessidade da segmentação na análise de resultados. Por mais que uma variante tenha saído perdedora no teste, é bem provável que ela tenha tido um bom desempenho com ao menos um segmento do seu público-alvo.
E o que é um segmento?
- Novos visitantes;
- Visitantes que já acessaram a loja ao menos uma vez;
- Visitantes que acessaram via iOS;
- Visitantes que acessaram via Android;
- Visitantes que acessaram via Chrome;
- Visitantes que acessaram via Safari;
- Visitantes que acessaram via desktop;
- Visitantes que acessaram via tablet;
- Visitantes oriundos de busca orgânica;
- Visitantes vindos de publicidade paga;
- Visitantes que chegaram ao site via redes sociais;
- Compradores que já estavam logados no site.
Deu para ter uma ideia, né?
Pense nos resultados de um teste A/B como um pacote de M&M’s: tem de tudo quanto é cor, e está tudo misturado. O que você precisa fazer é separar cada M&M por cor para descobrir os insights e as informações realmente relevantes.
Além disso, lembre-se de que a sua hipótese provavelmente foi provada – mas apenas em alguns segmentos. Por mais que isso não seja um resultado amplo, é algo que pode te ajudar a construir testes mais detalhados no futuro.
Resumo da ópera:fazer análise de dados não é só delimitar a variante vencedora e a variante perdedora. Para encontrar os insights que se escondem além da superfície, concentre-se na segmentação de resultados. É uma habilidade importante para se desenvolver, até porque as ferramentas de teste A/B não fazem esse tipo de análise segmentada.
Como arquivar testes A/B já concluídos
Vamos supor que você vai rodar o seu primeiro teste A/B amanhã. Será que, daqui a dois anos, você ainda vai se lembrar dos detalhes desse primeiro teste?
Provavelmente não.
É por isso que é tão importante arquivar os resultados de testes A/B já realizados. Sem um arquivo com os registros do que já foi testado e avaliado, é fácil perder de vista os insights poderosos sobre os quais estávamos falando até agora; além disso, ninguém quer cometer o erro de testar a mesma coisa duas vezes, não é verdade?
Isso não quer dizer que exista uma maneira “certa” de arquivar e manter esses registros. Se você preferir, pode até procurar uma ferramenta ou app que fique responsável pelos dados, mas o Excel provavelmente vai funcionar super bem.
Qualquer que seja o meio escolhido, lembre-se de registrar:
- A hipótese inicial;
- Capturas de tela do controle e da variante;
- Qual foi o vencedor e quem foi o perdedor;
- Os insights que apareceram durante a análise.
Esse tipo de histórico será extremamente importante durante os momentos de expansão da marca. No futuro, também pode ser um recurso para novos funcionários e acionistas.
Como os especialistas fazem testes A/B
Agora que já detalhamos o processo padrão para a realização de testes A/B, está na hora de ver como os nossos especialistas entrevistados rodam seus testes.
Krista Seiden, do Google
O meu processo padrão para realizar testes A/B é começar com a análise de dados – que, na minha opinião, deve ser a base de qualquer ferramenta ou software de testes. Nessa etapa, o objetivo deve ser analisar os dados gerais, os resultados de uma pesquisa anterior, os dados de UX design ou qualquer outra fonte capaz de gerar insights. Isso vai ajudar a determinar os locais e pontos onde há oportunidade para otimização.
Com esses dados em mãos, está na hora de trabalhar a hipótese inicial e tentar descobrir não só o que está dando errado, mas como você pode melhorar ou otimizar as áreas problemáticas do conteúdo.
A terceira etapa lida com a construção e a implementação dos testes. Lembre-se de definir um bom intervalo de tempo (eu costumo trabalhar com intervalos de duas semanas para avaliar mudanças semanais ou alguma anomalia inesperada) e, quando coletar dados suficientes, analise os seus resultados para determinar a variante vencedora.
Aproveite também para avaliar a variante perdedora e veja se ela pode te mostrar algum insight ou resultado que você não havia visto antes.
E, por último, a etapa que só pode ser concluída se você já construiu as bases para um programa de otimização: a personalização. Você não precisa de um conjunto de ferramentas de ponta para fazer isso; basta analisar os dados coletados.
A etapa de personalização pode ser extremamente simples, como segmentar o conteúdo certo para o público certo, mas também pode envolver aspectos mais complicados, como a segmentação de usuários individuais de acordo com ações e comportamentos.
Se você ainda está começando, não precisa perder seu tempo pensando nisso: concentre-se primeiro nos aspectos básicos.
Alex Birkett, da HubSpot
Eu geralmente sigo o processo abaixo:
- Coleta de不同e verificacao das implementacoes de dados (se elas estão calibradas e devidamente ajustadas);
- Análise de dados e determinação dos insights;
- Transformação de um insight em uma hipótese;
- Priorização de tarefas de acordo com impacto e facilidade de aplicação, bem como a alocação de recursos (em especial, recursos técnicos);
- Realização do teste, seguindo as práticas recomendadas do campo de estatísticas;
- Análise e implementação dos resultados;
- Incorporação e repetição (novos testes).
Em outras palavras: pesquisar, testar, analisar, e repetir o processo.
Ainda que esse processo possa sofrer pequenas alterações dependendo do contexto dos testes, ele pode ser adotado por qualquer empresa, seja ela micro ou gigante.
Além disso, uma das vantagens do modelo acima é o fato de que ele é ágil e capaz de coletar dados de natureza qualitativa (como, por exemplo, feedback de clientes) e quantitativa: um recurso importante para gerar novas ideias de teste e preservar os insights encontrados.
Ton Wesseling, do Online Dialogue
A primeira pergunta que fazemos quando precisamos otimizar a jornada de um cliente é: em qual etapa do nosso modelo ROAR o produto ou serviço da marca melhor se encaixa? Será que ele ainda está naquela fase de risco onde é necessário fazer muita pesquisa, mas não dá para validar os resultados por meio de experimentos online? Ou será que ele já está na etapa de otimização?
- Risco: fase de muita pesquisa, que será então transformada em um modelo de teste, em uma reformulação do design ou reestruturação da proposição de valor;
- Otimização (1): experimentos em alta escala que vão otimizar a proposição de valor e o modelo comercial;
- Otimização (2): experimentos de baixa escala que validam a hipótese inicial e servem como uma primeira etapa para determinar as mudanças no design;
- Automação: se ainda restam visitantes mesmo depois da realização do teste, é melhor usá-los como recurso para experimentar novas técnicas de automação e expandir o alcance da marca;
- Reformulação: se as pesquisas não trouxerem mudanças ou novidades, elas podem ser interrompidas por um tempo.
Os insights coletados pelo modelo ROAR nos ajudam a formular uma hipótese principal que, apoiada na pesquisa realizada, vai nos ajudar a formular sub-hipóteses. Essas sub-hipóteses serão priorizadas com base nos dados coletados.
Depois de determinarmos se a hipótese é verdadeira ou falsa, começamos a realizar ações concretas para reformular a jornada do cliente.
Só não se esqueça de que, em determinado momento, as implementações locais chegarão num nível máximo. Quando isso acontecer, é hora de pensar em uma escala maior.
Julia Starostenko, da Shopify
O objetivo primeiro de um experimento é validar a hipótese de que realizar alterações numa página da internet já existente pode gerar um impacto positivo no desempenho da empresa.
Antes de realizar um teste A/B, é importante determinar se ele é realmente necessário. Por exemplo: existe, no site da loja, um botão com uma taxa de cliques extremamente baixa. Seria praticamente impossível diminuir o desempenho desse botão; isso significa que validar a hipótese de alterar o botão ou removê-lo (ou seja, realizar um experimento) não é algo necessário.
Se a mudança sugerida para o botão é muito pequena, também não vale a pena construir um teste apenas para provar que aquela mudança pode trazer um resultado minimamente relevante. Nesse caso, é melhor implementar as mudanças e simplesmente monitorar o desempenho do botão.
Em situações nas quais um teste é absolutamente necessário e pode trazer resultados relevantes, a segunda etapa do processo é definir a(s) métrica(s) que devem ser otimizadas (no exemplo acima, seria aumentar a taxa de conversão de um botão).
A terceira etapa é dividir aleatoriamente o público-alvo em dois grupos: um que vai receber a versão existente do botão e outro que vai receber a versão de teste. A taxa de conversão dos dois grupos é monitorada e, quando a significância estatística for atingida, os resultados do experimento são determinados.
Peep Laja, do CXL Institute
Os testes A/B fazem parte de um cenário maior voltado para a otimização das taxas de conversão. É por isso que, na minha opinião, é um tema que envolve 80% de pesquisa e apenas 20% de testes; e uma boa pesquisa, aliás, vai ajudar você a determinar o que deve ser testado.
O meu processo de teste geralmente funciona da seguinte maneira:
- Realização de uma pesquisa sobre as taxas de conversão para identificar problemas no site;
- Seleção de um problema de alta prioridade que está afetando uma parcela elevada dos visitantes e usuários – seguida de um brainstorm para listar todas as soluções possíveis. O processo deve ter, como base, os insights coletados na pesquisa. Em seguida, é necessário determinar o dispositivo no qual o teste vai ser realizado (desktop e dispositivos móveis pedem testes distintos);
- Determinação do número de variantes a serem testadas (isso vai depender do volume de tráfego e/ou do nível da transação);
- Estipulação das soluções (novo conteúdo escrito, alterações pontuais no design...). Dependendo do escopo das alterações, pode ser uma boa ideia incluir um designer no processo;
- Implementação dessas soluções na ferramenta de teste (isso deve ser realizado por um desenvolvedor), definição dos objetivos e outras configurações adicionais;
- Realização do controle de qualidade no teste para garantir que tudo está funcionado;
- Realização do teste!
- Com os resultados do teste em mãos, é hora de realizar uma análise dos resultados;
- Dependendo dos resultados, implementação da variante vencedora ou incorporação das soluções.
Chegou a sua vez
Agora que você já conhece o processo de testes A/B mais a fundo, está na hora de aplicá-lo no desenvolvimento da sua loja.
Boa sorte!
尤其对一个autora
Carolina Walliter é escritora, tradutora, intérprete de conferências e editora-chefe do blog da Shopify em português do Brasil.
Post original em inglês: Shanelle Mullin
Tradução e localização: Marcela Lanius
Entre em contato a nossaCentral de ajuda