Per saperne di più

Test A/B: guida completa e consigli degli esperti di Google e HubSpot

5 apr 2018
Lettura di 25 minuti

Probabilmente questa non è la prima volta che vi documentate sull’A/B testing, di cui si parla ampiamente in vari articoli. E magari già sottoponete al test A/B l'oggetto delle vostre email o i vostri post sui social media.

Malgrado le abbondanti informazioni divulgate sull’argomento, molti marketer continuano a fare A/B testing in modo errato. La conseguenza? Decisioni aziendali importanti vengono assunte sulla base di risultati imprecisi e test sbagliati.

Il problema è che il procedimento per eseguire i test A/B è spesso descritto in modo semplicistico, specie nel caso dei contenuti destinati ai commercianti.

Ecco perché abbiamo preparato questa guida completa e semplice per sottoporre al test A/B il vostrosito ecommerce.

Sommario

1. Che cos'è il test A/B?

Il test A/B, anche definitosplit teste联合国procedimento mediante il特质si confrontano due versioni della stessa pagina web, per determinare quale di esse produca il rendimento migliore.

Tale procedimento consente di rispondere a quesiti commerciali importanti, aiuta a generare più entrate dal traffico attuale e getta le basi per una strategia di marketing fondata sui dati.

2. Come funziona il test A/B

Si mostra al 50% dei visitatori la versione A (chiamiamola “originale”) e al restante 50% dei visitatori la versione B (chiamiamola “variante”).

La versione della pagina web che genera il più alto tasso di conversione supera il test. Ad esempio, supponiamo che la variante (versione B) generi il tasso di conversione più alto. In tal caso, verrà stabilito che la variante ha superato il test e da quel momento sarà mostrata al 100% dei visitatori.

Dunque, la variante si trasformerà in “originale” e occorrerà progettare una nuova variante.

Vale la pena di ricordare che il tasso di conversione è un metro di valutazione imperfetto del successo. Se per assurdo rendessimo gratuito ogni articolo in vendita, il tasso di conversione aumenterebbe istantaneamente. Certo, questa sarebbe una pessima scelta commerciale.

Ecco perché il valore delle conversioni dovrebbe essere ancorato a un criterio di misurazione economico.

3. Cos’è un test A/B/n?

Con il test A/B/n, è possibile testare simultaneamente più varianti, raffrontandole allo stesso originale. In questo caso, non si mostra al 50% dei visitatori l’originale e al 50% dei visitatori la variante. Piuttosto, ad esempio, si mostra al 25% dei visitatori l’originale, ad un altro 25% la prima variante, ad un ulteriore 25% la seconda variante e al restante 25% la terza variante.

Nota: il test A/B/n differisce dal test multivariato, anche se entrambi prevedono il raffronto tra più varianti. Infatti, con i test multivariati si testano più varianti e simultaneamente più elementi, con l'obiettivo di capire quale combinazione offra il rendimento migliore.

Test multivariato e test A/B — Fonte immagine

联合国每condurre测试multivariato occorre disporredi un notevole traffico; quindi per ora tralasceremo questo tipo di test.

4. Qual è la durata ideale di un test A/B?

La durata ideale di un test A/B è di almeno uno o, meglio ancora, due interi cicli economici. Non interrompete il test solo perché i dati sono diventati significativi. Per completare il test, dovete arrivare a esaminare un campione di utenti di grandezza predeterminata. Infine, non scordate che il test dev’essere condotto per periodi composti da settimane complete.

Perché la durata ideale di un test A/B è di due interi cicli economici? Innanzitutto, perché così è possibile prendere in considerazione:

gli acquirenti indecisi, che non effettuano subito l’acquisto;
tutte le diverse fonti di traffico (Facebook, newsletter, ricerca organica, ecc.);
eventi speciali, come un’ipotetica “newsletter del venerdì”.

“Statisticamente significativo” non significa “test completato”

Se vi è già capitato di usare un qualsiasi strumento per lo split test, probabilmente avrete familiarità con l'icona verde “statisticamente significativo”.

Per molti, sfortunatamente, questo è il segnale universale per indicare che “il test è completato e pronto da esportare”. Ma come apprenderete più avanti, nel corso accelerato di statistica, “statisticamente significativo” non equivale a “test completato”. L’avere raggiunto un certo grado di rilevanza statistica non significa poter interrompere il test.

Come calcolare la dimensione del campione da esaminare

Dunque come predeterminare correttamente le dimensioni del campione da esaminare? Non è complicato come sembra. Aprite uno strumento per calcolare la dimensione di un campione, come questo diEvan Miller.

Il calcolo qui sopra indica che, se il vostro tasso di conversione attuale è del 5% e volete essere in grado di rilevare un effetto minimo del 15%, vi occorre un campione di 13.533 visitatori per variante. Quindi, in totale, per un test A/B standard, serviranno oltre 25.000 visitatori.

Fondamentalmente, più è alto l’effetto minimo rilevabile(MDE), meno visitatori occorrono per testare le varianti; infatti il vostro strumento di split test non rileverà i risultati al di sotto della soglia minima.

Guardate cosa accade a diminuire l’effetto minimo rilevabile:

Rispetto al calcolo precedente, l’unico valore modificato è l'effetto minimo rilevabile, che è sceso dal 15% all'8%. In questo caso, sarà necessario un campione di 47.127 visitatori per variante. Quindi, in totale, sono necessari quasi 100.000 visitatori se si tratta di un test A/B standard.

La dimensione del campione da esaminare va calcolata in anticipo, prima di iniziare il test. E il test non può essere interrotto, anche se acquisisce un valore statisticamente significativo, finché non si giunga ad esaminare la dimensione del campione predeterminata. Diversamente, il risultato raggiunto non sarà attendibile.

Questo è il motivo per cui non ha senso seguire regole come “interrompere il test dopo 100 conversioni”.

È anche importante condurre i test per incrementi di settimane complete. Il traffico può cambiare in base al giorno della settimana e all'ora del giorno; quindi, dovrete essere sicuri di protrarre il test fino all’ultimo giorno della settimana.

5. Perché condurre un test A/B?

Ipotizziamo che spendiate 100 Euro ininserzioni Facebookper indirizzare dieci persone al vostro sito ed ammettiamo che il vostro valore medio dell'ordine sia pari a 25 Euro. Se 8 visitatori lasciano il sito senza acquistare nulla e 2 spendono 25 Euro a testa, avrete perso 50 Euro.

Supponiamo ora che investiate 100 Euro in inserzioni Facebook per indirizzare dieci persone al vostro sito. Il vostro valore medio dell'ordine è sempre di 25 Euro. Però, questa volta solo cinque visitatori lasciano il sito senza acquistare nulla, mentre gli altri cinque spendono 25 Euro a testa. Il risultato? Avrete guadagnato 25 Euro.

Si tratta di una semplificazione, ovviamente. Ma il senso è che,aumentando il tasso di conversione del sito, si rende più redditizio lo stesso volume di traffico.

Che il test dimostri o meno la maggiore efficacia della variante, comunque otterrete informazioni utili ed applicabili in vari contesti. Ad esempio, ammettiamo che un test A/B su una descrizione di prodotto fornisca indicazioni utili per il copywriting. Queste potranno essere impiegate per migliorare lavalue propositione le altredescrizioni di prodotto.

Inoltre, tendere costantemente a migliorare l’efficacia del proprio negozio ha un valore intrinseco innegabile.

È il caso di condurre un test A/B?

非necessariamente。Se il traffico成就坐o è scarso, probabilmente nel vostro caso il test A/B non è la soluzione migliore per l’ottimizzazione. Ad esempio, è probabile che si verifichi un ritorno sull'investimento (ROI) più elevato mediante dei test utente odialogando con i clienti.

“Malgrado quel che si può credere, ottimizzare il tasso di conversione non significa solo condurre dei test”.

Consideriamo le cifre risultanti dallo strumento per calcolare le dimensioni del campione di cui sopra. Con un tasso di conversione standard del 5%, occorrono 47.127 visitatori per variante per rilevare un effetto dell'8%. Immaginiamo che intendiate testare una pagina di prodotto. Ne avete una che ottiene più o meno 100.000 visitatori nell’arco di 2-4 settimane?

Durata del test

Perché “nell’arco di 2-4 settimane”?! Perché, come abbiamo detto prima, un test A/B va eseguito idealmente per due cicli economici completi. Il che equivale generalmente ad un periodo di2-4 settimane. Ora forse state pensando: “Nessun problema, protrarrò il test fino ad esaminare un campione della dimensione richiesta”. Ma non è una soluzione che funziona.

Vedete, più a lungo dura un test, più è soggetto a fattori esterni che incidono sulla sua validità, inquinando il campione. Ad esempio, i visitatori potrebbero cancellare i loro cookie e finire reinseriti nel test A/B come nuovi visitatori. O qualcuno potrebbe passare dal cellulare al desktop e visitare una variante alternativa.

In sostanza, protrarre il test troppo a lungo non è una buona soluzione.

In sintesi:

Vale la pena di investire per condurre un test A/B se il vostro negozio è in grado di raggiungere le dimensioni richieste per il campione in 2-4 settimane. Altrimenti, meglio prendere in considerazione altre forme di ottimizzazione finché il traffico non aumenterà.

Julia Starostenko, Data Scientist di Shopify, è d'accordo e spiega:

Julia Starostenko, Shopify

“Sperimentare è divertente! Ma è importante assicurarsi che i risultati siano accurati. Chiedetevi se il vostro pubblico è abbastanza numeroso e se avete raccolto abbastanza dati. Per raggiungere una vera rilevanza statistica (entro un ragionevole lasso di tempo), la dimensione del pubblico dev’essere sufficientemente ampia”.

6. Quali pagine del sito sottoporre all’A/B testing?

Non so dirvi quali pagine dovreste sottoporre a uno split test. Lo so, lo so, vi semplificherei la vita dandovi una lista di “99 cose da testare adesso”. I marketer disposti a farlo in cambio di click non mancano di certo.

Ma la verità è che per stabilire quali test valga la pena di condurre c’è solo un modo: analizzare i vostri dati. E né io né chi è disposto a stilare quelle enormi liste di idee abbiamo accesso ai vostri dati, ai vostri clienti, ecc. Quindi nessuno di noi può dirvi a ragion veduta cosa testare.

“L 'unico modo每stabilire valga la pe特性测试na di fare è analizzare i vostri dati”.

Piuttosto, il mio consiglio è: determinate voi stessi attraverso analisi qualitative e quantitative quali test valga la pena di condurre. Ecco alcuni metodi per farlo:

Analisi tecnica:

Il vostro negozio si carica correttamente e velocemente su tutti i browser? Su ogni dispositivo? Magari voi avete un nuovo e sfavillante iPhone X, ma qualcuno dei vostri visitatori potrebbe usare ancora un Motorola Razr dal 2005. Se il vostro sito non funziona correttamente e velocemente, sicuramente non converte tanto quanto potrebbe.

Sondaggi sul sito:

I sondaggi sul sito vengono visualizzati quando i visitatori navigano all’interno del vostro negozio. Ad esempio, un sondaggio sul sito potrebbe chiedere ai visitatori che si sono soffermati sulla stessa pagina per un po’ se c'è qualcosa che li frena dall’effettuare un acquisto immediato. Se sì, di che si tratta? Potete utilizzare simili dati qualitativi per migliorare il materiale pubblicato e il tasso di conversione.

Interviste ai clienti:

Prendere il telefono e parlare con i clienti è qualcosa di insostituibile. Perché hanno preferito il vostro negozio a quelli dei concorrenti? Quale problema cercavano di risolvere quando sono approdati sul vostro sito? Ci sono mille domande che potreste porre per arrivare a capiredavverochi siano i vostri clienti e perché facciano acquisti da voi.

Sondaggi condotti presso i clienti:

Sono sondaggi completi indirizzati a persone che hanno già effettuato un acquisto e non ai semplici visitatori. Nel progettarli, occorredefinire il profilo dei clienti, i loro problemi, le loro esitazioni precedenti all'acquisto. Inoltre occorre identificare le parole e le frasi che i clienti usano per descrivere il vostro negozio.

Analisi dei dati:

I vostristrumenti di analisisono in grado di monitorare e riportare i dati correttamente? Potrebbe sembrare una domanda sciocca, ma rimarreste sorpresi nel sapere quanti sono gli strumenti di analisi configurati in modo errato. Questa analisi consiste nell'immergersi nei dati ed esaminare come si comportano i vostri visitatori. Ad esempio, potreste concentrarvi sul percorso d’acquisto. Qual è il punto dove la maggior parte dei visitatori desistono? In altre parole, dove la maggior parte degli utenti abbandonano il vostro percorso d’acquisto? Quello è un buon punto da sottoporre al test A/B, per iniziare.

Test utente:

Consistono nel guardare persone reali che cercano di eseguire delle attività sul vostro sito. Ad esempio, potreste chiedere loro di trovare sul sito un videogioco che costa 40-60 Euro e aggiungerlo al loro carrello. Mentre svolgono i compiti richiesti, dovranno illustrare i loro pensieri e azioni ad alta voce.

Riproduzioni delle sessioni:

Sono simili ai test utente. Questa volta però non avete solo a che fare con persone reali, ma con vero denaro e intenzioni di acquisto reali. Si tratta diosservare come i veri visitatori navigano all’interno del vostro sito. C’è qualcosa che hanno difficoltà a trovare? O un qualcosa che genera in loro frustrazione o confusione?

Esistono anche ulteriori tipi di ricerca, ma questi 7 metodi sono un buon punto di partenza. Provatene alcuni e otterrete tantissime idee su quali parti del vostro sito ecommerce sottoporre all’A/B testing. Create la vostra lista personalizzata: sarà molto più produttivo che basarvi su articoli del tipo “99 cose da testare adesso”, ve lo garantisco.

7. Assegnare delle priorità alle idee di A/B testing

Raccogliere un elenco enorme di idee per fare A/B testing genera entusiasmo, ma non serve a decidere da dove iniziare. Vediamo come stabilirlo.

Esistono alcuni schemi per definire delle priorità, stabilendo in quale ordine eseguire i test A/B:

ICE

ICE sta perimpact, confidence and ease.

Impatto: se il test riesce, quale sarà l’impatto?
Fiducia: quanto siete fiduciosi che il test riuscirà?
Facilità: qual è la facilità di implementazione del test?

Per ognuno di questi fattori, va assegnato un punteggio da uno a dieci. Ad esempio, se si tratta di un test che riuscite a condurre facilmente da soli, senza l'aiuto di uno sviluppatore o di un designer, potete assegnargli un punteggio di facilità pari a 8. Ovviamente si tratta di un giudizio soggettivo. Se più persone conducono i test, la valutazione rischia di diventare arbitraria; perciò è utile predisporre delle linee guida che aiutino a dare valutazioni uniformi.

PIE

PIE sta perpotential, importance and ease.

Potenziale: quanto può essere migliorata la pagina?
Importanza: quanto è importante il traffico della pagina in questione?
Facilità: qual è la facilità di implementazione del test?

Ancora una volta, ogni fattore riceve un punteggio da uno a dieci. Ad esempio, se il test è destinato a raggiungere il 90% dei vostri visitatori, potreste assegnargli un punteggio di importanza pari a 8. La PIE è soggettiva come la ICE; quindi, delle linee guida possono essere utili anche per questo schema.

PXL

PXL è lo schema suggerito daConversion XLper stabilire delle priorità.

È un po’ diverso dagli altri due e più personalizzabile, il che porta a decisioni più obiettive. Invece di tre fattori, sono presenti domande chiuse (sì/no) e una domanda sulla facilità di implementazione del test.

Ad esempio, questo schema potrebbe prevedere domande come: “Il test è progettato per aumentare la motivazione?” In caso di risposta affermativa, il punteggio è 1. Mentre in caso di risposta negativa il punteggio è 0.

Potete saperne di più su questo schema e scaricare il foglio di calcolo daqui.

Categorie di idee

Ora sapete da dove iniziare. Tra l’altro, questi schemi possono anche aiutarvi a suddividere le vostre idee in varie categorie. Ad esempio, durante alcune ricerche sulle conversioni svolte di recente, ho creato una suddivisione tra idee da implementare, su cui indagare e da testare.

Da implementare: cambiamento da apportare senz’altro, perché è presente un errore o comunque la sua necessità è ovvia.
Su cui indagare: definire meglio il problema o la sua possibile soluzione.
Da testare: l'idea è solida e basata sui dati. Da testare!

Tra questo metodo per suddividere le idee in categorie e gli schemi per la definizione delle priorità, ora siete pronti per iniziare a fare A/B testing.

8. Corso di statistica accelerato per A/B testing

Prima di condurre un test, è importante aver delle nozioni di statistica. Lo so, la statistica di solito non è molto amata; ma pensate a questo come al corso obbligatorio che vi siete sforzati di seguire pur di laurearvi.

La statistica è una componente importante dell’A/B testing. Fortunatamente gli strumenti per i test hanno semplificato il lavoro di ottimizzazione; ma è fondamentale avere una conoscenza di base di ciò che accade dietro le quinte, per la successiva analisi dei risultati dei test.

Alex Birkett, Direttore di Marketing per lo Sviluppo diHubSpot, spiega:

Alex Birkett, HubSpot

“Quando si parla distatistica, non ci si riferisce ad un numero magico di conversioni o ad un semplice indicatore di “successo” o “fallimento”. Piuttosto, si tratta di un procedimento utilizzato per prendere decisioni difficili e per ridurre il rischio, gettando luce sul possibile esito di una decisione.

In tale ottica, penso sia davvero necessario conoscere le nozioni di base: media, varianza, campionamento, deviazione standard, regressione alla media e campione “rappresentativo”. Oltretutto, quando si inizia con l’A/B testing, queste conoscenze aiutano ad impostare alcune barriere specifiche volte a mitigare il più possibile l'errore umano”.

Cos'è la media?

È il valore medio. Il vostro obiettivo è trovare una mediarappresentativa.

Ad esempio, supponiamo siate alla ricerca del prezzo medio dei videogiochi. Per trovarlo, non sommerete il prezzo di ogni videogioco esistente al mondo per poi dividere l’importo totale per il numero di tutti questi videogiochi. Piuttosto, isolerete un piccolo campione, che sia rappresentativo di tutti i videogiochi del mondo.

Potreste finire per calcolare il prezzo medio su duecento videogiochi; e, se avete selezionato un campione rappresentativo, la media dei loro prezzi dovrebbe corrispondere al prezzo medio di tutti i videogiochi del mondo.

Cos'è la varianza?

È la variabilità media. Essenzialmente, maggiore è la variabilità, meno sarà accurata la previsione di un singolo punto dati attraverso la media.

Quindi, nell’esempio, indica quanto il prezzo medio si avvicina al prezzo reale di ogni singolo videogioco.

Che cos'è il campionamento?

Maggiore è la dimensione del campione, minore è la variabilità. In altri termini, più il campione è grande, più la media è accurata.

Ipoteticamente, se prendeste in esame un campione di duemila videogiochi, anziché di duecento, avreste una varianza inferiore e una media più precisa.

Cos’è la significatività statistica?

Ipotizzando che non vi siano differenze tra A e B, quanto spesso si assiste ad un diverso effetto per puro caso?

Più basso è il livello di significatività statistica, maggiore è la probabilità che la variante, sia pur “vincente”, non sia realmente migliore dell’originale.

In parole povere, un basso livello di significatività corrisponde a un’alta probabilità di “falso positivo”.

Si noti che la maggior parte degli strumenti di A/B testing segnalano la “significatività statistica” senza attendere il raggiungimento di una data prestabilita o della dimensione predeterminata del campione. È per questo che potreste notare l’oscillazione del test tra “statisticamente significativo” e “statisticamente insignificante”.

Peep Laja, fondatore del CXL Institute, desidera che più persone capiscano veramente la significatività statistica e perché essa sia importante:

Peep Laja, CXL Institute

“La significatività statistica non equivale alla validità del test, non è una regola di arresto. Raggiungere il 95% — o una percentuale superiore — di significatività statistica non significa molto, se non sono soddisfatte altre due più importanti condizioni:

1. Dimensioni sufficienti del campione in esame, sulla base di quanto predeterminato con l’apposita calcolatrice della grandezza del campione. In tal caso, l'esperimento è stato condotto su un numero sufficiente di persone per poter trarre delle conclusioni.

2. Durata sufficiente del test A/B per poter considerare rappresentativo il campione (inoltre la durata non dev’essere eccessiva, per evitare l'inquinamento del campione). Nella maggior parte dei casi, la durata ideale per un test A/B è di 2, 3 o 4 settimane; ciò in base a quanto serve per raggiungere la dimensione necessaria del campione”.

Cos'è la regressione alla media?

Quando iniziate il test, potreste notare delle fluttuazioni estreme.

La regressione alla media è il fenomeno per cui, se un valore è estremo nella prima misurazione, sarà probabilmente più vicino alla media nella seconda misurazione.

Se l 'unico motivo /崔ritenete completato联合国test è che ha raggiunto una significatività statistica, potreste trovarvi in presenza di un falso positivo. La vostra variante vincente probabilmente regredirà alla media nel tempo.

Cos'è la potenza statistica?

Supponendo che vi sia una differenza tra A e B, quanto frequentemente se ne rileva l'effetto?

Più bassa è la potenza statistica, maggiori sono le probabilità che la variante “vincente” non venga riconosciuta. Viceversa, più elevata è la potenza statistica, minore è il rischio che la variante “vincente” non venga riconosciuta. In realtà, tutto ciò che dovete sapere è che la maggior parte degli strumenti di A/B testing considerano standard una potenza statistica dell'80%.

Ton Wesseling, fondatore diOnline Dialogue, desidera che più persone sappiano cos’è la potenza statistica:

Ton Wesseling, Online Dialogue

“Molte persone si preoccupano dei falsi positivi. Noi ci preoccupiamo molto di più dei falsi negativi. Perché condurre esperimenti laddove la probabilità di trovare una prova che il vostro cambiamento positivo abbia un impatto è davvero bassa...?”

Quali sono le minacce esterne alla validità?

Esistono fattori esterni che minacciano la validità dei test A/B, tra cui:

Black Friday, festività natalizie e periodo deisaldi;
menzioni positive o negative della stampa;
lancio di importanti campagne a pagamento;
giorno della settimana;
cambio di stagione.

Ad esempio, ipotizziamo che abbiate in programma di condurre un test A/B nel mese di dicembre. In questo periodo, lo shopping natalizio può comportare un aumento del traffico sul vostro sito ecommerce. E le performance della variante “vincente” a dicembre potrebbero rivelarsi non buone in gennaio.

Perché?

A causa di una minaccia esterna alla validità: le vacanze.

Infatti avete fondato la vostra decisione su dati anomali. E in gennaio, una volta normalizzatasi la situazione, potreste restare sorpresi, scoprendo che la pagina selezionata non è quella che offre il rendimento migliore.

Accorgimenti per ridurre le minacce esterne alla validità

Non è possibile eliminare le minacce esterne alla validità. Tuttavia è possibile attenuarle:

conducendo i test per settimane complete (ad esempio, non avviate un test di lunedì terminandolo al venerdì);
includendo diversi tipi di traffico (ad esempio, non basate il test solo sul traffico a pagamento per poi usare i risultati in relazione al traffico di qualsiasi sorgente);
essendo consapevoli delle potenziali minacce.

9. Come impostare un test A/B

Prima di condurre un test, dovete disporre di una solida ipotesi. Ottimo, abbiamo appena terminato la lezione di matematica e ora passiamo a quella di scienze...

Ma non temete, non è nulla di complicato. Fondamentalmente, bisogna sottoporre allo split test un'ipotesi, non un'idea. Un'ipotesi è misurabile, aspira a risolvere uno specifico problema di conversione e si focalizza su intuizioni e non su convinzioni.

Bisogna sottoporre allo split test un'ipotesi, non un'idea.

Perscrivere un’ipotesi, uso sempre una formula presa in prestito da Hypothesis Kit diCraig Sullivan:

Avendo visto che [inserire dati/feedback della ricerca]
Mi aspetto che [il cambiamento che state testando] causerà [impatto che prevedete]
Lo misurerò con [metrica dati]

Facile, no? Tutto quel che dovete fare è riempire gli appositi campi e la vostra idea per un test A/B si trasformerà in un'ipotesi.

Scegliere uno strumento di A/B testing

Ora potete iniziare a scegliere uno strumento di A/B testing. I primi che vengono in mente di solito sonoGoogle Optimize,OptimizelyeVWO.

Si tratta di tre opzioni valide e affidabili.

Google Optimize: è gratuito, salvo alcune limitazioni per i test multivariati, che però non dovrebbero interessarvi se avete appena iniziato. Funziona in sinergia con Google Analytics, il che è un vantaggio.

Optimizely: permette di condurre i test meno elaborati con facilità, anche senza avere competenze tecniche.Stats Enginesemplifica l'analisi dei risultati dei test. Tra le tre opzioni, normalmente Optimizely è la più costosa.

VWO: dispone diSmartStatsper semplificare l'analisi. Inoltre, offre un ottimo editor WYSIWYG per principianti. In ogni piano VWO sono inclusi: mappa a colori, sondaggi sul sito, dati analitici sui moduli, ecc.

Anche nell'App Store di Shopifyabbiamo alcuni strumenti per A/B testing che potreste trovare utili.

Una volta selezionato uno strumento per A/B testing, basta registrarsi e seguire le istruzioni fornite. Il processo varia da strumento a strumento. In genere, tuttavia, vi verrà richiesto di installare uno片段sul vostro sito e impostare gli obiettivi.

10. Come analizzare i risultati di un test A/B

Poco fa abbiamo detto che scrivere un'ipotesi sposta l'attenzione dalle convinzioni alle intuizioni. Krista Seiden, Analytics Advocate e Product Manager di Google, spiega cosa significa:

Krista Seiden, Google

“L 'aspetto稍trascurato脂肪di测试A / B e L'opportunità di apprendere dalle varianti “perdenti”. Perciò, nei programmi di ottimizzazione che eseguo, ho preso l'abitudine di pubblicare un “report fallimenti”, in cui cito alcune tra le varianti “perdenti” più significative del quadrimestre e quel che ci hanno insegnato.

Una delle mie preferite in assoluto si riferiva a una campagna in corso da mesi. Siamo riusciti a sottoporre al test A/B la nuovalanding pagepoco prima della sua pubblicazione; ed è stato un bene, perché è stata miseramente bocciata dal test. Se avessimo effettivamente lanciato la pagina così com'era, avremmo subito notevoli perdite. Non solo abbiamo finito per far risparmiare all'azienda un sacco di soldi, ma siamo stati in grado di approfondire e fare alcune ipotesi (che abbiamo poi testato) sul perché la nuova pagina si fosse rivelata così scarsa. Questo ci ha resi dei marketer migliori e ci ha permesso di avere più successo nelle nuove campagne”.

Se costruite la vostra ipotesi correttamente, anche la variante perdente sarà un risultato positivo, permettendovi di ottenere conoscenze da utilizzare per i test futuri e in altre aree della vostra attività. Quindi, nell’analizzare i risultati del test A/B, dovete focalizzarvi sulla loro comprensione, non limitandovi a verificare se il test sia riuscito o meno. C'è sempre qualcosa da imparare, sempre qualcosa da analizzare. Non ignorate i dati ricavabili dalle varianti perdenti!

Se costruite la vostra ipotesi correttamente, anche la variante perdente sarà un risultato positivo.

Segmentazione nell’analisi dei risultati di un test A/B

La cosa più importante su cui soffermarsi è la necessità di segmentazione. Spesso un test fallisce nel suo complesso, ma riesce con almeno un segmento.

A cosa mi riferisco col termine “segmento”?

Aivisitatori:

nuovi e ricorrenti;
provenienti da iOS, Android, Chrome, Safari, desktop, tablet;
provenienti dai risultati di ricerca organici e a pagamento, o dai social media;
registrati sul sito.

Ora dovreste avere un’idea più precisa. Riprendendo la metafora utilizzata in passato per spiegare isegmenti: nell’esaminare i risultati nel vostro strumento di A/B testing, è come se guardaste un pacchetto di Smarties. Quel che dovete fare è separare le Smarties per colore, in modo da poter mangiare quelle rosse per ultime. Così facendo, potrete ricavare dai dati delle informazioni più profonde e segmentate.

È probabile che l'ipotesi risulti dimostrata in particolare rispetto ad alcuni segmenti. Anche questo vi fornisce un’informazione utile.