Cosa sono i test A/B e come farli, con esempi pratici

Test A/B, ricerca sulle conversioni, prioritizzazione delle idee, analisi dei test e gestione degli archivi: scopri di più grazie agli esperti di Google, HubSpot e Shopify.

Sia che tu abbia appena avviato la tua attività o abbia già molta esperienza, è probabile che abbia visto innumerevoli articoli e risorse sui test A/B. Potresti già sottoporre a test gli oggetti delle tue email o i tuoi post sui social media.

Nonostante si sia parlato molto dei test A/B nel campo del marketing, molti imprenditori non si muovono con destrezza nella pratica. Il risultato? Decisioni aziendali importanti basate su risultati poco accurati, derivanti da test inadeguati.

I test A/B vengo spesso semplificati in modo eccessivo, soprattutto nei contenuti scritti per titolari di negozi. Qui troverai tutto ciò di cui hai bisogno per iniziare a mettere in pratica i diversi tipi di test A/B per l'ecommerce, spiegati nel modo più chiaro e utile possibile. I test A/B possono essere un punto di svolta per scegliere il giusto posizionamento del prodotto, aumentare le conversioni su una landing page e molto altro.

Che cosa sono i test A/B?

Un test A/B, noto anche come split test o bucket test, è il processo di confronto tra due versioni della stessa pagina web, email o risorsa digitale per determinare quale delle due raggiunge risultati prestazionali migliori in base al comportamento degli utenti.

È uno strumento utile per ottimizzare una campagna di marketing e comprendere meglio cosa convince il tuo pubblico target e favorisce la conversione. Un test A/B ti consente di trovare le risposte a domande aziendali importanti, ti aiuta ad aumentare i profitti dal traffico che hai già e pone le basi per una strategia di marketing basata sui dati.

Come funzionano i test A/B

• Definisci il tuo obiettivo. Stabilisci i tuoi obiettivi per il test A/B, ad esempio aumentare le conversioni, il numero di clic o le vendite complessive.
• Scegli l'elemento da sottoporre al test. Puoi testare titoli, immagini, oggetti di email, call to action (CTA), prezzi, layout, ecc.
• Crea una variante. Sviluppa due versioni dell'elemento: una versione A, ovvero quella originale, un metro di paragone, e una Versione B, cioè la nuova versione con le modifiche che desideri sottoporre al test, nota come “variante.” Nel contesto del marketing, devi mostrare la versione  A al 50% dei visitatori e la sua variante all’altro 50%.
• Esegui il test. Esponi ciascun gruppo alla stessa versione per un periodo di tempo predefinito. Ad esempio, se stai testando il pulsante CTA della homepage di un sito ecommerce, potresti ottenere abbastanza risultati, dal punto di vista statistico, con un test della durata di due settimane.
• Raccogli i dati. Monitora e misura le conversioni, i clic, i tassi d’interazione e le vendite per entrambe le versioni.
• Analizza i risultati. Confronta i risultati della versione A e quelli della versione B per determinare qual è quella più in linea con il tuo obiettivo. Vince la versione con il tasso di conversione più alto.
• Dichiara la vincitrice. Se la versione B ha il tasso di conversione più alto, devi considerarla vincente e usarla per il 100% dei visitatori. Questa versione diventerà la versione A per i test futuri, per i quali dovrai creare nuove varianti.

💡Una riflessione: spesso, il tasso di conversione di un test A/B misura il successo in modo imperfetto.

Ad esempio, se su una pagina fissi il prezzo di un articolo a 50 euro e sull'altra lo offri gratuitamente, non ottieni informazioni di grande valore. Al pari di qualsiasi altro strumento o strategia che usi per la tua azienda, il test A/B deve essere strategico.

Per questo motivo, dovresti tracciare il valore di una conversione fino alla vendita finale.

Quando dovresti condurre dei test A/B

Se gestisci un sito con traffico ridotto o un'app web o mobile, probabilmente i test A/B non sono l’iniziativa più adatta per l’ottimizzazione. Potresti ottenere un ritorno sull'investimento (ROI) più elevato conducendo test utente o parlando con i tuoi clienti, per esempio. Contrariamente a quanto si crede, l'ottimizzazione del tasso di conversione non inizia e finisce con i test.

Perché dalle due alle quattro settimane? Ricorda: devi condurre i test per almeno due cicli di business completi. Di solito, ciò si traduce in due o quattro settimane. Forse ora starai pensando: “Nessun problema, eseguirò il test per più di due o quattro settimane per ottenere un campione delle dimensioni necessarie”. Neanche questo sarebbe efficace.

Più è lungo il periodo di durata di un test, maggiori sono le probabilità che la validità esterna sia compromessa e che si verifichi un “inquinamento” del campione. Ad esempio, i visitatori potrebbero disabilitare i cookie e finire per reinserirsi nel test A/B come nuovi visitatori. Oppure, qualcuno potrebbe passare dallo smartphone a un desktop e visualizzare una versione anziché un’altra.

Essenzialmente, un test condotto per un periodo troppo lungo può portare a risultati distorti, al pari di quando si conduce per un lasso di tempo troppo breve.

Vale la pena investire in un test per i negozi che possono ottenere un campione delle dimensioni necessarie in due o quattro settimane. Gli altri negozi, invece, dovrebbero considerare altre forme di ottimizzazione finché il loro traffico non aumenta.

Delinea il tuo processo di test A/B

Definisci le priorità delle tue idee per il test A/B

Un lungo elenco di esempi di test A/B è entusiasmante, ma poco utile per decidere cosa sottoporre a test. Da dove dovresti iniziare? Devi ordinare le tue idee per priorità.

Ci sono diversi framework comuni che puoi usare per definire le priorità per i test A/B:

• ICE. ICE è l’acronimo di Impact, Confidence and Ease (impatto, sicurezza e facilità). Ognuno di questi tre fattori riceve un punteggio da 1 a 10. Ad esempio, se puoi eseguire il test in modo autonomo, senza l'aiuto di uno sviluppatore o di un designer, alla facilità potresti dare un 8. Qui usi il tuo metro di giudizio, e se c’è più di una persona a condurre i test, i punteggi potrebbero diventare troppo soggettivi. Quindi, è utile disporre di una serie di linee guida per ottenere punteggi più obiettivi.
• PIE. PIE sta per Potential, Importance and Ease (potenziale, importanza e facilità). Ancora una volta, ogni fattore riceve un punteggio da 1 a 10. Ad esempio, se il test raggiungerà il 90% del tuo traffico, all'importanza potresti dare un 8. Il framework PIE è soggettivo quanto l’ICE, quindi anche anche in questo caso possono essere utili delle linee guida.
• PXL. Il PXL è il framework della piattaforma educativa CXL. È un po' diverso e più personalizzabile, quindi porta a decisioni più oggettive. Anziché tre fattori, troverai delle domande sì/no e una domanda sulla facilità di implementazione. Ad esempio, il framework potrebbe chiedere: “Il test è progettato per aumentare la motivazione?”. Se la risposta è affermativa, si attribuisce 1 punto; altrimenti, si ottiene uno 0. Se vuoi saperne di più su questo framework e scaricare un foglio di calcolo, puoi visitare questa pagina (in inglese).

Quando ti fai un’idea sul punto da cui iniziare, può anche esserti utile dividere le tue idee per categoria. Ad esempio, per alcune ricerche sulle conversioni, potresti usare tre categorie: implementazione, approfondimento e test.

• Implementazione. Fallo e basta. O non funziona, o è lampante.
• Approfondimento. Richiede un’ulteriore riflessione per definire il problema o restringere l’insieme delle soluzioni fino a trovare quella giusta.
• Test. L'idea è valida e si basa sui dati. Testala!

Tra la divisione per categoria e la definizione delle priorità, avrai tutto pronto per iniziare a condurre i test A/B.

Sviluppa un'ipotesi

Prima di testare qualcosa, devi avere un'ipotesi; ad esempio: “Se riduco il costo della spedizione, i tassi di conversione aumenteranno”.

Non preoccuparti: formulare un'ipotesi in questa situazione non è così complicato come potrebbe sembrare. Fondamentalmente, devi testare un'ipotesi, non un'idea. Un'ipotesi è misurabile, aspira a far fronte a un problema di conversione specifico e si concentra sulle informazioni e i dati ottenuti, piuttosto che sui successi.

Quando scrivi un'ipotesi, è utile usare una formula presa dall’Hypothesis Kit di Craig Sullivan (in inglese):

• Siccome vedi [inserisci dati/feedback ottenuti con la ricerca],
• Ti aspetti che [modifica che stai testando] porti a [l’impatto che prevedi], e
• Misurerai tutto questo usando [metrica dei dati].

Facile, giusto? Tutto ciò che devi fare è usare i suggerimenti tra parentesi per riempire gli spazi vuoti e la tua idea per il test A/B si è trasformata in un'ipotesi.

Scegli uno strumento di test A/B

Ora puoi iniziare a scegliere uno strumento di test A/B o un servizio di split testing. Tra le opzioni più comuni, ci sono Optimizely e VWO, entrambe ottime e sicure.

Ecco ulteriori informazioni su queste popolari soluzioni per i test A/B:

• Optimizely. Piattaforma facile da usare per i test di entità minore, anche senza competenze tecniche. Inoltre, offre strumenti che semplificano l’analisi dei risultati dei test (link in inglese). Tra le due opzioni elencate, normalmente Optimizely è la più costosa.
• VWO. VWO semplifica l’analisi con SmartStats (in inglese). Inoltre, ha un ottimo editor WYSIWYG per principianti. Tutti i piani VWO includono mappe di calore, sondaggi in loco, analisi dei moduli e altro ancora.

Anche nello Shopify app store ci sono degli strumenti di test A/B che potresti trovare utili.

Una volta selezionato uno strumento di test A/B o un software di split testing, compila il modulo di registrazione e segui le istruzioni fornite. Il processo varia da strumento a strumento, ma solitamente ti verrà chiesto di installare uno snippet sul tuo sito e di impostare degli obiettivi.

Decidi come analizzare i risultati

Se formuli correttamente la tua ipotesi, anche un’opzione “perdente” si rivela vincente, perché otterrai informazioni e dati che potrai usare per test futuri e in altre aree della tua attività. Quindi, quando analizzi i risultati del tuo test, devi concentrarti su quello che ti permette di capire, non sul risultato positivo o negativo del test. C'è sempre qualcosa da imparare e analizzare. Non scartare del tutto le idee e i test con risultati negativi!

La cosa più importante da notare qui è la necessità di segmentare. Un test potrebbe portare a un risultato negativo nel suo complesso, ma è probabile che abbia ottenuto ottimi risultati con almeno un segmento di pubblico.

Ecco alcuni esempi di segmenti di pubblico:

• Nuovi visitatori
• Visitatori ricorrenti
• Visitatori da iOS
• Visitatori da Android
• Visitatori da Chrome
• Visitatori da Safari
• Visitatori da desktop
• Visitatori da tablet
• Visitatori dal traffico organico
• Visitatori dal traffico a pagamento
• Visitatori dai social media
• Acquirenti registrati

Hai capito l'idea, giusto?

È probabile che l'ipotesi si sia dimostrata corretta per determinati segmenti, e anche questo ti dice qualcosa.

L'analisi va ben oltre la constatazione che il test ha dato un risultato negativo o positivo. Segmenta i tuoi dati per trovare quelle informazioni utili che si celano sotto la superficie.

I software di test A/B non faranno questa analisi per te, quindi si tratta di un'importante capacità che devi sviluppare nel tempo.

Archivia i risultati dei tuoi test

Immagina di eseguire il tuo primo test domani. Tra due anni, ricorderai i dettagli di quel test? È poco probabile.

È per questo che è importante archiviare i risultati dei test A/B. Senza un archivio ordinato, tutte quelle informazioni che hai ottenuto e otterrai andranno perse. Inoltre, rischi di testare la stessa cosa due volte se non ne salvi i dati.

Non c'è un modo “giusto” per farlo, però. Potresti usare uno strumento come Effective Experiments, oppure usare un semplice foglio di calcolo. Dipende davvero da te, soprattutto quando stai muovendo i primi passi.

Qualunque strumento decida di usare, ricordati di tenere traccia dei seguenti elementi:

• L'ipotesi sottoposta a test
• Degli screenshot della versione A e della variante
• Se la variante si è rivelata vincente o meno
• Le informazioni ottenute con l'analisi

Con la crescita della tua attività, questo archivio si rivelerà davvero utile, non solo per te, ma anche per i tuoi nuovi dipendenti e consulenti/stakeholder.

Esempi di test A/B

Analisi tecnica

Il tuo negozio si carica in modo rapido e corretto su ogni browser? Su ogni dispositivo? Potresti avere uno smartphone nuovo di zecca, ma sicuramente da qualche parte c’è qualcuno che usa ancora un cellulare a conchiglia del 2005. Se il tuo sito non funziona in modo veloce e corretto, sicuramente non ottiene i tassi di conversione per cui ha il potenziale.

Sondaggi in loco

Si tratta di sondaggi che compaiono mentre i visitatori navigano nel tuo negozio. Ad esempio, un sondaggio in loco potrebbe chiedere ai visitatori che hanno passato un po’ di tempo sulla stessa pagina se c'è qualcosa che li trattiene dall'effettuare subito un acquisto. Se la risposta è affermativa, di cosa si tratta? Puoi usare questi dati qualitativi per migliorare gli elementi testuali e il tasso di conversione.

Interviste ai clienti

Niente può sostituire una conversazione telefonica con i tuoi clienti. Perché hanno scelto il tuo negozio e non quelli della concorrenza? Quale problema stavano cercando di risolvere quando sono arrivati sul tuo sito? Ci sono un milione di domande che potresti porre per capire bene chi sono i tuoi clienti e qual è il vero motivo per cui comprano da te.

Sondaggi per i clienti

I sondaggi per i clienti sono questionari esaustivi inviati a persone che hanno già effettuato un acquisto (quindi, non i semplici visitatori). Quando prepari un sondaggio per i clienti, lo fai definire chi sono i tuoi clienti, quali sono i loro problemi, quali esitazioni hanno avuto prima di acquistare e quali parole e frasi usano per descrivere il tuo negozio.

Analisi dei risultati di analisi

I tuoi strumenti di analisi tracciano i tuoi dati e creano report in modo corretto? Potrebbe sembrare sciocco, ma ti sorprenderebbe sapere quanti strumenti di analisi sono configurati in modo errato. L'analisi dei risultati di analisi ti serve per capire come si comportano i tuoi visitatori. Ad esempio, potresti concentrarti sul funnel: dove si trovano le maggiori perdite nel funnel di conversione? In altre parole, dov’è che la maggior parte delle persone abbandona il tuo funnel? Questo è un buon punto di partenza per i test.

User testing

Con questo tipo di test, in un esperimento controllato e retribuito, osservi delle persone reali mentre cercano di portare a termine determinate attività sul tuo sito. Ad esempio, potresti chiedere loro di trovare un videogioco nella fascia di prezzo tra i 40 e i 60 euro e di aggiungerlo al carrello. Mentre svolgono queste attività, devono raccontare ad alta voce le loro azioni e i loro pensieri.

Session replay

I session replay sono simili allo user testing, ma si ha a che fare con persone reali con la reale intenzione di acquistare con soldi reali. Osserverai i tuoi visitatori mentre navigano nel tuo sito. Cos’è che hanno difficoltà a trovare? Cosa genera un sentimento di frustrazione? Cosa li confonde?

Ci sono anche altri tipi di ricerca, ma inizia a scegliere il miglior metodo di test A/B per te. Se ne provi alcuni, avrai un'enorme lista di idee basate sui dati da testare.

I processi di test A/B dei professionisti

Ora che hai letto un tutorial standard sui test A/B, diamo un'occhiata ai processi specifici di alcuni professionisti.

Krista Seiden, KS Digital

Il mio processo per i test A/B su web e app inizia dall'analisi. Secondo me, è questo il cuore pulsante di qualsiasi buon programma di test. Nella fase di analisi, l'obiettivo è esaminare i tuoi dati analitici, i dati dei sondaggi o dell'esperienza dei clienti, o qualsiasi altra fonte di informazioni sui clienti che potresti avere a disposizione per capire dove si trovano le tue opportunità di ottimizzazione.

Una volta che ricavi un buon flusso di idee dalla fase di analisi, puoi passare a formulare delle ipotesi su cosa potrebbe andare storto e su come potresti correggere o migliorare queste aree.

Successivamente, è il momento di preparare e condurre i tuoi test. Assicurati di che abbiano una durata ragionevole (di solito si tratta di due settimane, per avere la certezza di tenere conto delle variazioni settimanali o di eventuali anomalie), e quando hai abbastanza dati, analizza i risultati per determinare qual è la soluzione vincente.

In questa fase, è importante anche prendersi del tempo per analizzare le versioni perdenti: cosa puoi imparare da queste variazioni?

Infine, (e potresti raggiungere questa fase solo dopo aver gettato le basi per un buon programma di ottimizzazione) è il momento di considerare la personalizzazione. Questa non richiede necessariamente un set di strumenti sofisticati, ma può derivare dai dati sugli utenti di cui disponi.

La personalizzazione delle strategie e iniziative di marketing può essere semplice, come indirizzare il contenuto giusto alle località giuste, o complessa, come definire target in base alle azioni individuali degli utenti. Non tuffarti subito nella parte della personalizzazione: prima devi dedicare abbastanza tempo alle fasi di base.

Alex Birkett, Omniscient Digital

A un macrolivello, cerco di seguire questo processo:

• Raccolgo dati e mi accerto che le implementazioni analitiche siano accurate.
• Analizzo i dati e trovo delle informazioni utili.
• Trasformo queste informazioni in ipotesi.
• Definisco le priorità in base all'impatto e alla facilità, ottimizzando l'allocazione delle risorse (soprattutto quelle tecniche).
• Eseguo un test (seguendo le best practice dal punto di vista statistico, nella misura delle mie conoscenze e capacità).
• Analizzo i risultati e li uso per determinare se implementare o meno la versione testata.
• In base ai risultati, ripeto il tutto.

In parole più semplici: ricerca, esegui test, analizza, ripeti.

Sebbene questo processo possa deviare o cambiare in base al contesto (sto testando una funzionalità critica per la mia attività? Un CTA di un post del blog? Qual è il profilo di rischio? Qual è l'equilibrio tra innovazione e mitigazione del rischio?), è abbastanza applicabile ad aziende di qualsiasi dimensione o tipo.

Il punto è che questo processo è agile, ma raccoglie anche abbastanza dati, sia dal feedback qualitativo dei clienti che dalle analisi quantitative, per poter trarre idee migliori e definire meglio le priorità in modo da poter ottimizzare il traffico verso il tuo negozio online.

Ton Wesseling, Online Dialogue

La prima domanda a cui rispondiamo sempre quando vogliamo ottimizzare un percorso dell’utente è: dove si colloca questo prodotto o servizio nel modello ROAR che abbiamo creato in Online Dialogue? Sei ancora nella fase di rischio, in cui potremmo fare molte ricerche ma non possiamo convalidare i nostri risultati con test A/B online (meno di 1.000 conversioni al mese), o sei nella fase di ottimizzazione? O anche oltre?

• Rischio: fase con molta ricerca, che si tradurrà in qualcosa, ad esempio un punto cardine del modello di business o un progetto completamente nuovo con una nuova proposta di valore.
• Ottimizzazione: fase con grandi esperimenti che ottimizzeranno la proposta di valore e il modello di business, oltre a piccoli esperimenti per convalidare le ipotesi sul comportamento degli utenti, che costruiranno le basi per modifiche ai progetti più ampie.
• Automazione: ti rimane ancora del potere di sperimentazione (visitatori), il che significa che non è necessario il tuo pieno potenziale di test per convalidare il tuo percorso dell’utente. La parte rimanente andrebbe usata per crescere più velocemente ora (senza focalizzarti sul lungo termine), e puoi automatizzare ciò eseguendo bandit/usando algoritmi.
• Ripensa: smetti di aggiungere molte ricerche, a meno che non si tratti di qualcosa di nuovo.

Quindi, i test A/B su web o app sono importanti solo dalla fase di ottimizzazione ROAR in poi (fino alla fase “ripensa”).

Il nostro approccio per condurre gli esperimenti è il modello FACT & ACT, l’anagramma inglese di trova, analizza, crea, testa, analizza, combina, racconta.

La ricerca che facciamo si basa sul nostro modello delle 5V: vista, voce, validato, verificato e valore.

Raccogliamo tutte queste informazioni per formulare un'ipotesi principale supportata dalla ricerca, che a sua volta porterà a delle sotto-ipotesi che saranno ordinate per priorità in base ai dati raccolti con test A/B su desktop o dispositivi mobili. Maggiore è la probabilità che l'ipotesi sia vera, più alto sarà il suo punteggio.

Una volta che apprendiamo se la nostra ipotesi è vera o falsa, possiamo iniziare a combinare ciò che abbiamo appreso e a fare passi più grandi riprogettando/riallineando parti più ampie del percorso dell’utente e del cliente. Tuttavia, a un certo punto, tutte le implementazioni vincenti porteranno a un massimo locale. Poi dovrai fare un passo più grande per poter raggiungere il massimo potenziale globale.

Naturalmente, le principali informazioni saranno diffuse in tutta l'azienda, il che porterà a tutti i tipi di iniziative di ottimizzazione e innovazione più ampie, sulla base delle informazioni validate nella prima parte.

Julia Starostenko, Pinterest

Lo scopo di un esperimento è convalidare che le modifiche da apportare a una pagina web esistente avranno un impatto positivo sull’azienda.

Prima di iniziare, è importante determinare se eseguire un esperimento è davvero necessario. Considera il seguente scenario: c'è un pulsante con un tasso di clic estremamente basso. Sarebbe quasi impossibile ottenere risultati prestazionali minori da questo pulsante, quindi convalidare l'efficacia di una modifica proposta (cioè, eseguire un esperimento) non è necessario.

Allo stesso modo, se la modifica proposta è minima, probabilmente non vale la pena perdere tempo per preparare, eseguire e concludere un esperimento. In questo caso, le modifiche dovrebbero semplicemente essere implementate per tutti e si può monitorare il rendimento del pulsante.

Se si determina che un esperimento sarebbe vantaggioso, il passaggio successivo è definire le metriche aziendali che andrebbero migliorate (ad esempio, aumentare il tasso di conversione di un pulsante). Poi, ci assicuriamo che i dati siano raccolti in modo corretto.

Una volta completato tutto ciò, si divide il pubblico in due gruppi, in modo casuale: un gruppo vede la versione esistente del pulsante, mentre l'altro visualizza la nuova versione. Si monitora il tasso di conversione di ciascun gruppo e, una volta raggiunto un numero di dati sufficiente dal punto di vista statistico, si determinano i risultati dell'esperimento.

Peep Laja, CXL

I test A/B fanno parte di un quadro più ampio di ottimizzazione delle conversioni. Secondo me, per l'80% si tratta di ricerca, mentre i test sono rappresentati da una percentuale del 20%. La ricerca sulle conversioni ti aiuterà a determinare cosa sottoporre a test per iniziare.

Il mio processo di solito è il seguente (riassunto in modo semplificato):

1. Conduco una ricerca sulle conversioni usando un framework come ResearchXL per identificare i problemi sul sito.
2. Scelgo un problema ad alta priorità (uno che influisce su una grande parte degli utenti e rappresenta un problema importante) e penso al maggior numero di soluzioni possibili. Devi basare il tuo processo di ideazione sulle informazioni ottenute con la tua ricerca sulle conversioni. Determina su quale dispositivo vuoi eseguire il test (devi eseguire test A/B mobile separati da desktop).
3. Determino quante varianti posso testare (in base al livello di traffico/transazioni) e poi scelgo una o due idee, le migliori, per una testare le possibili soluzioni mettendole a confronto con la versione A.
4. Creo wireframe degli elementi specifici (scrivo il copy, apporto le modifiche di design, ecc.). A seconda dell'ampiezza delle modifiche, potresti anche avere bisogno dell’aiuto di un designer per progettare nuovi elementi.
5. Faccio implementare gli elementi dal mio sviluppatore front-end nel mio strumento di test. Configuro le integrazioni necessarie (Google Analytics) e imposto degli obiettivi appropriati.
6. Conduco un controllo di qualità sul test (i test inefficienti sono di gran lunga il peggior nemico dei test A/B) per assicurarmi che funzioni con ogni combinazione browser/dispositivo.
7. Avvio il test!
8. Una volta che il test è completato, conduco un'analisi post-test.
9. A seconda dell'esito, implemento la versione vincente o testo qualcos'altro.

Errori comuni nei test A/B

Testare troppe varianti contemporaneamente

Quando confronti due variabili contemporaneamente, potresti non essere in grado di determinare quale modifica ha causato l'effetto.

Immagina di voler ottimizzare una landing page. Invece di testare solo un titolo, sottoponi a test:

• Il testo della call-to-action
• Il colore del pulsante CTA
• Le immagini di intestazione
• I titoli

I tassi di conversione aumentano, ma non puoi determinare grazie a quale delle modifiche apportate. Se testi una variabile alla volta, potresti isolare l'impatto di ciascuna modifica e ottenere risultati più precisi.

💡Una riflessione: un test con più variabili è un'opzione valida se vuoi capire come interagiscono tra di loro più variabili, ma per eseguire un test di questo tipo hai bisogno di più traffico e di una pagina già ottimizzata, in modo da apportare miglioramenti incrementali. Il processo è molto più complesso rispetto all'esecuzione di un test A/B.

Dimensione del campione insufficiente

L'affidabilità dei risultati del tuo test A/B dipende dalla dimensione del campione usato. Campioni piccoli possono causare falsi positivi e falsi negativi, rendendo difficile capire se le differenze sono il risultato delle tue modifiche o della casualità.

Immagina di testare due versioni di una pagina prodotto per vedere quale porta a tassi di acquisto più elevati. Dividi il traffico, ma raggiungi solo 100 visitatori per la versione A e 100 visitatori per la versione B.

Se la versione A ha un tasso di conversione del 6% e la versione B ne ha uno del 5%, potresti pensare che la prima sia migliore. Tuttavia, con solo 100 visitatori per versione, il risultato non è significativo dal punto di vista statistico. È possibile che, se avessi condotto il test con più visitatori, i risultati sarebbero stati diversi.

Il modo migliore per determinare le dimensioni del campione più appropriate è usare un apposito calcolatore.

Test dalla durata troppo breve

Esegui il tuo test A/B per almeno un ciclo aziendale completo, idealmente due. Non interromperlo solo perché hai raggiunto un volume significativo dal punto di vista statistico: dovrai anche raggiungere le dimensioni del campione prestabilite. Infine, non dimenticare di eseguire tutti i test con incrementi di intere settimane.

Perché due cicli aziendali completi? Per iniziare, due cicli ti aiutano a tenere conto dei seguenti aspetti:

1. Acquirenti che “hanno bisogno di pensarci su”.
2. Fonti di traffico diverse (Facebook, newsletter via email, traffico organico, ecc.)
3. Anomalie. Ad esempio, la tua newsletter via email del venerdì.

Due cicli aziendali sono generalmente sufficienti per ottenere informazioni preziose sul comportamento degli utenti e del tuo pubblico target.

Se hai usato qualche tipo di strumento di test A/B per le landing page, probabilmente hai già familiarità con la piccola icona verde che indica un volume significativo dal punto di vista statistico.

Purtroppo, per molti, questo è il segnale universale che indica “il test è ben cotto, portiamolo a tavola”. Come leggerai di seguito, se è stato raggiunto un volume significativo dal punto di vista statistico, non significa che dovresti interrompere il test.

Trascurare la segmentazione degli utenti

Se non consideri diversi segmenti di utenti, ottieni risultati generalizzati che potrebbero non essere validi per tutti.

È utile segmentare gli utenti per demografia, comportamento o altri fattori rilevanti. Ciò che funziona per i nuovi utenti potrebbe non funzionare per quelli abituali. Senza la segmentazione, fai di tutti i gruppi di utenti un unico fascio e metti a rischio l'integrità del tuo test.

Ottimizza il test A/B per la tua azienda

Hai il processo, hai il potere in mano! Quindi, vai a procurarti il miglior software di test A/B e inizia a testare il tuo negozio. Prima che tu te ne accorga, le informazioni e i dati che ne ottieni si tradurranno in un incremento dei soldi in banca.

Se desideri saperne di più sull'ottimizzazione, potresti seguire un corso gratuito, come il corso di test A/B di Google su Udacity (in inlgese).