Ti ricordi il tuo primo AB test sulle email? Io mi sentivo contemporaneamente entusiasta e terrorizzato perché sapevo che avrei dovuto utilizzare effettivamente qualcosa di quello che avevo imparato in statistica quando ero all’università!

Ad esempio, sapevo di aver bisogno di una dimensione del campione abbastanza grande per eseguire il test. Sapevo che avevo bisogno di eseguire il test abbastanza a lungo per ottenere risultati statisticamente significativi.

…Ma praticamente…Non ero sicuro di quanto fosse “abbastanza grande” per le dimensioni del campione e  quanto tempo fosse “abbastanza” per periodi di prova…

Ho cercato le risposte in Google e ho scoperto che non ero il solo ad avere questi dubbi. Per questo, dopo essermi chiarito le idee e aver fatto la giusta esperienza, ho pensato di rispondere a queste domande in questo post in modo pratico. Alla fine di questo post, dovresti essere in grado di sapere determinare il campione e i tempi per il tuo prossimo AB test.

Teoria contro realtà nell’AB test

In teoria, per determinare un vincitore tra Variante A e Variante B, è necessario attendere fino ad avere un numero sufficiente di risultati per vedere se c’è una differenza statisticamente significativa tra le due. A seconda della vostra società, la dimensione del campione, e come si esegue l’AB test,  risultati statisticamente significativi si potrebbero ottenere in ore o giorni o settimane. In teoria, non si deve limitare il tempo in cui si stanno raccogliendo i risultati.

Per molti AB test l’attesa non è un problema. Ad esempio per il titolo su una pagina di destinazione.

Ma sulle e-mail, l’attesa può essere un problema – per diverse ragioni pratiche:

1) ogni invio di email ha un pubblico definito
A differenza di una pagina di destinazione (dove si può continuare a raccogliere nuovi membri del pubblico nel corso del tempo), una volta che si invia un AB test di email questo è tutto – non si possono “aggiungere” più persone quel test A/B.  Quello che di solito si fa in un AB test di email è inviare la mail alla parte più piccola della vostra lista, necessaria per ottenere risultati statisticamente significativi, scegliere un vincitore, e quindi inviare la variazione vincente al resto della lista.

2) l’esecuzione di un programma di email marketing significa che stai inviando almeno qualche email a settimana.
Se si spende troppo tempo a raccogliere i risultati, si può perdere l’invio della prossima email – che potrebbe avere effetti peggiori di aver inviato una mail non-statisticamente significativa.

3) gli invii di email sono spesso progettati per essere tempestivi
Le vostre e-mail marketing sono ottimizzate per fornire informazioni tempestive. Quindi, se si attende per la tua email un risultato pienamente statisticamente significativo, si potrebbe perdere di essere tempestivi e pertinenti – che potrebbe sconfiggere lo scopo del vostro invio.

Ecco perché i programmi di AB test email hanno un “timing” così impostato: Alla fine di quel lasso di tempo, il risultato statisticamente significativo, una variante (che si sceglie prima del tempo) verrà inviato al resto del lista.

Come definire il tuo campione

Come determinare nella realtà la dimensione del campione e la tempistica necessaria per il vostro prossimo email AB test?

Come ho già detto, ogni prova di email può essere inviata solo a un pubblico limitato – quindi è necessario capire come massimizzare i risultati di tale AB test.

Per fare questo, è necessario capire la parte più piccola della vostra lista, necessaria per ottenere risultati statisticamente significativi.

Valutare se si dispone di un numero sufficiente di contatti
Per effettuare un AB test su un campione della vostra lista, è necessario disporre di almeno 1.000 contatti. Se si dispone di meno contatti, la percentuale della vostra lista di cui avete bisogno per l’AB test per ottenere risultati statisticamente significativi diventa sempre più grande.

Ad esempio, per ottenere risultati statisticamente significativi da una piccola lista, potrebbe essere necessario testare l’85% o il 95% della vostra lista.

Come è facile immaginare, l’A/B Test richiede tempo, pazienza e qualche risorsa da investire. Per questo è consigliato per campagne e-mail rivolte a un certo volume di indirizzi, nell’ordine delle MIGLIAIA.
Se i numeri non ci sono, non è possibile neanche estrarre un campione significativo a cui inviare i test, e i risultati sarebbero comunque poco illuminanti.

I due campioni A/B devono essere omogenei e scelti in modo del tutto CASUALE. Se li scegliamo in base a qualche caratteristica particolare (per sesso, nazionalità, ecc.), il campione potrebbe non rappresentare più l’intero target e produrre risultati distorti, di scarsa utilità.

Come scegliere il periodo di tempo giusto per il tuo AB test

Devi capire quanto tempo sarà necessario per eseguire il tuo AB test prima di inviare la versione vincente al resto della lista. Si devono assolutamente utilizzare i dati del passato per prendere decisioni migliori. Ecco come si può fare.

Capire quando la tua e-mail viene aperta. Ad esempio, qual è la percentuale di click totali nel tuo primo giorno? Se hai trovato che si ottiene il 70% dei clic nelle prime 24 ore, e poi 5% ogni giorno dopo, sarebbe meglio ritardare i risultati per raccogliere un po’ di dati aggiuntivi.

Quindi, tocca a te decidere che cosa fare dopo. Se si dispone di un campione abbastanza grande e hai trovato un vincitore statisticamente significativo alla fine del periodo di tempo di prova, molti programmi di email marketing invieranno automaticamente e immediatamente la variazione vincente.

Ti è stato utile questo articolo? Lascia un commento!