L'A/B testing (chiamato anche split testing) è una tecnica per confrontare in modo automatico due versioni (A e B, appunto) di una stessa email su una piccola porzione di destinatari, per poi inviare all'intero campione la versione che ha prodotto i migliori risultati rispetto ad un determinato obiettivo.
Le informazioni ricavate dai test A/B possono essere utilizzate per ottimizzare la campagna di emailing corrente e per perfezionare le campagne successive, in un processo di miglioramento continuo basato sulla verifica sperimentale di un'ipotesi che deve essere provata o confutata.
Come fare A/B testing e quali sono le variabili
Le variabili che possono incidere sulla performance di una campagna di email marketing e che possono essere testate tramite A/B test sono moltissime. Tra le più rilevanti, possono essere ricordate l'oggetto, il mittente, il contenuto testuale, il design, gli elementi “call to action” (inviti all'azione, testuali o grafici), il giorno e l'orario di invio. Affinché il test sia efficace, è importante che l'assunto da verificare definisca una sola variabile e che gli altri fattori restino invariati, in modo che non influiscano sui risultati.
Metriche e indicatori di valutazione dei risultati
Altrettanto fondamentale è la definizione di una metrica unica per la valutazione dell’esito dell'A/B test. I parametri generalmente considerati sono l'open rate (tasso di apertura), il click-through rate (tasso di click), il convertion rate (tasso di conversione) e il ROI (ritorno sugli investimenti o indice di redditività del capitale investito). Al momento di scegliere la metrica, occorre avere ben chiari l'obiettivo del test e il risultato cui si è interessati. Un errore molto comune, nell'utilizzo degli A/B test, è infatti la tendenza a guardare alla performance complessiva del test e non allo specifico parametro che si intende esaminare
Rendere i test A/B affidabili e attendibili
Per garantire l'attendibilità dell'A/B test, occorre che esso sia applicato ad un campione statisticamente significativo di utenti. L'entità del campione dipende, naturalmente, dalla dimensione complessiva della lista di invio. Su liste molto ampie (con almeno 10000 iscritti), il test viene in genere eseguito su una percentuale compresa tra il 10 e il 30%. Su liste più piccole (con poche centinaia di iscritti), al fine di ottenere risultati validi in termini statistici è consigliabile somministrare il test a tutti gli utenti. Benché la situazione ideale sarebbe avere due gruppi di test con caratteristiche socio-demografiche, geografiche, psicografiche e comportamentali simili, è comunque essenziale che le liste A e B vengano create in maniera del tutto casuale, sì da comprendere utenti eterogenei (più o meno attivi, con account di posta su ESP diversi etc.).
Al termine dell'A/B test, è consigliabile documentare con accuratezza tutto quanto è stato fatto – a partire dall'ipotesi, passando per le fasi strettamente operative, sino ad arrivare ai dati finali e alla loro interpretazione: si ha così uno storico dei parametri monitorati, dei risultati ottenuti e delle variazione delle performance delle campagne di emailing nel tempo. Concluso un test, si possono prendere in considerazione altre metriche e creare nuove ipotesi da testare, in un ciclo continuo di test e di ottimizzazione progressiva: la continuità e la ripetizione dei test sono essenziali per riuscire ad individuare le variabili principali che influiscono sull'efficacia di una campagna di email marketing.