Il test A/B per la ricerca è diverso

Il test A/B è uno strumento fondamentale per migliorare i prodotti di ricerca. Sebbene il test A/B abbia dei limiti e non dovrebbe essere l'unico metodo analitico da utilizzare, è lo strumento singolo più prezioso e versatile per determinare se l'impatto di una modifica sul prodotto di ricerca è positivo.

Decidere di effettuare un test A/B di ricerca è solo il primo passo.

Non esiste un unico modo per eseguire i test A/B per la ricerca. Devi decidere se il test confronterà la percentuale di clic (CTR), il rango reciproco medio (MRR) dei clic, il tasso di conversione , le entrate o qualche altra metrica di successo della ricerca. Devi anche determinare per quanto tempo eseguire ogni test, considerando non solo la necessità di stabilire la significatività statistica ma anche la possibilità di un effetto novità . La ricerca di test A/B non è solo un interruttore da attivare: è una scienza.

Il modo in cui esegui i test A/B influirà sulle modifiche che decidi di testare.

Se utilizzi il test A/B per determinare quali modifiche di ricerca avviare, il tuo approccio al test A/B avrà implicazioni significative per i tipi di modifiche che decidi di sviluppare, testare e infine lanciare.

In particolare, l'obiettivo che imposti per un test A/B determina per quanto tempo deve essere eseguito il test prima che tu possa valutarne il successo con significatività statistica. Obiettivi più aggressivi richiedono meno tempo per il test: ad esempio, è molto più semplice, sulla scala dei giorni rispetto ai mesi, verificare se un test raddoppia la conversione piuttosto che aumentare la conversione dell'1%.

Tuttavia, è difficile sviluppare modifiche che raggiungano obiettivi aggressivi: dopotutto, se fosse facile raddoppiare il tasso di conversione, lo avresti già fatto! Di conseguenza, il ROI più elevato spesso deriva dal testare molti piccoli miglioramenti incrementali , ognuno dei quali mira a una piccola parte delle query di ricerca. Devi baciare molte rane per trovare un principe, quindi la strategia migliore è baciare quante più rane possibile, il più velocemente possibile .

Ma non vogliamo eseguire un test per mesi solo per determinare se ha successo. Come utilizziamo i test A/B per mantenerci onesti pur ottenendo i vantaggi di un miglioramento rapido, mirato e incrementale?

Soluzione: definire l'ambito dei test A/B di ricerca in base alle query di ricerca che interessano.

I test A/B per la ricerca assegnano casualmente gli utenti ai gruppi di trattamento e confrontano le prestazioni dei gruppi. Ma i test A/B per la ricerca hanno una sfumatura importante: non tutte le query di ricerca sono interessate dal test. Come abbiamo appena discusso, alcuni dei lavori con il ROI più elevato per migliorare la ricerca hanno successo prendendo di mira solo una piccola parte delle query di ricerca.

Per rendere concreta questa sfumatura, consideriamo un test A/B che abbia come target il 10% delle query di ricerca con l'obiettivo di ottenere un aumento delle conversioni del 5% per tali query. Ciò si tradurrebbe in un aumento delle conversioni complessivo dello 0,5% per il sito. Un aumento delle conversioni dello 0,5% potrebbe non sembrare molto, ma per un importante rivenditore si traduce in milioni di dollari all'anno.

Come discusso in precedenza, la dimensione dell'obiettivo di miglioramento determina per quanto tempo deve essere eseguito il test prima che tu possa valutarne il successo con significatività statistica. Nel nostro esempio, stabilire se un test raggiunge un aumento delle conversioni del 5% sul 10% delle query richiede molto meno tempo che stabilire se il test raggiunge un aumento delle conversioni dello 0,5% sul 100% delle query: giorni anziché mesi. Puoi esplorare tu stesso questi numeri utilizzando un ingegnoso calcolatore di test A/B online .

Fai attenzione: determinare l'ambito di un test A/B può essere sottile.

Considerato quanto sopra, è chiaro che vogliamo restringere il più possibile l'ambito dell'analisi di un test A/B. Ma dobbiamo stare attenti a non essere così ristretti da invalidare il test.

In particolare, dovresti definire l'ambito di un test A/B di ricerca in termini di sessioni di ricerca piuttosto che di query di ricerca. In caso contrario, scoprirai spesso che i miglioramenti sulle query di ricerca interessate dal tuo test spesso vanno a scapito delle prestazioni su altre query nelle stesse sessioni di ricerca. Non vuoi derubare Peter per pagare Paul.

In generale, è necessario considerare i modi in cui il test può influire sulle query al di fuori dell'ambito previsto del test. I test A/B possono influenzare il comportamento all'interno di una sessione di ricerca e possono anche avere effetti a lungo termine sul comportamento del ricercatore. Ma non lasciare che le obiezioni teoriche ti paralizzino. Mantieni l'ambito dei tuoi test A/B il più ristretto possibile, in modo da poter fornire miglioramenti rapidi e mirati.

Riepilogo

Il test A/B è lo strumento più prezioso per utilizzare i dati per migliorare la ricerca. Ma il modo in cui esegui i test A/B influisce sul tipo di modifiche che decidi di testare e infine lanciare. Obiettivi più aggressivi richiedono meno tempo per il test, ma è difficile sviluppare modifiche che soddisfino obiettivi aggressivi. La soluzione è testare molti miglioramenti incrementali mirati a particolari tipi di query di ricerca, quindi restringere il più possibile l'ambito dei test A/B. Ma fai attenzione all'ambito, poiché è possibile che un test influenzi le query al di fuori dell'ambito previsto, in particolare altre query all'interno delle stesse sessioni di ricerca.

Mantieni la calma e continua la ricerca del test A/B!