A/B-Tests für die Suche sind anders

A/B-Tests sind ein entscheidendes Instrument zur Verbesserung von Suchprodukten. Auch wenn A/B-Tests Grenzen haben und nicht die einzige Analysemethode sein sollten, die Sie verwenden, ist sie das wertvollste und vielseitigste Tool, um festzustellen, ob die Auswirkungen einer Änderung an Ihrem Suchprodukt positiv sind.

Die Entscheidung für eine A/B-Testsuche ist nur der erste Schritt.

Es gibt keine einheitliche Möglichkeit, A/B-Tests für die Suche durchzuführen. Sie müssen entscheiden, ob der Test die Klickrate (CTR), den mittleren reziproken Rang (MRR) der Klicks, die Konversionsrate , den Umsatz oder eine andere Metrik für den Sucherfolg vergleicht. Sie müssen außerdem bestimmen, wie lange jeder Test ausgeführt werden soll, und dabei nicht nur die Notwendigkeit der Feststellung der statistischen Signifikanz , sondern auch die Möglichkeit eines Neuheitseffekts berücksichtigen . A/B-Testing-Suche ist nicht nur ein Schalter, den man umlegt – es ist eine Wissenschaft.

Die Art und Weise, wie Sie A/B-Tests durchführen, wirkt sich darauf aus, welche Änderungen Sie testen möchten.

Wenn Sie A/B-Tests verwenden, um zu bestimmen, welche Suchänderungen eingeführt werden sollen, dann hat Ihr A/B-Testansatz erhebliche Auswirkungen darauf, welche Arten von Änderungen Sie entwickeln, testen und letztendlich einführen möchten.

Insbesondere bestimmt das von Ihnen gesetzte Ziel für einen A/B-Test, wie lange der Test laufen muss, bevor Sie seinen Erfolg statistisch signifikant bewerten können. Aggressivere Ziele benötigen weniger Zeit zum Testen: Beispielsweise ist es viel einfacher – auf der Skala von Tagen vs. Monaten – zu testen, ob ein Test die Conversion verdoppelt, als ob er die Conversion um 1 % steigert.

Allerdings ist es schwierig, Änderungen zu entwickeln, die anspruchsvolle Ziele erreichen: Wenn es einfach wäre, Ihre Conversion-Rate zu verdoppeln, hätten Sie dies bereits getan! Daher lässt sich der höchste ROI oft durch das Testen vieler kleiner, inkrementeller Verbesserungen erzielen, die jeweils auf einen kleinen Teil der Suchanfragen abzielen. Um einen Prinzen zu finden, muss man viele Frösche küssen. Die beste Strategie besteht also darin, so viele Frösche wie möglich und so schnell wie möglich zu küssen .

Aber wir wollen nicht monatelang testen, ob es erfolgreich ist. Wie nutzen wir A/B-Tests, um ehrlich zu bleiben und gleichzeitig die Vorteile einer schnellen, gezielten, schrittweisen Verbesserung zu erzielen?

Lösung: Umfang der Such-A/B-Tests nach den Suchanfragen, die sie betreffen.

A/B-Suchtests weisen Benutzer nach dem Zufallsprinzip Behandlungsgruppen zu und vergleichen die Leistung der Gruppen. Aber A/B-Tests für die Suche haben eine wichtige Nuance: Nicht alle Suchanfragen sind von dem Test betroffen. Wie wir gerade besprochen haben, erzielen einige der Bemühungen zur Verbesserung der Suche mit dem höchsten ROI Erfolg, indem sie nur auf einen kleinen Teil der Suchanfragen abzielen.

Um diese Nuance zu konkretisieren, betrachten wir einen A/B-Test, der auf 10 % der Suchanfragen abzielt, mit dem Ziel, für diese Suchanfragen eine Conversion-Steigerung von 5 % zu erreichen. Das würde einer Conversion-Steigerung von insgesamt 0,5 % für die Website entsprechen. Eine Conversion-Steigerung von 0,5 % hört sich vielleicht nicht viel an, aber für einen großen Einzelhändler bedeutet das Millionen von Dollar pro Jahr.

Wie bereits erwähnt, bestimmt die Größe des Verbesserungsziels, wie lange der Test laufen muss, bevor Sie seinen Erfolg mit statistischer Signifikanz bewerten können. In unserem Beispiel nimmt die Feststellung, ob ein Test bei 10 % der Abfragen eine Conversion-Steigerung von 5 % erreicht, viel weniger Zeit in Anspruch als die Feststellung, ob der Test bei 100 % der Abfragen eine Conversion-Steigerung von 0,5 % erreicht – Tage statt Monate. Sie können diese Zahlen selbst mit einem praktischen Online-A/B-Testrechner ermitteln .

Seien Sie vorsichtig: Die Bestimmung des Umfangs eines A/B-Tests kann schwierig sein.

Angesichts des oben Gesagten ist es klar, dass wir die Analyse eines A/B-Tests so eng wie möglich fassen wollen. Aber wir müssen aufpassen, dass wir nicht so eng sind, dass der Test ungültig wird.

Insbesondere sollten Sie einen Such-A/B-Test auf Suchsitzungen und nicht auf Suchanfragen ausrichten. Andernfalls werden Sie häufig feststellen, dass die Verbesserungen bei den von Ihrem Test betroffenen Suchanfragen oft zu Lasten der Leistung bei anderen Suchanfragen in denselben Suchsitzungen gehen. Du willst Peter nicht ausrauben, um Paul zu bezahlen.

Im Allgemeinen müssen Sie berücksichtigen, wie sich Ihr Test auf Abfragen außerhalb des vorgesehenen Testumfangs auswirken kann. A/B-Tests können das Verhalten innerhalb einer Suchsitzung beeinflussen und sogar langfristige Auswirkungen auf das Suchverhalten haben. Aber lassen Sie sich nicht von theoretischen Einwänden lähmen. Halten Sie den Umfang Ihrer A/B-Tests so eng wie möglich, damit Sie schnell und gezielt Verbesserungen erzielen können.

Zusammenfassung

A/B-Tests sind das wertvollste Tool zur Nutzung von Daten zur Verbesserung der Suche. Aber wie Sie A/B-Tests durchführen, wirkt sich auf die Art der Änderungen aus, die Sie testen und letztendlich einführen möchten. Aggressivere Ziele benötigen weniger Zeit zum Testen, aber es ist schwierig, Änderungen zu entwickeln, die aggressivere Ziele erfüllen. Die Lösung besteht darin, viele inkrementelle Verbesserungen zu testen, die auf bestimmte Arten von Suchanfragen abzielen, und dann die A/B-Tests so eng wie möglich einzuschränken. Seien Sie jedoch vorsichtig mit dem Umfang, da es möglich ist, dass ein Test Abfragen außerhalb des vorgesehenen Umfangs betrifft – insbesondere andere Abfragen innerhalb derselben Suchsitzungen.

Bleiben Sie ruhig und machen Sie mit der A/B-Testsuche weiter!