Bauen oder nicht bauen?

Die Entscheidung, wie Sie Ihre Experimente aufrechterhalten, kann eine mühsame Aufgabe sein

Da die Geschäftswelt immer datengesteuerter wird, sind A/B-Tests zu einem unverzichtbaren Instrument für Unternehmen geworden, die verstehen möchten, wie sich Änderungen an ihren Produkten und Websites auf das Geschäft auswirken. Wenn es um A/B-Tests geht, müssen Unternehmen jedoch entscheiden, ob sie eine eigene Plattform aufbauen oder ein vorhandenes Tool eines Drittanbieters verwenden.

Der Aufbau einer benutzerdefinierten A/B-Testplattform kann eine großartige Option für Unternehmen sein, die:

• Sie müssen Dutzende oder Hunderte von Experimenten parallel durchführen. Wenn Ihr Unternehmen ständig neue Ideen testet und mehrere Experimente gleichzeitig durchführt, bietet Ihnen der Aufbau einer eigenen Plattform die Flexibilität, diese Menge an Tests zu bewältigen.
• Sind bereit, fortgeschrittene Beschleunigungsansätze für Experimente anzuwenden. Diese Ansätze können den Testprozess erheblich beschleunigen und ermöglichen es Ihnen, mit Methoden wie CUPED, CUPAC und sequentiellen Tests schnellere Ergebnisse zu erzielen.
• Das Experimentieren entwickelt sich rasant weiter. Durch den Aufbau Ihrer eigenen Plattform können Sie hochmoderne Algorithmen erstellen und diese in Ihre Prozesse implementieren, was mit einem Drittanbieter-Tool möglicherweise nicht möglich ist.
• Sie müssen die volle Kontrolle über Ihre A/B-Testmetriken und deren Empfindlichkeit haben. Wenn Sie etwas Einzigartiges messen müssen, das nicht durch gängige Metriken wie Quantile oder komplexe Verhältnismetriken abgedeckt wird, bietet Ihnen der Aufbau Ihrer eigenen Plattform die Flexibilität dazu.
• Arbeiten Sie in einer Branche, in der Netzwerkeffekte (oder andere ziemlich spezifische Herausforderungen) eine große Rolle spielen. Beispielsweise kann es im Liefer- oder Social-Networking-Geschäft ohne eine eigene Plattform und die richtigen Algorithmen schwierig sein, den Netzwerkeffekt abzuschätzen.
• Sie erkennen an, dass Sie manchmal unterschiedliche Statistikmethoden für unterschiedliche Metriken und Experimente anwenden sollten. Bei weitem nicht alle Methoden sind in den Tools von Drittanbietern implementiert und manchmal ist es nicht möglich, sie in diesem Tool zu vergleichen.

Unternehmen sollten es sich zweimal überlegen, bevor sie sich auf diese Reise begeben, wenn sie:

• Es gibt keine datengesteuerte Kultur. Der Aufbau einer eigenen A/B-Testplattform wird sinnlos sein, wenn das Unternehmen kein klares Verständnis davon hat, was es mit A/B-Tests erreichen möchte und daher die Plattform nicht an seine spezifischen Bedürfnisse anpassen kann und den Daten nicht vertraut wenn es um geschäftliche Entscheidungen geht.
• Sie verfügen nicht über die erforderlichen Ressourcen oder Fachkenntnisse. Die Entwicklung Ihrer eigenen A/B-Testplattform erfordert erhebliche Ressourcen, sowohl in Bezug auf Zeit als auch Geld. Das Unternehmen muss in den Aufbau und die Wartung der Plattform investieren, was erhebliche Kosten verursachen kann. Darüber hinaus muss das Unternehmen über das erforderliche Fachwissen für den Aufbau und die Wartung der Plattform verfügen, das schwer zu beschaffen sein kann.

Seien Sie gespannt auf meine kommenden Artikel, in denen ich mich mit den Einzelheiten der Erstellung Ihrer ganz eigenen Experimentierplattform befasse und dabei Schlüsselbereiche hervorhebe, auf die Sie sich konzentrieren sollten, und häufige Fallstricke, die Sie vermeiden sollten.