Zeitdauer für A / B-Tests der ML-Modelle

Sep 09 2020

Ich werde A / B-Tests für ML-Modelle durchführen. Ich bin mir jedoch nicht sicher, wie lange ich es online ausführen soll, um signifikante Unterschiede festzustellen . Was wäre der richtige Zeitrahmen? und was wird der Grund für den Zeitrahmen sein? Der A / B-Test wird gegen die None ML-Systeme ausgeführt. Normalerweise werden maximal 2 Wochen lang keine ML-Funktionen ausgeführt. Vielen Dank

Antworten

1 Erwan Sep 10 2020 at 06:11

Erstens ist es keine Frage der Dauer, sondern der Anzahl der Datenpunkte, die gesammelt werden können: Wenn nur wenige Benutzer pro Tag vorhanden sind, dauert es viel länger, genügend Datenpunkte zu sammeln, als wenn es Millionen gibt.

Wie viele Datenpunkte benötigen Sie nun? Es gibt keine einfache Antwort, da es davon abhängt, was genau Sie testen werden und wie groß der Unterschied zwischen den beiden Fällen ist.

Eine gute Problemumgehung besteht darin, mit einigen hypothetischen Szenarien zu beginnen: Stellen Sie sich beispielsweise 100, 1000 oder 10000 Benutzer und ein Ergebnis mit einem großen, einem mittleren oder einem kleinen Unterschied vor. Führen Sie den Test in all diesen verschiedenen Szenarien aus und prüfen Sie, wann ein signifikanter Unterschied festgestellt wird. Wählen Sie auf dieser Grundlage eine Zielanzahl von Benutzern aus, die ausreicht, um in den meisten Szenarien ein klares Ergebnis zu erzielen.

Schließlich kann die Dauer basierend auf der durchschnittlichen Anzahl der täglichen Benutzer angenähert werden.