Duração do teste A / B de modelos de ML
Vou realizar testes A / B para modelos de ML. No entanto, não tenho certeza de quanto tempo devo executá-lo online para ver diferenças significativas . Qual seria o prazo certo? e qual será a razão por trás do prazo? O teste A / B será executado contra os sistemas de ML Nenhum. Normalmente, não executamos nenhum recurso de ML por 2 semanas no máximo. Obrigado
Respostas
Em primeiro lugar, não é uma questão de duração, é uma questão de número de pontos de dados que podem ser coletados: se houver apenas alguns usuários todos os dias, vai demorar muito mais para coletar pontos de dados suficientes do que se houvesse milhões.
Agora, de quantos pontos de dados você precisa? Não há uma resposta simples, pois depende do que exatamente você vai testar e quão grande é a diferença entre os dois casos.
Uma boa solução é começar com alguns cenários hipotéticos: imagine, por exemplo, 100, 1000 ou 10000 usuários e um resultado com uma grande, média ou pequena diferença. Execute o teste em todos esses cenários diferentes e verifique quando uma diferença significativa é obtida. Com base nisso, escolha um número-alvo de usuários que seja suficiente para obter um resultado claro na maioria dos cenários.
Finalmente, a duração pode ser aproximada com base no número médio de usuários diários.