Overfit em modelos agregados: boosting versus simples bagging

Question

Vamos consertar uma configuração de bagging, onde vários modelos são construídos independentemente e de alguma forma agregados. É intuitivo que aumentar o número de alunos fracos (N) não leva ao sobreajuste (no sentido de que as propriedades de sobreajuste não pioram com a adição de um número arbitrário de árvores). Isso também é discutido aqui para floresta aleatória:

https://datascience.stackexchange.com/questions/1028/do-random-forest-overfit

Eu queria saber se a situação é completamente oposta quando agregamos por meio do boost. No algoritmo AdaBoost, por exemplohttps://en.wikipedia.org/wiki/AdaBoost, os parâmetros do próximo aluno fraco são escolhidos de modo que melhore a previsão da etapa anterior. Isso significa que, com alunos fracos em número suficiente, seria possível (super) ajustar-se perfeitamente ao conjunto de dados de treinamento e, a fortiori, causar uma generalização ruim?

A questão refere-se ao comportamento assintótico (teórico) para N grandes (o número de alunos fracos).

Answer 1

Sim, se você permitir que ele aprenda perfeitamente com o modelo anterior. Mas, por exemplo, com aumento de gradiente, utilizamos regularização PESADA, como uma taxa de aprendizagem e procedimentos de subamostragem. Para algo como árvores, a profundidade de cada árvore é geralmente bastante rasa (pelo menos costumava ser, agora podemos construir árvores maiores devido a outros avanços de regularização), então ainda é um modelo de viés bastante alto. Portanto, tentamos adicionar tendência a cada aluno fraco para que a próxima iteração não adicione muito valor ao nosso conjunto. Também é comum parar de iterar quando seu conjunto de treinamento / teste começa a exibir sinais de sobreajuste.

Mesmo assim, podemos usar parâmetros que se ajustam mal, assim como com uma floresta aleatória ou uma árvore ensacada.