Como construir um classificador binário combinado?

Question

Eu tenho dois classificadores binários, um classificador de regressão logística (retornando probabilidades) e um classificador de árvore de decisão (retornando 1 e 0).

Eu queria saber se é possível combinar a previsão de ambos, mas não tenho certeza de qual é a estratégia. Devo de alguma forma tentar encontrar as probabilidades do classificador da árvore de decisão e multiplicá-las entre elas ou talvez obter as previsões médias divididas por dois?

Ou devo talvez mudar as saídas de probabilidade da regressão logística para classificações (0,1) e tentar ordenar de alguma forma desta forma? Acho que o último parece errado para mim. Suponho que gostaríamos de usar as probabilidades, só não sei como obter as probabilidades do classificador da árvore de decisão: /

A propósito, estou executando isso em R usando as funções glm e tree repetidamente

Answer 1

Faça com que seu algoritmo de árvore de classificação produza probabilidades, não classificações rígidas de 0-1. Veja aqui a justificativa, independentemente de sua situação de conjunto.

Então você tem dois classificadores probabilísticos. Simplesmente combine as previsões probabilísticas dentro de cada classe fazendo uma média, possivelmente usando pesos.

Answer 2

Quando você combina modelos, é chamado de modelo Ensemble. Os conjuntos usam votação, ponderação e / ou média, e existem diferentes algoritmos.

(Média) A maioria das funções da árvore de decisão fornecerá a probabilidade. Você poderia apenas calcular a média dos dois.

(Boosting) Digamos que seu modelo de regressão logística tenha um desempenho melhor com os 50% inferiores dos valores de uma variável contínua independente e que sua árvore de decisão tenha um desempenho melhor com os 50% superiores dos valores dessa variável contínua. Seu conjunto pode escolher um modelo mais forte para esse cenário.

(Votação) Como um exemplo diferente, se você tivesse três modelos, você poderia usar a votação simples, e não usar uma análise dos dados de treinamento (o que foi feito acima).

Em resposta ao comentário, abordei "como os modelos são combinados" com três exemplos e forneci o termo "conjunto". O "devo" é uma questão diferente, o que vai depender.