Como o PLSR resolve a multicolinearidade

Question

Sabemos que PLSR é uma forma muito comum de resolver a Multicolinearidade na Regressão Linear Múltipla. Mas você sabe como funciona em detalhes? E porque multicolinearidade de$x$ será relacionado à dimensão múltipla de $y$? Posso encontrar facilmente referências sobre esta parte.

Answer 1

PLSR ou regressão de mínimos quadrados parciais é uma técnica de redução de dimensão que compartilha semelhanças com a análise de componentes principais.

Na regressão de componente principal, você busca obter um conjunto de novas variáveis ​​(os componentes principais) que maximizam a variância de $X$ e que não estão correlacionados entre si.

Em PLSR você busca obter um conjunto de novas variáveis ​​(os componentes PLS) que maximizam a covariância entre $X$ e $y$ e que não estão correlacionados entre si.

Em ambas as técnicas, os novos componentes não estão correlacionados. Isso significa que se em seu conjunto de dados original você estava enfrentando um problema de multicolinearidade (isto é, você tem preditores em x que são altamente correlacionados entre eles), usando qualquer uma dessas técnicas, você resolverá o problema, pois seus componentes se tornarão não correlacionados.

EDIT: Responder comentário

Observe que, nessas técnicas, é comum definir um limite no número de componentes, então você seleciona o primeiro $k$ componentes de um máximo total de $p$ ser $p\geq k$

Uma vez que o PCA maximiza a variação de $X$, o primeiro $k$ componentes são as variáveis ​​que melhor explicam $X$, mas pode acontecer que, ao tentar usar essas variáveis ​​na predição de $y$, você obtém resultados preditivos insatisfatórios porque as informações relacionadas $X$ e $y$ é deixado nos componentes principais que você não selecionou.

Por outro lado, o PLS maximiza a covariância entre $X$ e $y$. Isso significa que o primeiro$k$ Os componentes PLS são os que melhor explicam a relação entre $X$ e $y$. E, por esse motivo, espera-se que o PLS forneça bons resultados preditivos.

Com relação à sua segunda pergunta, por que a multicolinearidade de x estará relacionada à dimensão múltipla de y

Não tenho certeza se entendi corretamente, mas tentarei dar uma resposta. Em PLSR, como você diz, sua variável de resposta pode ser multidimensional, mas isso não tem nada a ver com a multicolinearidade de X. Diz-se que há um problema de multicolinearidade se houver variáveis ​​em x que são altamente correlacionadas entre elas, independentemente de tendo um y univariado ou multivariado.