Compreender a determinação dos componentes principais

Question

A ideia do PCA é encontrar as direções (no espaço de alta dimensão) nas quais as estruturas essenciais (no que diz respeito à grande variação, dispersão) dos dados se encontram. A suposição é que as características originais (variáveis) têm uma relação linear. Portanto, as características originais correlacionadas (variáveis) são capturadas pelo PCA.

As etapas do PCA são as seguintes:

1. Os recursos são centralizados (mas a direção não muda).
2. A matriz de covariância S (K x K)é calculada (é simétrica).
3. O autovalor e o autovetor são calculados. Os autovetores normalizados correspondem a cargas ( pesos ).
4. Os componentes principais, ou seja , pontuações , são calculados. As pontuações são somas ponderadas das observações sobre as características originais. Portanto, representado por combinação linear, onde os componentes principais ( PC 1, PC 2 ... PC K) são ortogonais (porque a matriz de covariância é simétrica).
5. No final, você deve classificar os valores próprios (variância) de acordo com o tamanho e selecionar os componentes principais de acordo.

Agora esqueça tudo o que eu disse antes e suponha que você encontrou PC 1(em relação à variação mais alta). Como você sabe, o próximo componente principal (ou seja, P C 2) deve ser ortogonal a PC 1. Portanto, sabemos automaticamente a direção de PC 2, certo? Como meu espaço é Kdimensional, pegarei o próximo componente principal ( PC 3) de modo que seja ortogonal ao primeiro e ao segundo componentes principais, certo? etc.

Agora, eu poderia dizer que se eu tivesse determinado apenas a direção do primeiro componente principal, todas as outras direções dos componentes principais seriam determinadas automaticamente?

Answer 1

Vamos fazer um exemplo de 10 dimensões. Diga que você tem$\text{PC}_1=[1,1,1,1,1,1,1,1,1,1]$, o que seria $\text{PC}_2$ estar?

Certamente, deve ser ortogonal a $\text{PC}_1$, mas essa escolha é única?

Como você pode diferenciar entre $\text{PC}_2^A=[-1,1,-1,1,-1,1,-1,1,-1,1]$ e $\text{PC}_2^B=[1,1,1,1,1,-1,-1,-1,-1,-1]$? Ambos são ortogonais a$\text{PC}_1$ depois de tudo.

Vejo? A escolha de$\text{PC}_2$ não é dado automaticamente $\text{PC}_1$. Na verdade, é o mesmo procedimento para recuperar$\text{PC}_1$, depois de remover o efeito de $\text{PC}_1$ de dados.

Answer 2

Que tal uma abordagem mais intuitiva: você está pensando em 2D. O último componente não tem escolha: é determinado por todos os outros componentes. Mas os componentes intermediários têm escolha. No caso 2D, a segunda escolha também é a última escolha e, portanto, não tem opções: ela deve apontar na direção determinada pela escolha anterior.

Imagine uma nuvem de pontos 3D no espaço à sua frente. Imagine que seu primeiro componente é uma haste de madeira que flutua no espaço onde você a coloca. Você alinha esta haste de forma que ela se alinhe com o eixo mais longo da nuvem. Em seguida, você faz um furo na lateral dessa haste e coloca uma segunda haste em um ângulo reto. Você pode girar a haste original, girando a segunda haste em 360 graus.

Você não pode fazer a segunda barra apontar em qualquer direção, mas pode girá-la através do círculo perpendicular à primeira barra. Sua primeira barra restringe a segunda, mas não determina absolutamente para onde ela aponta: você ainda tem 360 graus de rotação.

Agora faça outro grampo em ângulo reto com as duas primeiras hastes e insira a última haste. Este não tem ajuste: suas escolhas para as duas primeiras hastes o restringiram totalmente em vez de restringi-lo parcialmente.

Em dimensões superiores, é assim que funciona. Seu primeiro componente pode apontar em qualquer direção, seu segundo componente pode apontar em qualquer direção, mas está restrito a uma gama de opções de dimensão inferior do que o primeiro componente. (Porque você insiste que o segundo deve ser perpendicular ao primeiro.) O terceiro é restrito pelos dois primeiros - deve ser perpendicular a ambos , o que reduz suas escolhas em duas dimensões - e assim por diante.