Comprender la determinación de componentes principales

Question

La idea de PCA es encontrar las direcciones (en un espacio de gran dimensión) en las que se encuentran las estructuras esenciales (con respecto a la gran varianza, dispersión) de los datos. El supuesto es que las características originales (variables) tienen una relación lineal. Entonces, las características originales correlacionadas (variables) son capturadas por PCA.

Los pasos de PCA son los siguientes:

1. Las entidades están centradas (pero la dirección no cambia).
2. Se S (K x K)calcula la matriz de covarianza (es simétrica).
3. Se calculan el valor propio y el vector propio. Los autovectores normalizados corresponden a cargas ( pesos ).
4. Se calculan los componentes principales, es decir , las puntuaciones . Las puntuaciones son sumas ponderadas de las observaciones sobre las características originales. Así representado por combinación lineal, donde los componentes principales ( PC 1, PC 2 ... PC K) son ortogonales (porque la matriz de covarianza es simétrica).
5. Al final, debe ordenar los valores propios (varianza) según el tamaño y seleccionar los componentes principales en consecuencia.

Ahora olvídese de todo lo que dije antes y asuma que ha encontrado PC 1(con respecto a la varianza más alta). Como sabe, el siguiente componente principal (es decir, P C 2) debe ser ortogonal a PC 1. Entonces automáticamente conocemos la dirección de PC 2, ¿verdad? Dado que mi espacio es Kdimensional, tomaré el siguiente componente principal ( PC 3) para que sea ortogonal al primer y segundo componentes principales, ¿verdad? etc.

Ahora bien, ¿podría decir que si solo hubiera determinado la dirección del primer componente principal, todas las demás direcciones de los componentes principales se determinarían automáticamente?

Answer 1

Hagamos un ejemplo de 10 dimensiones. Di que tienes$\text{PC}_1=[1,1,1,1,1,1,1,1,1,1]$, que seria $\text{PC}_2$ ¿ser?

Seguramente, debe ser ortogonal para $\text{PC}_1$, pero ¿esa elección es única?

¿Cómo puedes diferenciar entre $\text{PC}_2^A=[-1,1,-1,1,-1,1,-1,1,-1,1]$ y $\text{PC}_2^B=[1,1,1,1,1,-1,-1,-1,-1,-1]$? Ambos son ortogonales a$\text{PC}_1$ después de todo.

¿Ver? La elección de$\text{PC}_2$ no es automático dado $\text{PC}_1$. De hecho, equivale al mismo procedimiento para recuperar$\text{PC}_1$, después de eliminar el efecto de $\text{PC}_1$ a partir de datos.

Answer 2

¿Qué tal un enfoque más intuitivo? Estás pensando en 2D. El último componente no tiene elección: está determinado por todos los demás componentes. Pero los componentes intermedios tienen una opción. En el caso 2D, la segunda opción también es la última opción y, por lo tanto, no tiene opciones: debe apuntar en la dirección determinada por la opción anterior.

Imagina una nube de puntos 3D en el espacio frente a ti. Imagina que tu primer componente es una varilla de madera que flota en el espacio donde la colocas. Alinea esta varilla para que se alinee con el eje más largo de la nube. Luego taladras un agujero en el costado de esta varilla y colocas una segunda varilla en un ángulo recto. A continuación, puede girar la varilla original, girando la segunda varilla 360 grados.

No puede hacer que la segunda varilla apunte en ninguna dirección, pero puede girarla a través del círculo perpendicular a la primera varilla. Su primera varilla restringe la segunda, pero no determina absolutamente hacia dónde apunta: todavía tiene 360 ​​grados de rotación.

Ahora taladre otra sujeción en ángulo recto con las dos primeras varillas e inserte la última varilla. Este no tiene capacidad de ajuste: sus elecciones para las dos primeras varillas lo han restringido totalmente en lugar de restringido parcialmente.

En dimensiones superiores, así es como funciona. Su primer componente puede apuntar en cualquier dirección, su segundo componente puede apuntar en cualquier dirección pero está restringido a un rango de opciones de menor dimensión que el primer componente. (Porque insiste en que el segundo debe ser perpendicular al primero). El tercero está restringido por los dos primeros, debe ser perpendicular a ambos , lo que reduce sus opciones en dos dimensiones, y así sucesivamente.