O papel dos autovalores no PCA

Jan 30 2023
com Julia, usando MultivariateStats … O que são autovalores? Autovalores podem ser pensados ​​como uma medida da quantidade de variação nos dados que é explicada por cada componente principal. Os dados são normalmente uma matriz ou uma transformação linear dos dados.

com Julia, usando MultivariateStats…

Foto de Pritesh Sudra no Unsplash

O que são autovalores?

Autovalores podem ser pensados ​​como uma medida da quantidade de variação nos dados que é explicada por cada componente principal.

Os dados são normalmente uma matriz ou uma transformação linear dos dados.

Na Análise de Componentes Principais (PCA), autovalores são usados ​​para determinar a importância relativa de cada componente principal.

Como os autovalores são calculados?

Eles são calculados resolvendo a equação Av = λv, onde A é a matriz, v é um vetor diferente de zero e λ é um valor escalar chamado autovalor . O vetor v é chamado de autovetor da matriz A. Os autovalores de uma matriz A são os escalares λ para os quais a equação Av = λv tem solução diferente de zero.

A solução envolve encontrar os autovalores e autovetores da matriz A. Os autovalores são as soluções para a equação característica |A — λI| = 0, onde I é a matriz identidade. Uma vez que os autovalores são encontrados, os autovetores podem ser encontrados resolvendo a equação Av = λv para cada autovalor. Os autovetores são as soluções diferentes de zero para esta equação e também são conhecidos como autovetores de A.

O primeiro componente principal tem o autovalor mais alto, e o segundo componente principal tem o segundo autovalor mais alto, e assim por diante...

Os componentes principais são os autovetores da matriz de covariância dos dados.

Vejamos um exemplo

using MultivariateStats, Plots, StatsPlots, DataFrames, CSV;
data = CSV.read("Pizza.csv",DataFrame)

first(data,8)

      
                

Os elementos no conjunto de dados acima estão listados abaixo:

  • brand — Marca da pizza (rótulo da classe)
  • id — da amostra analisada
  • mois — Quantidade de água por 100 gramas por amostra
  • prot — Quantidade de proteína por 100 gramas por amostra
  • gordura — Quantidade de gordura por 100 gramas por amostra
  • cinzas — Quantidade de cinzas por 100 gramas por amostra
  • sódio — Quantidade de sódio por 100 gramas por amostra
  • carb — Quantidade de carboidratos por 100 gramas por amostra
  • cal — Quantidade de calorias por 100 gramas por amostra

matrix = Array(data[:, 3:9])'

matrix'

      
                

M = fit(PCA, matrix;pratio=1,  maxoutdim=3)

      
                

No Julia, pratio=1é usado como opção na fitfunção. Refere-se à proporção da variância total que deve ser explicada pelos primeiros kcomponentes principais, onde ké o número de dimensões nos dados transformados. Nesse caso, onde pratio=1, o algoritmo PCA será executado de forma que os primeiros kcomponentes principais expliquem 100% da variância total dos dados.

3 componentes principais são produzidos.

Transposição de uma matriz

q = projection(M)'

      
                

A transposta de uma matriz é uma nova matriz onde as linhas e colunas da matriz original são invertidas. No caso da matriz de projeção, a transposta também é conhecida como pseudoinversa de Moore-Penrose da matriz. A transposição da matriz de projeção é usada para projetar os componentes principais dos dados de volta ao espaço original para obter uma aproximação dos dados originais.

Parcelas

using Plots
h = plot(q[1,:], q[2,:], seriestype=:scatter, label=label="")
plot!(xlabel="PC1", ylabel="PC2", framestyle=:box)
title!("Principal Components")

      
                
T = principalvars(M) ./ tvar(M) * 100

PC1 em 78,01 explica a maior parte da variância em termos de porcentagem da variância total explicada por cada componente, também explicada pelo gráfico abaixo.

plot(T)
plot!(ylabel="Percentage")
title!("Variance by principal component")

      
                

Autovalores desempenham um papel crucial na análise de componentes principais (PCA). PCA é uma técnica de redução de dimensionalidade que é usada para transformar um conjunto de variáveis ​​correlacionadas em um conjunto de variáveis ​​não correlacionadas chamadas de componentes principais. Os componentes principais são combinações lineares das variáveis ​​originais, e os autovalores da matriz de correlação/covariância dos dados são usados ​​para determinar a importância relativa de cada componente principal.

Autovalores podem ser pensados ​​como uma medida da quantidade de variação nos dados que é explicada por cada componente principal.

Autovalores também podem desempenhar um papel no MDS, ou dimensionamento multidimensional, no sentido de que a técnica geralmente envolve encontrar uma projeção de baixa dimensão dos dados que preserva a maior quantidade de variância.

M = fit(MDS, matrix; distances=false)

plot(M)
title!("MDS Plot")

      
                

O PCA (Principal Component Analysis) é uma abordagem de aprendizado não supervisionado, pois é usado para analisar e entender padrões em dados sem nenhuma saída rotulada ou variável de destino. É usado para identificar padrões e relacionamentos nos dados e para reduzir a dimensionalidade dos dados, mantendo o máximo de informações possível. O objetivo do PCA é encontrar novas variáveis, chamadas de componentes principais, que são combinações lineares das variáveis ​​originais e que capturam o máximo possível da variância dos dados . Os autovalores desempenham um papel importante no PCA, pois são usados ​​para determinar a quantidade de variância capturada por cada componente principal.

Espero que tenha gostado do artigo!

Vamos nos conectar no Linkedin , ou github , ou me seguir para mais artigos sobre Julia, Python ou R e estatísticas aplicadas.