Python Pandas - funções estatísticas

Os métodos estatísticos auxiliam na compreensão e análise do comportamento dos dados. Vamos agora aprender algumas funções estatísticas, que podemos aplicar em objetos Pandas.

Mudança percentual

Series, DatFrames e Panel, todos têm a função pct_change(). Esta função compara cada elemento com seu elemento anterior e calcula a porcentagem de alteração.

import pandas as pd
import numpy as np
s = pd.Series([1,2,3,4,5,4])
print s.pct_change()

df = pd.DataFrame(np.random.randn(5, 2))
print df.pct_change()

Está output é o seguinte -

0        NaN
1   1.000000
2   0.500000
3   0.333333
4   0.250000
5  -0.200000
dtype: float64

            0          1
0         NaN        NaN
1  -15.151902   0.174730
2  -0.746374   -1.449088
3  -3.582229   -3.165836
4   15.601150  -1.860434

Por padrão, o pct_change()opera em colunas; se você quiser aplicar a mesma linha, useaxis=1() argumento.

Covariância

A covariância é aplicada aos dados da série. O objeto Series tem um método cov para calcular a covariância entre os objetos da série. NA será excluído automaticamente.

Cov Series

import pandas as pd
import numpy as np
s1 = pd.Series(np.random.randn(10))
s2 = pd.Series(np.random.randn(10))
print s1.cov(s2)

Está output é o seguinte -

-0.12978405324

Método de covariância quando aplicado em um DataFrame, calcula cov entre todas as colunas.

import pandas as pd
import numpy as np
frame = pd.DataFrame(np.random.randn(10, 5), columns=['a', 'b', 'c', 'd', 'e'])
print frame['a'].cov(frame['b'])
print frame.cov()

Está output é o seguinte -

-0.58312921152741437

           a           b           c           d            e
a   1.780628   -0.583129   -0.185575    0.003679    -0.136558
b  -0.583129    1.297011    0.136530   -0.523719     0.251064
c  -0.185575    0.136530    0.915227   -0.053881    -0.058926
d   0.003679   -0.523719   -0.053881    1.521426    -0.487694
e  -0.136558    0.251064   -0.058926   -0.487694     0.960761

Note - Observe o cov entre a e b coluna na primeira instrução e o mesmo é o valor retornado por cov no DataFrame.

Correlação

A correlação mostra a relação linear entre quaisquer duas matrizes de valores (séries). Existem vários métodos para calcular a correlação, como Pearson (padrão), Spearman e Kendall.

import pandas as pd
import numpy as np
frame = pd.DataFrame(np.random.randn(10, 5), columns=['a', 'b', 'c', 'd', 'e'])

print frame['a'].corr(frame['b'])
print frame.corr()

Está output é o seguinte -

-0.383712785514

           a          b          c          d           e
a   1.000000  -0.383713  -0.145368   0.002235   -0.104405
b  -0.383713   1.000000   0.125311  -0.372821    0.224908
c  -0.145368   0.125311   1.000000  -0.045661   -0.062840
d   0.002235  -0.372821  -0.045661   1.000000   -0.403380
e  -0.104405   0.224908  -0.062840  -0.403380    1.000000

Se qualquer coluna não numérica estiver presente no DataFrame, ela será excluída automaticamente.

Classificação de dados

A classificação de dados produz uma classificação para cada elemento na matriz de elementos. Em caso de empate, atribui a classificação média.

import pandas as pd
import numpy as np

s = pd.Series(np.random.np.random.randn(5), index=list('abcde'))
s['d'] = s['b'] # so there's a tie
print s.rank()

Está output é o seguinte -

a  1.0
b  3.5
c  2.0
d  3.5
e  5.0
dtype: float64

A classificação opcionalmente leva um parâmetro ascendente que por padrão é verdadeiro; quando falso, os dados são classificados inversamente, com valores maiores atribuídos a uma classificação menor.

Rank suporta diferentes métodos de desempate, especificados com o parâmetro method -

average - classificação média do grupo empatado
min - classificação mais baixa no grupo
max - classificação mais alta no grupo
first - classificações atribuídas na ordem em que aparecem na matriz