Python Pandas - статистические функции
Статистические методы помогают понять и проанализировать поведение данных. Теперь мы изучим несколько статистических функций, которые мы можем применить к объектам Pandas.
Percent_change
Series, DatFrames и Panel - все имеют функцию pct_change(). Эта функция сравнивает каждый элемент с его предыдущим элементом и вычисляет процент изменения.
import pandas as pd
import numpy as np
s = pd.Series([1,2,3,4,5,4])
print s.pct_change()
df = pd.DataFrame(np.random.randn(5, 2))
print df.pct_change()
это output выглядит следующим образом -
0 NaN
1 1.000000
2 0.500000
3 0.333333
4 0.250000
5 -0.200000
dtype: float64
0 1
0 NaN NaN
1 -15.151902 0.174730
2 -0.746374 -1.449088
3 -3.582229 -3.165836
4 15.601150 -1.860434
По умолчанию pct_change()действует на колонны; если вы хотите применить одну и ту же строку, используйтеaxis=1() аргумент.
Ковариация
Ковариация применяется к данным ряда. Объект Series имеет метод cov для вычисления ковариации между объектами серии. NA будет исключен автоматически.
Cov серии
import pandas as pd
import numpy as np
s1 = pd.Series(np.random.randn(10))
s2 = pd.Series(np.random.randn(10))
print s1.cov(s2)
это output выглядит следующим образом -
-0.12978405324
Метод ковариации при применении к DataFrame вычисляет cov между всеми столбцами.
import pandas as pd
import numpy as np
frame = pd.DataFrame(np.random.randn(10, 5), columns=['a', 'b', 'c', 'd', 'e'])
print frame['a'].cov(frame['b'])
print frame.cov()
это output выглядит следующим образом -
-0.58312921152741437
a b c d e
a 1.780628 -0.583129 -0.185575 0.003679 -0.136558
b -0.583129 1.297011 0.136530 -0.523719 0.251064
c -0.185575 0.136530 0.915227 -0.053881 -0.058926
d 0.003679 -0.523719 -0.053881 1.521426 -0.487694
e -0.136558 0.251064 -0.058926 -0.487694 0.960761
Note - Соблюдайте cov между a и b столбец в первом операторе, и это значение, возвращаемое cov в DataFrame.
Корреляция
Корреляция показывает линейную зависимость между любыми двумя массивами значений (сериями). Есть несколько методов для вычисления корреляции, например, pearson (по умолчанию), spearman и kendall.
import pandas as pd
import numpy as np
frame = pd.DataFrame(np.random.randn(10, 5), columns=['a', 'b', 'c', 'd', 'e'])
print frame['a'].corr(frame['b'])
print frame.corr()
это output выглядит следующим образом -
-0.383712785514
a b c d e
a 1.000000 -0.383713 -0.145368 0.002235 -0.104405
b -0.383713 1.000000 0.125311 -0.372821 0.224908
c -0.145368 0.125311 1.000000 -0.045661 -0.062840
d 0.002235 -0.372821 -0.045661 1.000000 -0.403380
e -0.104405 0.224908 -0.062840 -0.403380 1.000000
Если в DataFrame присутствует какой-либо нечисловой столбец, он автоматически исключается.
Ранжирование данных
Ранжирование данных производит ранжирование для каждого элемента в массиве элементов. В случае ничьей присваивает средний ранг.
import pandas as pd
import numpy as np
s = pd.Series(np.random.np.random.randn(5), index=list('abcde'))
s['d'] = s['b'] # so there's a tie
print s.rank()
это output выглядит следующим образом -
a 1.0
b 3.5
c 2.0
d 3.5
e 5.0
dtype: float64
Ранг необязательно принимает параметр по возрастанию, который по умолчанию равен true; если false, данные ранжируются в обратном порядке, при этом большим значениям присваивается меньший ранг.
Rank поддерживает различные методы разрешения конфликтов, указанные с помощью параметра метода -
average - средний рейтинг равной группы
min - самый низкий ранг в группе
max - высшее место в группе
first - ранги присваиваются в порядке их появления в массиве