Gấu trúc Python - Thiếu dữ liệu
Thiếu dữ liệu luôn là một vấn đề trong các tình huống thực tế. Các lĩnh vực như máy học và khai thác dữ liệu phải đối mặt với các vấn đề nghiêm trọng về độ chính xác của các dự đoán mô hình của họ do chất lượng dữ liệu kém do các giá trị bị thiếu. Trong những lĩnh vực này, việc xử lý giá trị còn thiếu là một trọng tâm chính để làm cho các mô hình của họ chính xác và hợp lệ hơn.
Khi nào và Tại sao Dữ liệu bị Thiếu?
Hãy để chúng tôi xem xét một cuộc khảo sát trực tuyến cho một sản phẩm. Nhiều khi, mọi người không chia sẻ tất cả các thông tin liên quan đến họ. Ít người chia sẻ kinh nghiệm của họ, nhưng không phải là họ sử dụng sản phẩm trong bao lâu; ít người chia sẻ họ đã sử dụng sản phẩm trong bao lâu, trải nghiệm của họ nhưng không chia sẻ thông tin liên hệ của họ. Do đó, theo một cách nào đó hay cách khác, một phần dữ liệu luôn bị thiếu và điều này rất phổ biến trong thời gian thực.
Bây giờ chúng ta hãy xem cách chúng ta có thể xử lý các giá trị bị thiếu (giả sử NA hoặc NaN) bằng cách sử dụng Pandas.
# import the pandas library
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print dfNó là output như sau -
one two three
a 0.077988 0.476149 0.965836
b NaN NaN NaN
c -0.390208 -0.551605 -2.301950
d NaN NaN NaN
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
g NaN NaN NaN
h 0.085100 0.532791 0.887415Sử dụng lập chỉ mục lại, chúng tôi đã tạo DataFrame bị thiếu các giá trị. Trong đầu ra,NaN có nghĩa Not a Number.
Kiểm tra các giá trị bị thiếu
Để giúp phát hiện các giá trị bị thiếu dễ dàng hơn (và trên các kiểu mảng khác nhau), Pandas cung cấp isnull() và notnull() các hàm, cũng là các phương thức trên các đối tượng Series và DataFrame -
ví dụ 1
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df['one'].isnull()Nó là output như sau -
a False
b True
c False
d True
e False
f False
g True
h False
Name: one, dtype: boolVí dụ 2
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df['one'].notnull()Nó là output như sau -
a True
b False
c True
d False
e True
f True
g False
h True
Name: one, dtype: boolCác phép tính thiếu dữ liệu
- Khi tổng hợp dữ liệu, NA sẽ được coi là Zero
- Nếu dữ liệu đều là NA thì kết quả sẽ là NA
ví dụ 1
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df['one'].sum()Nó là output như sau -
2.02357685917Ví dụ 2
import pandas as pd
import numpy as np
df = pd.DataFrame(index=[0,1,2,3,4,5],columns=['one','two'])
print df['one'].sum()Nó là output như sau -
nanLàm sạch / lấp đầy dữ liệu bị thiếu
Pandas cung cấp nhiều phương pháp khác nhau để làm sạch các giá trị bị thiếu. Hàm fillna có thể “điền vào” các giá trị NA với dữ liệu không phải null theo một số cách, mà chúng tôi đã minh họa trong các phần sau.
Thay thế NaN bằng Giá trị vô hướng
Chương trình sau đây cho biết cách bạn có thể thay thế "NaN" bằng "0".
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(3, 3), index=['a', 'c', 'e'],columns=['one',
'two', 'three'])
df = df.reindex(['a', 'b', 'c'])
print df
print ("NaN replaced with '0':")
print df.fillna(0)Nó là output như sau -
one two three
a -0.576991 -0.741695 0.553172
b NaN NaN NaN
c 0.744328 -1.735166 1.749580
NaN replaced with '0':
one two three
a -0.576991 -0.741695 0.553172
b 0.000000 0.000000 0.000000
c 0.744328 -1.735166 1.749580Ở đây, chúng ta đang điền giá trị bằng 0; thay vào đó chúng ta cũng có thể điền vào bất kỳ giá trị nào khác.
Điền NA Forward và Backward
Sử dụng các khái niệm điền được thảo luận trong Chương ReIndexing, chúng tôi sẽ điền các giá trị còn thiếu.
| Sr.No | Phương pháp & Hành động |
|---|---|
| 1 | pad/fill Điền các phương thức Chuyển tiếp |
| 2 | bfill/backfill Điền các phương thức Backward |
ví dụ 1
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df.fillna(method='pad')Nó là output như sau -
one two three
a 0.077988 0.476149 0.965836
b 0.077988 0.476149 0.965836
c -0.390208 -0.551605 -2.301950
d -0.390208 -0.551605 -2.301950
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
g -0.930230 -0.670473 1.146615
h 0.085100 0.532791 0.887415Ví dụ 2
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df.fillna(method='backfill')Nó là output như sau -
one two three
a 0.077988 0.476149 0.965836
b -0.390208 -0.551605 -2.301950
c -0.390208 -0.551605 -2.301950
d -2.000303 -0.788201 1.510072
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
g 0.085100 0.532791 0.887415
h 0.085100 0.532791 0.887415Bỏ các giá trị bị thiếu
Nếu bạn chỉ muốn loại trừ các giá trị bị thiếu, thì hãy sử dụng dropna chức năng cùng với axistranh luận. Theo mặc định, axis = 0, tức là dọc theo hàng, có nghĩa là nếu bất kỳ giá trị nào trong một hàng là NA thì toàn bộ hàng sẽ bị loại trừ.
ví dụ 1
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df.dropna()Nó là output như sau -
one two three
a 0.077988 0.476149 0.965836
c -0.390208 -0.551605 -2.301950
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
h 0.085100 0.532791 0.887415Ví dụ 2
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print df.dropna(axis=1)Nó là output như sau -
Empty DataFrame
Columns: [ ]
Index: [a, b, c, d, e, f, g, h]Thay thế các giá trị chung bị thiếu (hoặc)
Nhiều lần, chúng ta phải thay thế một giá trị chung bằng một giá trị cụ thể nào đó. Chúng ta có thể đạt được điều này bằng cách áp dụng phương pháp thay thế.
Thay thế NA bằng một giá trị vô hướng là hành vi tương đương của fillna() chức năng.
ví dụ 1
import pandas as pd
import numpy as np
df = pd.DataFrame({'one':[10,20,30,40,50,2000], 'two':[1000,0,30,40,50,60]})
print df.replace({1000:10,2000:60})Nó là output như sau -
one two
0 10 10
1 20 0
2 30 30
3 40 40
4 50 50
5 60 60Ví dụ 2
import pandas as pd
import numpy as np
df = pd.DataFrame({'one':[10,20,30,40,50,2000], 'two':[1000,0,30,40,50,60]})
print df.replace({1000:10,2000:60})Nó là output như sau -
one two
0 10 10
1 20 0
2 30 30
3 40 40
4 50 50
5 60 60