Python數據清理
數據丟失在現實生活中是一個問題。 機器學習和數據挖掘等領域由於數據缺失導致數據質量差，因此在模型預測的準確性方面面臨嚴峻的問題。 在這些領域，缺失值處理是使模型更加準確和有效的關鍵。
何時以及爲什麼數據丟失？
讓我們考慮一個產品的在線調查。 很多時候，人們不會分享與他們有關的所有信息。 很少有人分享他們的經驗，但他們沒有多久使用該產品; 很少有人分享他們使用產品的時間，他們的經驗，但不是他們的聯繫信息。 因此，以某種方式或其他方式，一部分數據總是會丟失，這在實時中非常普遍。
現在來看看如何處理使用Pandas的缺失值(如NA或NaN)。
# import the pandas library
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df)它將輸出如下結果 -
one two three
a 0.077988 0.476149 0.965836
b NaN NaN NaN
c -0.390208 -0.551605 -2.301950
d NaN NaN NaN
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
g NaN NaN NaN
h 0.085100 0.532791 0.887415使用reindexing，創建了一個缺失值的DataFrame。 在輸出中，NaN表示不是數字。
檢查缺失值
爲了更容易地檢測缺失值(以及跨越不同的數組dtype)，Pandas提供了isnull()和notnull()函數，它們也是Series和DataFrame對象的方法 -
示例
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df['one'].isnull())它將輸出如下結果 -
a False
b True
c False
d True
e False
f False
g True
h False
Name: one, dtype: bool清理/填充缺少數據
Pandas提供了各種方法來清除缺失值。 fillna函數可以通過幾種方式用非空數據「填充」NA值，我們在後面的章節中將解釋說明。
用標量值替換NaN
以下程序顯示瞭如何將「NaN」替換爲「0」。
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(3, 3), index=['a', 'c', 'e'],columns=['one',
'two', 'three'])
df = df.reindex(['a', 'b', 'c'])
print (df)
print ("NaN replaced with '0':")
print (df.fillna(0))它將輸出如下結果 -
one two three
a -0.576991 -0.741695 0.553172
b NaN NaN NaN
c 0.744328 -1.735166 1.749580
NaN replaced with '0':
one two three
a -0.576991 -0.741695 0.553172
b 0.000000 0.000000 0.000000
c 0.744328 -1.735166 1.749580在這裏，填充零值; 相反，我們也可以填寫任何其他值。
正向和反向填充NA
使用ReIndexing章節討論的填充概念，這裏將學習如何填補缺失的值。
方法
操作
pad/fill
向前填充方法
bfill/backfill
向後填充方法
示例代碼
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df.fillna(method='pad'))執行上面示例代碼，得到以下輸出結果 -
one two three
a 0.077988 0.476149 0.965836
b 0.077988 0.476149 0.965836
c -0.390208 -0.551605 -2.301950
d -0.390208 -0.551605 -2.301950
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
g -0.930230 -0.670473 1.146615
h 0.085100 0.532791 0.887415丟失缺失值
如果只想排除缺少的值，則使用dropna函數和axis參數。 默認情況下，axis = 0，即沿着一行行查找，這意味着如果行內的任何值是NA，那麼排除整行。
示例
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn(5, 3), index=['a', 'c', 'e', 'f',
'h'],columns=['one', 'two', 'three'])
df = df.reindex(['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h'])
print (df.dropna())它將輸出如下結果 -
one two three
a 0.077988 0.476149 0.965836
c -0.390208 -0.551605 -2.301950
e -2.000303 -0.788201 1.510072
f -0.930230 -0.670473 1.146615
h 0.085100 0.532791 0.887415替換丟失(或)通用值
很多時候，我們必須用一些特定的值替換一個通用值。 可以通過應用替換方法來實現這一點。
用標量值替換NA是fillna()函數的等效行爲。
示例代碼
import pandas as pd
import numpy as np
df = pd.DataFrame({'one':[10,20,30,40,50,2000],
'two':[1000,0,30,40,50,60]})
print (df.replace({1000:10,2000:60}))執行上面示例代碼，得到以下結果 -
one two
0 10 10
1 20 0
2 30 30
3 40 40
4 50 50
5 60 60