Pandasで欠損値を埋めるための方法をいくつか確認したのでまとめておく。fillna
関数を使うと引数に渡した値で、NaNを埋められる。
まずは適当にNaNを含んだデータを生成する。
import numpy as np import pandas as pd df = pd.DataFrame(data=[1,2,4,np.nan,5,8,7,np.nan], columns=['col_nan']) df
index | col_nan |
---|---|
0 | 1.0 |
1 | 2.0 |
2 | 4.0 |
3 | NaN |
4 | 5.0 |
5 | 8.0 |
6 | 7.0 |
7 | NaN |
ゼロで埋める
fillna
関数を使うと引数に渡したもので、NaNを埋められる。
fillna(0)
とするとNaNをゼロ埋め、fillna(5)
とするとNaNを5で埋めてくれる。
df['col_fill_0'] = df.col_nan.fillna(0) df
index | col_nan | col_fill_0 | col_fill_mean |
---|---|---|---|
0 | 1.0 | 1.0 | 1.0 |
1 | 2.0 | 2.0 | 2.0 |
2 | 4.0 | 4.0 | 4.0 |
3 | NaN | 0.0 | 4.5 |
4 | 5.0 | 5.0 | 5.0 |
5 | 8.0 | 8.0 | 8.0 |
6 | 7.0 | 7.0 | 7.0 |
7 | NaN | 0.0 | 4.5 |
平均値で埋める
mean()
関数を使って列の平均値を求め、その平均値を使ってNaNを埋めることができる。
df['col_fill_mean'] = df.col_nan.fillna(df.col_nan.mean()) df
index | col_nan | col_fill_0 | col_fill_mean |
---|---|---|---|
0 | 1.0 | 1.0 | 1.0 |
1 | 2.0 | 2.0 | 2.0 |
2 | 4.0 | 4.0 | 4.0 |
3 | NaN | 0.0 | 4.5 |
4 | 5.0 | 5.0 | 5.0 |
5 | 8.0 | 8.0 | 8.0 |
6 | 7.0 | 7.0 | 7.0 |
7 | NaN | 0.0 | 4.5 |
前後の値を元に補間で埋める
補間という言葉を知らなかったが、調べたら次のように出てきた。
補間(ほかん)とは、ある既知の数値データ列を基にして、そのデータ列の各区間の範囲内を埋める数値を求めること、またはそのような関数を与えること。
interpolate
関数を使うと、前後の値を元に補間してくれる。
df['col_fill_interpolate'] = df.col_nan.fillna(df.col_nan.interpolate()) df
index | col_nan | col_fill_0 | col_fill_mean | col_fill_interpolate |
---|---|---|---|---|
0 | 1.0 | 1.0 | 1.0 | 1.0 |
1 | 2.0 | 2.0 | 2.0 | 2.0 |
2 | 4.0 | 4.0 | 4.0 | 4.0 |
3 | NaN | 0.0 | 4.5 | 4.5 |
4 | 5.0 | 5.0 | 5.0 | 5.0 |
5 | 8.0 | 8.0 | 8.0 | 8.0 |
6 | 7.0 | 7.0 | 7.0 | 7.0 |
7 | NaN | 0.0 | 4.5 | 7.0 |
まとめ
今後使えそうな、NaNを埋める方法を3つ確認しておいた。なかなかゼロ埋めを多用することはなさそうなので、平均値か補間を使うことになりそう。ただ、補間は並び方でも偏りが出そうなので気をつけたい。