中央値代入法とは、機械学習のデータ前処理において、欠損値がある場合にそれをその特徴量の中央値で置き換える手法です。外れ値の影響を受けにくいため、平均値代入法と比べて歪んだ分布のデータに対して頑健であるという特徴を持ちます。
中央値代入法とは
中央値代入法とは、データセット内に存在する欠損値を、観測されたデータの真ん中の値である中央値で埋める欠損値処理の手法です。
詳しく解説
機械学習モデルを学習させる際、データに欠損値が含まれているとエラーが発生したり精度が低下したりするため、何らかの補完が必要です。中央値代入法は、数値データの分布が左右非対称である場合や、外れ値が含まれている場合に有効な手法です。平均値を用いた代入法は極端な値(外れ値)に大きく引っ張られてしまう欠点がありますが、中央値は値の大小順で中央に位置するため、極端な値の影響を緩和しつつ現実的な値を補完できるというメリットがあります。
具体例・使われ方
例えば、顧客の年収データにおいて一部の年収が未回答(欠損値)となっていた場合、回答のあった顧客の年収を小さい順に並べたときの中央の値を算出し、その値を未回答の顧客全員に当てはめてデータセットを完成させます。
似た用語との違い
平均値代入法との違いは、欠損値を補完する基準に平均値を使うか中央値を使うかという点です。平均値代入法は正規分布に近いきれいなデータで有効ですが、外れ値がある場合には中央値代入法の方が適切です。また、最頻値代入法は主にカテゴリ変数に用いられますが、中央値代入法は数値データに対してのみ適用されます。
注意点
中央値代入法は手軽に欠損値を埋められる反面、データ全体の分散を過小評価してしまう恐れがあります。また、欠損値自体が何らかの重要な意味(マーカー)を持っている場合、単に中央値で埋めることでモデルが本来の傾向を見失うリスクがあります。そのため、データの性質を十分に理解した上で適用する必要があります。