AIや機械学習において、データセットに含まれる欠損値や不完全な情報を埋めるための技術全般を指します。データの正確性を高め、モデルの精度低下を防ぐために重要な前処理のプロセスとして広く利用されています。
補完手法とは
一言でいうと補完手法とは、欠損データのある変数に対して統計的または機械学習的なアプローチを用いて予測値を当てはめ、データを完全な状態にするための手法のことです。
詳しく解説
実際のデータ分析やAIの学習では、センサーの故障やアンケートの未回答などによってデータが欠損することが日常茶飯事です。欠損値を含んだままモデルを学習させると、アルゴリズムが正常に動作しなかったり予測精度が著しく低下したりする問題が生じます。そのため、平均値や中央値といった単純な統計量で穴埋めする手法から、KNN（K近傍法）や多重代入法、さらには深層学習を用いた高度な予測補完まで、様々な補完手法が使い分けられています。
具体例・使われ方
例えば、顧客の購買履歴データにおいて、一部の顧客の年齢や年収データが欠損している場合に、他の購買傾向が似ている顧客のデータをもとに欠損している年齢を推測して埋めるケースが挙げられます。また、時系列の株価データや気象データにおいて、一時的な観測漏れが発生した際の前後の値から滑らかに数値を補う場合にも利用されます。
似た用語との違い
データ処理の文脈において「削除」と比較されることがあります。削除は欠損値を含むサンプルを単純に取り除く手法であり、データ量が大幅に減ってしまうデメリットがあります。一方、補完手法はデータ量を維持できる利点がありますが、誤った値を埋め込むとバイアスが生じるリスクがあります。
注意点
補完手法を用いる最大の注意点は、事実とは異なる人工的なデータを作り出してしまう可能性がある点です。不適切な補完を行うと、モデルが誤ったパターンを学習し、未知のデータに対する予測性能が低下する恐れがあります。また、欠損がランダムに発生していない場合には、補完によって重大な偏りが生まれるため慎重な判断が必要です。