変数選択とは、機械学習や統計解析において、予測モデルの構築に最も寄与する重要な変数（特徴量）のみをデータから選別し、不要な情報を取り除く処理です。ノイズを減らすことでオーバーフィッティングを防ぎ、モデルの予測精度向上や計算コスト削減、モデルの解釈性向上を実現するために欠かせないデータ前処理の工程です。
変数選択とは
変数選択とは、機械学習モデルの構築や統計解析において、予測や分類に最も寄与する重要な変数（特徴量）のみをデータセットから抽出し、不要な変数を取り除くプロセスのことです。
詳しく解説
膨大なデータから予測モデルを構築する際、すべての変数を使用すると、ノイズとなる不要な情報まで学習してしまい、オーバーフィッティングを引き起こす原因になります。また、計算コストが増大し、モデルの解釈性も低下します。変数選択は、これらを解決するために行われます。主な手法として、統計的な検定を用いるフィルター法、実際にモデルを学習させて評価するラッパー法、モデルの学習過程で変数選択を同時に行う埋め込み法があります。適切な変数選択を行うことで、モデルの予測精度の向上、計算時間の短縮、そしてどの変数が重要であるかという解釈性の向上が実現します。
具体例・使われ方
例えば、不動産の価格予測モデルを構築する際、部屋数、駅からの距離、築年数、近くのコンビニの数など、何百もの変数が存在することがあります。変数選択を適用することで、価格にほとんど影響を与えない「近くのコンビニの数」などを除外し、「部屋数」や「駅からの距離」といった本当に重要な変数だけを絞り込んで学習させることができます。
似た用語との違い
変数選択（特徴量選択）と混同されやすい概念に特徴量抽出があります。特徴量選択は元の変数のセットから一部の変数をそのまま選び出すのに対し、特徴量抽出は主成分分析などの次元削減技術を用いて、元の変数を組み合わせて新しい別の変数を作り出します。また、統計学の文脈では「変数選択」、機械学習の文脈では特徴量選択と呼ばれることが多いですが、基本的な目的や意味合いはほぼ同じです。
注意点
変数選択を行う際、変数同士の間に強い相関がある多重共線性を見落とすと、モデルの評価や変数選択の結果が不安定になる恐れがあります。また、データ数が少ない状態で過度に変数選択を行うと、選択プロセス自体が過学習に陥り、未知のデータに対する予測性能が低下することがあります。さらに、ドメイン知識を無視して機械的に変数を選択すると、実務上意味をなさないモデルが作成される危険性もあります。