エントロピー正則化とは、機械学習モデルの過剰適合を防ぎ、出力の多様性を促すために損失関数にエントロピー項を追加する手法です。モデルが特定の予測に固執することを防ぎ、探索能力や汎化性能を高めるために用いられます。
エントロピー正則化とは
エントロピー正則化とは、予測の確率分布に「偏りすぎないこと」をペナルティや報酬として課すことで、過学習を防ぎ多様な選択肢を保持させるための手法です。
詳しく解説
機械学習や最適化問題において、モデルが特定の出力や判断に過剰に自信を持つと、未知のデータに対する汎化性能が低下する過剰適合が起きやすくなります。これを防ぐため、出力の確率分布のエントロピー（不確実性の度合い）を計算し、それが低くなりすぎる（＝一部の選択肢に確率が集中しすぎる）場合にペナルティを与えるか、あるいはエントロピーを大きくする項を損失関数に加えます。特に強化学習においては、方策エントロピー正則化として頻繁に利用され、エージェントが早期に一つの行動だけに固執するのを防ぎ、未知の環境を探索する能力（探索と活用のトレードオフ）を維持する重要な役割を果たします。
具体例・使われ方
強化学習において、ロボットの移動制御やゲームのAIを学習させる際に用いられます。行動選択の確率分布にエントロピー正則化を導入することで、AIが最適なルートを学習しつつも、時には別の行動を試すようになり、局所最適解に陥るのを回避してより良い方策を見つけることができます。
似た用語との違い
一般的なL1正則化やL2正則化が重みパラメータの大きさを制限してモデルの複雑さを抑えるのに対し、エントロピー正則化は主にモデルの「出力確率の分布」や「方策の不確実性」に働きかけ、多様性を直接コントロールする点に違いがあります。
注意点
エントロピー正則化の係数を大きくしすぎると、モデルがランダムな予測ばかり出力するようになり、本来の学習目標を達成できなくなるというデメリットがあります。そのため、タスクの性質に応じて適切なハイパーパラメータの調整が必要です。