深層Q学習（DQN）は、試行錯誤を通じて最適な行動を学ぶ強化学習の手法であるQ学習に、深層学習（ニューラルネットワーク）を組み合わせたアルゴリズムです。従来の手法では扱えなかった複雑な画像データなどの高次元な情報から、最適な行動を自律的に学習できるため、ゲームAIやロボット制御などの多様な分野で活用されています。
深層Q学習とは
深層Q学習（DQN）とは、試行錯誤を通じて最適な行動を学ぶ強化学習の手法である「Q学習」に「深層学習」の技術を組み合わせたアルゴリズムです。従来のQ学習では対応が難しかった高次元で複雑なデータ（画像の入力など）を直接処理し、適切な行動価値を予測できるようになります。
詳しく解説
従来のQ学習は、状態と行動の組み合わせごとの価値（Q値）をテーブル形式で記録していました。しかし、ゲーム画面のような高次元のデータを扱う場合、状態の組み合わせが膨大になり計算が破綻するという課題がありました。深層Q学習では、このQ値を「ニューラルネットワーク」を用いて近似することによって、複雑な環境でも効率的に学習することを可能にしました。さらに、学習の安定化のために過去の体験を保存してランダムに再利用する「経験再生」や、目標値を計算するネットワークを固定する手法などを導入し、高い学習性能を実現しました。これにより「深層強化学習」という分野が大きく発展しました。
具体例・使われ方
代表的な利用例として、Atariのレトロゲームにおいて人間を超えるスコアを記録した事例があります。ゲームの操作方法を事前に教えなくても、画面のピクセル情報（画像データ）を入力として受け取り、試行錯誤を繰り返すことでスコアを最大化する操作を自律的に獲得しました。その他にも、ロボットの制御や自動運転の走行制御、ゲームAIの開発など、複雑な判断が求められるシミュレーション環境で幅広く活用されています。
似た用語との違い
従来の「Q学習」は状態数が少ないシンプルな環境に適しており、テーブルで正確なQ値を管理します。これに対し「深層Q学習」は、ニューラルネットワークを用いて連続的かつ複雑な状態の価値を近似する点で異なります。また、囲碁AIなどで用いられる方策勾配法などの他手法が行動の出力確率を直接学習するのに対し、深層Q学習は各行動の「価値」を予測して最大の価値を持つ行動を選択する手法である点も違いの一つです。
注意点
深層Q学習は、状態空間が非常に広大な問題にも適用できますが、ハイパーパラメータの設定が極めて繊細であり、学習が不安定になりやすいという欠点があります。また、連続的な行動空間（微小な数値を滑らかに変化させる制御など）の出力には直接向いておらず、そうした用途には別のアプローチが必要です。さらに、Q値を過剰に高く評価してしまう問題が発生しやすいため、改善版であるDouble DQNなどの派生手法が使用されることも多いです。