ターゲットネットワークとは、深層強化学習においてQ学習などの訓練を安定させるために導入される補助的なニューラルネットワークです。学習中に目標値が激しく変動する問題を解決し、AIモデルの収束性を高めるために利用されます。
ターゲットネットワークとは
一言でいうとターゲットネットワークとは、深層強化学習における学習の目標値を一時的に固定し、安定したモデル更新を実現するためのコピーされたニューラルネットワークのことです。
詳しく解説
深層Qネットワーク（DQN）などの強化学習アルゴリズムでは、Q関数をニューラルネットワークで近似します。通常の学習では、予測値と目標値の計算に同じネットワークパラメータを使用するため、パラメータを更新するたびに目標値も変わり、学習が不安定になるという課題がありました。この問題を解決するため、パラメータを一定期間固定した「ターゲットネットワーク」を導入し、計算されるターゲット（目標値）を安定させます。これにより、誤差逆伝播法における勾配の計算が安定し、効率的な最適化が可能となります。
具体例・使われ方
代表的な利用例として、アトariのゲームなどをプレイする深層Qネットワーク（DQN）の訓練が挙げられます。DQNでは、行動価値を予測するメインネットワークとは別に、一定ステップ数ごとに重みがコピーされるターゲットネットワークを用意し、損失関数の計算における教師データ（目標値）として利用します。これにより、方策が急激に発散することを防ぎます。
似た用語との違い
学習を直接進めるための「メインネットワーク（予測用ネットワーク）」と混同されやすいですが、ターゲットネットワークはあくまで目標値を計算するためだけに存在し、その重みは直接勾配法で更新されず、定期的なコピーによってのみ更新される点が異なります。
注意点
ターゲットネットワークを導入しても、コピーの間隔（更新頻度）の調整が難しいという課題があります。間隔が短すぎると学習が不安定になり、長すぎると最新の方策への追従が遅れて学習効率が低下するため、ハイパーパラメータの適切なチューニングが必要です。