計画的サンプリングとは、系列生成モデルの学習において、正解データを入力する教師強制と、モデル自身の予測値を入力する自己回帰的な方法を段階的に切り替える手法です。学習時と推論時の入力分布のズレによって生じる露呈バイアスを緩和し、翻訳や音声合成などのタスクで生成品質を向上させる役割を果たします。
計画的サンプリングとは
計画的サンプリング（Scheduled Sampling）とは、再帰型ニューラルネットワークなどの系列生成モデルを学習させる際、正解データをモデルに入力する割合を、学習の進行度（スケジュール）に合わせて徐々に減らし、代わりにモデル自身が直前に出力した予測値を入力する割合を増やしていく手法です。
詳しく解説
系列生成タスクの学習では、一般に「教師強制」と呼ばれる、常に1ステップ前の正解データを次の入力として与える手法が用いられます。しかし、実際の推論時には正解データが存在しないため、モデル自身が生成した予測値を順次入力する「自己回帰モデル」として動作します。この学習時と推論時の設定のギャップは「露呈バイアス」と呼ばれ、一度予測を誤るとエラーが累積して出力が破綻する原因になります。計画的サンプリングは、この課題を解決するために提案されました。学習の初期段階では教師強制を用いて効率的に学習を進め、学習が進むにつれて、一定の確率（スケジュール）に基づいてモデル自身の予測値をフィードバックする割合を高めます。これにより、モデルは自らの誤りを修正しながら生成を継続する能力を獲得します。
具体例・使われ方
具体的な応用例として、ニューラル機械翻訳や音声合成、文章生成などの「系列生成」タスクが挙げられます。例えば、翻訳モデルの学習初期には「私は[正解：本を][正解：読む]」と正解を順次与えて基礎的な言語構造を学ばせます。学習の中期以降は、計画的サンプリングによってモデルが「私は[予測：雑誌を]」と誤った場合でも、その誤った入力を前提に「[予測：読む]」と破綻せずに文を続けられるよう訓練します。
似た用語との違い
完全に正解データのみを頼る「教師強制」単体の手法とは異なり、計画的サンプリングは段階的に自律的な生成を行わせる点で異なります。また、強化学習を用いた系列生成のアプローチとも異なり、計画的サンプリングは既存の損失関数と確率的な選択スケジュールのみで実装できるため、計算コストや学習の安定性の面で比較的導入しやすいという特徴があります。
注意点
計画的サンプリングの注意点として、確率的な切り替えを行うタイミング（スケジュール関数）の設計が難しいことが挙げられます。また、理論的にはモデルが「再帰型ニューラルネットワーク」の隠れ状態において一貫性のない学習を行う可能性が指摘されています。特にTransformerなどの並列学習が可能なアーキテクチャでは、逐次的なフィードバックを必要とする計画的サンプリングをそのまま適用することが難しいため、独自の工夫や代替手法が必要となります。