スケジュールサンプリングとは、ニューラルネットワークの訓練時において、正解データとモデル自身の予測のどちらを入力として使うかを確率的に切り替える手法です。訓練と推論の乖離を解消し、モデルの性能や頑健性を向上させます。
スケジュールサンプリングとは
スケジュールサンプリングとは、系列生成モデルの訓練時に教師強制と自己回帰的な予測を徐々に切り替えることで、訓練と推論の不一致を軽減する学習手法です。
詳しく解説
通常の系列生成タスクにおける訓練では、正解データを次の入力として与える教師強制（Teacher Forcing）が一般的に用いられます。しかし、この方法では推論時にモデル自身の過去の出力を使う自己回帰的な生成を行うため、訓練時と推論時で入力データの分布が異なるという課題が生じます。スケジュールサンプリングでは、訓練の進行に伴って正解データを使用する確率を徐々に下げ、モデル自身の予測を使用する割合を増やすことで、この不一致を緩和し、より安定したモデルを構築します。
具体例・使われ方
機械翻訳モデルや文章生成モデルの訓練において、初期のステップでは正解の単語を次の入力として多く与え、エポックが進むにつれてモデルが生成した単語を次の入力として使う確率を直線的あるいは指数関数的に高めていく形で利用されます。
似た用語との違い
従来の教師強制が常に正解データ入力を前提とし、純粋な自己回帰生成が常にモデルの出力入力を前提とするのに対し、スケジュールサンプリングはこれらの中間に位置し、学習の進捗に応じて両者の比率を動的に変化させる点に違いがあります。
注意点
学習の初期段階でモデルの予測精度が低い状態において自己回帰的な入力を急激に増やすと、エラーが連鎖して勾配が不安定になり、学習が収束しにくくなるリスクがあるため、スケジュール設計には注意が必要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月18日 14:45