スケジュール付きサンプリングは、AIの系列生成モデルにおいて、訓練時と推論時のデータの食い違いを解消するための学習手法です。正解データとモデル自身の予測を切り替える確率を訓練の進行度に応じて徐々に変化させます。
スケジュール付きサンプリングとは
スケジュール付きサンプリングとは、機械学習の系列生成において、モデルが自身の過去の出力を使って次の予測を行う割合を、学習の進行に合わせて動的に調整する手法です。
詳しく解説
通常の訓練では教師強制という手法が用いられ、常に正解のデータが次の入力として与えられます。しかし、これでは推論時にモデル自身が犯した小さな誤りが累積して全体の精度が大きく低下する露光バイアスという問題が生じます。スケジュール付きサンプリングはこの課題を解決するために導入されました。学習初期は正解データを多めに与えて安定した学習を促し、学習が進むにつれてモデル自身の予測を入力として使う確率をスケジュール（計画）に沿って高めていきます。これにより、推論時により近い環境でモデルを訓練することが可能となります。
具体例・使われ方
機械翻訳モデルの訓練において、初期段階では正解の単語列を次の入力として使いますが、学習が中盤に差しかかるにつれて、モデルが直前に出力した単語を次の入力として選択する割合を徐々に増やしていきます。
似た用語との違い
通常の教師強制では常に正解データが入力され、自己回帰モデルによる完全な推論では常にモデルの出力が入力されますが、スケジュール付きサンプリングは両者の割合を訓練の経過時間に応じて滑らかに切り替える点が異なります。
注意点
学習の初期からモデル自身の予測入力を多用すると、勾配が不安定になりモデルの収束が著しく遅れる恐れがあります。また、適切な確率のスケジュール設計はタスクやモデルの構造によって異なるため、事前のチューニングが重要です。
この解説は役に立ちましたか？誤りが含まれる場合はご報告いただけますと幸いです。
更新日時: 2026年9月17日 01:11