自然言語処理のテキスト生成モデルなどにおいて、学習時と推論時で入力データの傾向が乖離することによって生じる累積的な誤りの現象。学習時は正解データを入力とするが、推論時は直前に自身が生成した不完全な出力を入力とするため、一度誤ると以降の生成品質が急速に低下してしまう問題を指す。
暴露偏位とは
暴露偏位（Exposure Bias）とは、機械学習（特に自然言語処理の文章生成タスク）において、モデルの学習段階と推論段階で入力されるデータの分布が異なるために発生するエラーの累積現象です。学習時には常に人間が作成した正確なテキストを入力されるのに対し、推論時には自分自身が直前に出力した不完全なテキストを次の入力として使うため、一度発生した小さな間違いが引き金となり、以降の出力がドミノ倒しのように崩れてしまう問題を指します。
詳しく解説
暴露偏位が発生する根本的な要因は、多くのテキスト生成モデルで採用されている教師あり学習の手法「Teacher Forcing」にあります。Teacher Forcingでは、モデルを訓練する際、ある時点での予測を行うために、その直前までの本物の正解データを入力として与えます。これにより訓練速度や精度は向上しますが、モデルは直前の入力が常に正しいという前提に過剰適合してしまいます。しかし、実際の推論段階では、教師となる正解データは存在しません。モデルは自分自身が直前に予測した出力を、次の入力として自律的に使用しなければなりません。このとき、モデルが一度でも不自然な単語を選択すると、モデルにとって学習時に遭遇しなかった未知のデータが次の入力として与えられることになります。その結果、モデルは適切に対応できず、以降のステップでエラーが連鎖的に蓄積し、意味の通らない文章が生成されてしまうのです。
具体例・使われ方
例えば、英語から日本語への機械翻訳モデルを考えます。訓練時には「I love cats.」という文に対して「私は」「猫が」「大好きです」という正しい順序で学習が進みますが、推論時にモデルが最初の単語で誤って「私は犬が」と出力してしまったとします。次のステップでは、自ら出力した「私は犬が」を入力として後続の翻訳を生成しなければなりませんが、モデルは訓練中に「私は犬が」という不自然な入力から「大好きです」へとつなげる経験をしていません。この結果、出力の文脈が破綻し、最終的に全く意味の通らない文章が生成されてしまいます。
似た用語との違い
混同されやすい概念として過学習や共変量シフトがあります。過学習は、訓練データに対してモデルが過剰に適合し、未知のデータに対する全体的な汎化性能が低下する一般的な現象です。一方、暴露偏位は時系列生成において、前のステップの出力が次のステップの入力になるという再帰的な構造に起因する、エラー蓄積の問題に特化しています。共変量シフトは入力データの分布が学習時とテスト時で変化すること全般を指す広義の概念ですが、暴露偏位はその中でも自律的な生成過程そのものが入力分布を変化させていく自己回帰モデル特有の形態と言えます。
注意点
暴露偏位への対策として、訓練中に徐々に正解データからモデル自身の出力データへと入力を切り替えていくスケジュール付きサンプリングや、強化学習を用いた評価尺度の直接最適化が考案されています。しかし、これらの対策は訓練プロセスを複雑化させたり、学習の安定性を損なったりするトレードオフが存在します。また、大規模言語モデルでは事前学習データの膨大さによってこの影響が緩和される傾向にありますが、長文生成や厳密な論理展開を必要とするタスクにおいては依然として無視できない課題となっています。