自己回帰（AR）とは、過去の自分自身の出力結果を次の入力として利用し、順番にデータを生成していく予測モデルの仕組みです。言語モデルや音声合成など、最先端の生成AIの基盤技術として広く活用されています。
自己回帰とは
一言でいうと自己回帰とは、過去に出力したデータを利用して、次に続く新しいデータを一つずつ順次予測・生成していく仕組みのことです。
詳しく解説
自己回帰（Autoregressive）モデルは、過去の観測値や生成結果に基づいて現在の値を予測する統計的および機械学習の手法です。言語モデルにおいては、これまでに生成された単語の列を入力として受け取り、次に続く確率が最も高い単語を予測・選択します。このプロセスを繰り返すことで、自然な文章やコード、音声などを1トークンずつ連続して生成することが可能になります。近年、大規模言語モデルの飛躍的な性能向上を支える重要な中核技術となっています。
具体例・使われ方
具体的な利用例として、チャットボットや文章生成AIにおけるテキストの自動生成があげられます。AIはユーザーからの入力に対し、自己回帰の仕組みを用いて最初の1単語を予測し、その単語を含めた全体を新たな入力として次の単語を予測する作業を高速に繰り返すことで、一連の自然な回答文を作り上げます。
似た用語との違い
非自己回帰モデルとの違いとして、自己回帰モデルはトークンを一つずつ順番に生成するため文脈のつながりが自然になりやすい一方で、生成速度が逐次処理に依存して遅くなる傾向があります。一方、非自己回帰モデルは全体を一度に生成するため高速ですが、文脈の一貫性を保つのが難しいという特徴があります。
注意点
注意点として、自己回帰には過去の予測誤差が未来の予測へと連鎖して蓄積していく「エラーの伝播」という課題があります。生成が長くなるほど文脈が逸脱したり、事実とは異なる内容を出力したりするハルシネーションのリスクが高まるため注意が必要です。