自己回帰モデルは、時系列データや文章などのシーケンスデータにおいて、過去の自身の出力を未来の予測に利用する統計・機械学習モデルです。自然言語処理の分野で広く使われる大規模言語モデル（LLM）の基盤技術であり、直前に生成された単語を次の単語予測の入力として逐次的に処理することで、自然な文章生成を可能にします。
自己回帰モデルとは
自己回帰モデルとは、データの過去の値（履歴）を利用して、その次の値を予測する数理モデル・ニューラルネットワークモデルのことです。
詳しく解説
自己回帰モデル（ARモデル）は元々、統計学や時系列解析の分野で、株価や気温の予測などに用いられていた手法です。AI・ディープラーニングの文脈においては、テキストや音声などのシーケンスデータを生成する生成AIの主要なアーキテクチャとして進化を遂げました。このモデルの基本原理は、時刻tにおけるデータ（例えば、文章中のt番目の単語）を、時刻t-1以前のすべてのデータ（文脈）を条件とした確率分布としてモデル化することにあります。最新の大規模言語モデルでは、トランスフォーマーと呼ばれるアテンション機構を備えたニューラルネットワークを用いて、この自己回帰的なプロセスを効率的に実現しています。これにより、極めて自然で文脈に沿った文章やコード、音楽などを動的に1トークンずつ生成することが可能となっています。
具体例・使われ方
代表的な利用例としては、OpenAIが開発したGPTシリーズなどの大規模言語モデルによる文章生成が挙げられます。例えば、「今日は天気が良いので、」という入力に対し、モデルは次に続く最も確率が高い単語として「散歩に行きます」などを予測し、さらにその「散歩に行きます」を入力に加えて次の単語を予測するというプロセスを繰り返します。その他の利用例には、音声合成システムにおいて音波の波形を1点ずつ生成するWaveNetや、時系列データを用いた電力需要予測や株価予測などがあります。
似た用語との違い
非自己回帰モデルとの違い：自己回帰モデルが1要素ずつ順番に生成（シリアル処理）するのに対し、非自己回帰モデルはターゲットとなるすべての要素を一度に並列して生成します。非自己回帰モデルは生成速度が極めて速い一方で、要素間の依存関係を捉えるのが難しく、精度が低下しやすい傾向があります。また、拡散モデルなどの他の生成AI手法とも異なります。拡散モデルは、ノイズから徐々に画像などを復元するプロセスを用いますが、自己回帰モデルはあくまで過去の文脈から次の要素を逐次的に予測していくというアプローチを採用しています。
注意点
自己回帰モデルの最大のデメリットは、生成時の計算コストが高い点です。1トークンを生成するたびにモデル全体を再実行する必要があるため、並列処理が難しく、出力が長くなるほど推論の速度が低下します。また、生成の過程で一度誤った予測を出力してしまうと、その誤った情報がその後の入力データとなって蓄積されていくため、エラーが累積して徐々に文章が不自然になったり、事実とは異なる出力をするハルシネーションを引き起こしやすくなったりするという限界があります。