自動回帰モデル（自己回帰モデル）とは、過去の自身の出力やデータパターンを基に、未来の値を順番に予測・生成する機械学習のモデルです。時系列データの予測だけでなく、ChatGPTをはじめとする大規模言語モデルのテキスト生成の基盤技術としても広く使われており、現代の生成AIにおいて不可欠なアプローチとなっています。
自動回帰モデルとは
自動回帰モデルとは、時系列データやテキストなどのシーケンスデータにおいて、過去の出力値（自分自身の過去のデータ）を次の予測の入力として利用し、1ステップずつ順番に未来のデータを予測・生成していく確率モデルのことです。
詳しく解説
自動回帰モデルは、統計学や時系列解析の分野で長年使われてきた古典的な手法ですが、近年のディープラーニングや自然言語処理の進化に伴い、その重要性が飛躍的に高まりました。特に、Transformerと呼ばれるニューラルネットワークアーキテクチャを採用した大規模言語モデルでは、この自動回帰の仕組みがテキスト生成の根幹を担っています。モデルは手前のトークンの並びから、確率的に次に続く可能性が最も高いトークンを1つずつ予測し、それを新たな入力に加えて次のトークンを予測する、というプロセスを繰り返します。これにより、極めて自然で文脈に沿った文章生成が可能となります。なお、専門分野によっては「自己回帰モデル」と呼ばれることの方が一般的です。
具体例・使われ方
代表的な例は、ChatGPTなどの大規模言語モデルによるテキスト生成です。ユーザーが入力したプロンプトに対し、1文字または1単語（トークン）ずつ文字を紡ぎ出すように回答を出力していきます。また、金融市場での株価予測、気温や降水量の気象予測、さらには音声合成や音楽生成など、時間の経過とともに変化する様々な時系列データの予測や生成において幅広く活用されています。
似た用語との違い
混同されやすい概念として「非自己回帰モデル」があります。自動回帰モデルが1要素ずつ順番に（シーケンシャルに）データを生成するのに対し、非自己回帰モデルはすべてのデータを並列（同時）に一括生成します。非自己回帰モデルは生成スピードが非常に速いというメリットがありますが、前後の文脈や依存関係を緻密に反映させるのが難しく、生成の品質や自然さにおいては自動回帰モデルの方が一般的に優れています。
注意点
自動回帰モデルの最大の課題は推論（生成）の処理速度です。データを順番に1つずつ処理する必要があるため並列処理が難しく、長い文章やデータを生成する際には計算時間がかかります。また、生成の途中で一度誤ったトークンを選択すると、その誤りが後続の予測に累積的に影響し、最終的な出力結果が破綻してしまう「エラーの蓄積」という現象が発生しやすい点も注意が必要です。