非自動回帰（Non-autoregressive）とは、自然言語処理などのシーケンス生成タスクにおいて、出力データを一から順に生成するのではなく、すべてのトークンを同時に（並列に）予測・出力するアプローチです。従来の自動回帰モデルに比べて生成速度を大幅に向上させられる一方で、トークン間の依存関係の処理に課題があります。
非自動回帰とは
非自動回帰とは、テキストや音声などのシーケンスデータを生成する際、前の出力結果に依存することなく、すべての要素を同時に並列処理して出力するアプローチのことです。
詳しく解説
従来の自然言語処理で主流の「自動回帰」モデルは、文頭から1文字（または1トークン）ずつ順番に予測を行い、その出力を次の予測の入力として利用します。この方法は高い精度が得られる反面、計算を並列化できず推論に時間がかかるという欠点があります。これに対し、非自動回帰モデルは、出力する系列全体の長さをあらかじめ予測するなどして、すべてのトークンを1回のネットワーク順伝播で同時に生成します。これにより、GPUなどの並列演算能力を最大限に活かした高速な推論が可能となります。しかし、単語同士の依存関係（文法的なつながりなど）を考慮しにくいため、「マルチモーダル性問題」（同じ入力に対して複数の正しい出力が混ざり、不自然な文が生成される現象）が生じやすく、精度の向上が研究課題となっています。
具体例・使われ方
具体的な利用例としては、リアルタイム性が強く求められる自動翻訳システムや、デバイス上での即時応答が必要な音声合成（TTS）エンジンが挙げられます。例えば、スマートフォンでの瞬時の音声対話や、長大な文書を瞬時に多言語翻訳するサービスにおいて、非自動回帰モデルをベースとした軽量・高速なデコーダが活用されています。
似た用語との違い
「自動回帰」モデルとの違いは、トークン生成における並列性にあります。自動回帰モデル（例：GPTなどの大規模言語モデル）は、前のトークンを入力として次のトークンを1つずつ順番に生成するため、処理時間が系列長に比例して長くなります。一方、非自動回帰モデルは全トークンを同時に生成するため、出力の長さに依存せずほぼ一定の超高速な推論が可能です。ただし、精度や文脈の自然さにおいては、文脈を逐次的に考慮できる自動回帰モデルの方が現時点では優位にあります。
注意点
注意点として、非自動回帰モデルは単純に適用すると、同じ単語が重複して出力されたり、文法的に破綻した文章が生成されたりするリスク（繰り返し問題や抜け漏れ）があります。この限界を克服するために、近年では一部に自動回帰的な処理を残した「準自動回帰」や、段階的に出力を修正していく反復型の非自動回帰モデルなども提案されており、純粋な一発生成だけではない技術的な工夫が必要です。