非自己回帰モデルとは、テキストや音声などのシーケンスデータを生成する際、各要素を依存関係なく同時に並列出力するニューラルネットワークモデルです。従来の自己回帰モデルが1トークンずつ順番に生成していたのに対し、非自己回帰モデルは並列処理によって推論速度を劇的に向上させられる点が大きな特徴です。
非自己回帰モデルとは
非自己回帰モデル（Non-autoregressive model）とは、テキストや音声、画像などの時系列データを生成するAIモデルにおいて、出力するすべてのトークン（単語や画素など）を依存関係なしに同時に生成する手法のことです。1ステップずつ順番に生成を行う自己回帰モデルとは対照的に、一度の処理で全体のデータを並列出力できるため、生成スピードが極めて高速であるという特徴を持っています。
詳しく解説
従来の自然言語処理や音声合成では、直前に出力した単語や音声を次の入力として利用する自己回帰モデルが主流でした。例えば、代表的なニューラルネットワーク構造であるTransformer（自己回帰型）も、左から右へ1トークンずつ順番に処理を行います。しかし、この方法では系列長が長くなるほど推論に時間がかかるという課題がありました。この課題を解決するために登場したのが非自己回帰モデルです。非自己回帰モデルは、出力トークン間の時間的な依存関係（自己回帰性）を排除または緩和し、すべての位置のトークンを一斉に並列処理します。これにより、GPUなどの並列計算資源を最大限に活用でき、推論速度を数十倍に高速化することが可能になります。仕組みとしては、最初に出力シーケンスの長さを予測し、その長さに合わせて全スロットを一時に埋めるように生成します。
具体例・使われ方
具体的な利用例としては、リアルタイム性が強く求められる自動翻訳（機械翻訳）システムや、音声合成（TTS）エンジンが挙げられます。特にスマートスピーカーやスマートフォンの音声アシスタントにおいて、ユーザーの入力に対して即座に合成音声を返す用途で非自己回帰モデルが導入されています。また、画像生成や動画生成の分野でも、生成ステップ数を劇的に削減するための技術として研究・応用されています。
似た用語との違い
最も混同されやすいのは「自己回帰モデル」です。自己回帰モデルは「1ステップ前の自分の出力を次の入力に使う」という制約があるため逐次処理になりますが、文脈の整合性や文法的な正しさを高く保ちやすいという強みがあります。これに対し、非自己回帰モデルは出力を「同時に」生成するため逐次処理がなく圧倒的に高速ですが、各トークンが周囲の決定を考慮せずに独立して出力されるため、同じ単語が重複したり、文法的に破綻したりしやすいという違いがあります。
注意点
非自己回帰モデルの最大の注意点は、生成される品質が自己回帰モデルに比べて低下しやすい点です。特に長文の翻訳などでは、単語間の整合性を保つのが難しく、不自然な文章が生成される傾向があります。そのため、近年では純粋な非自己回帰モデルだけでなく、数ステップに分けて段階的に洗練させていく「半自己回帰モデル」や、自己回帰モデルで学習した知識を非自己回帰モデルに転写する知識蒸留などの手法を併用して精度向上を図るのが一般的です。