リピート問題とは、大規模言語モデルなどの生成AIが、文章を生成する際に同じ単語やフレーズを無限に繰り返してしまう現象のことです。文章の品質を著しく低下させる不具合として知られており、デコーディング時のパラメータ調整などによって対策が行われています。
リピート問題とは
一言でいうと、生成AIが同じ言葉や文を何度もループして出力してしまう不具合のことです。
詳しく解説
リピート問題は、トランスフォーマーを用いた大規模言語モデルなどのテキスト生成プロセスにおいて発生する典型的な課題です。生成モデルは確率的に次のトークンを予測して出力しますが、特定のフレーズが出力された確率が自己強化的に高まってしまうことで、無限のループに陥ることがあります。モデルのサイズ、学習データの偏り、あるいは推論時のデコーディング戦略の不備が主な原因として挙げられます。これを防ぐために、AI開発では様々なアルゴリズム的な工夫が取り入れられています。
具体例・使われ方
例えば、チャットボットや文章生成AIを利用した際、「ありがとうございます。ありがとうございます。ありがとうございます。」のように同じ挨拶や文言が何行にもわたって延々と出力されてしまうケースが挙げられます。また、長文の要約を作成する際にも、同じ段落や表現が繰り返し生成されてしまうことがあります。
似た用語との違い
ハルシネーション（幻覚）が事実とは異なる不正確な情報を生成してしまう現象であるのに対し、リピート問題は情報の正確性とは関係なく同じ表現がループする出力障害であるという点で区別されます。
注意点
リピート問題は、プロンプトの記述方法やtemperatureなどの生成パラメータを適切に調整することで発生頻度を抑えられますが、完全に根絶することは難しく、モデルのバージョンや入力されるコンテキストの長さによっては依然として発生するリスクがあります。