フリークエンシーペナルティは、大規模言語モデル（LLM）のテキスト生成において、同じ単語が何度も繰り返し出現することを抑制するためのパラメータです。生成中のテキスト内ですでに多く使われている単語の選択確率を下げることで、文章の単調化を防ぎ、より多様で自然な表現のテキストを出力させることができます。
フリークエンシーペナルティとは
フリークエンシーペナルティ（Frequency Penalty）とは、大規模言語モデル（LLM）がテキストを生成する際、すでに出力されたテキストの中で「出現頻度（フリークエンシー）が高い単語」に対してペナルティを課し、同じ言葉の重複やループを防ぐための制御設定です。
詳しく解説
大規模言語モデル（LLM）は、確率分布に基づいて次に続く可能性が最も高い単語（トークン）を予測し、テキストを生成します。しかし、特定の文脈において同じ単語が過剰に繰り返され、単調で不自然な文章が生成される問題（リピート問題）が発生することがあります。フリークエンシーペナルティは、この問題を解決するためのパラメータです。具体的には、テキスト生成のプロセスにおいて、そのトークンがこれまでに出現した回数に比例してペナルティを適用し、そのトークンが再び選択される確率を低下させます。これにより、モデルは同じ言葉を執拗に繰り返すのを避け、同義語や異なる表現を選択するよう促され、より読みやすく流暢な文章が出力されるようになります。
具体例・使われ方
例えば、AIに「猫の魅力についてのエッセイ」を執筆させる際、フリークエンシーペナルティを設定しない場合、「猫はとても可愛いです。猫は癒やしを与えてくれます。猫の行動は面白いです。」のように「猫」という単語が何度も連続して出力されることがあります。ここでフリークエンシーペナルティを適用すると、すでに「猫」というトークンが複数回出現しているため、以降の生成では「猫」の選択確率が下がり、「この動物は」「彼らは」といった代名詞や、「愛猫」などの異なる表現が選ばれやすくなります。
似た用語との違い
混同されやすい概念に「プレゼンスペナルティ」があります。フリークエンシーペナルティは、対象の単語が出現した「回数（頻度）」に応じて累積的にペナルティを課し、使われれば使われるほどペナルティが重くなります。これに対し、プレゼンスペナルティは、その単語がテキスト内に「1回でも存在するかどうか」のみを判定基準とし、出現回数に関わらず一律のペナルティを課す仕組みです。前者は同じ単語の過剰な連呼を防ぐのに適しており、後者は新しい話題や語彙を導入して文章の多様性を広げるのに適しています。
注意点
フリークエンシーペナルティの値を高く設定しすぎると、専門用語や固有名詞、あるいは接続詞など、文章を構成する上で不可欠な単語まで不自然に避けられてしまい、文法が崩壊したり意味の通じない文章になったりする恐れがあります。また、この設定は生成AIのAPIなどでパラメータとして調整可能ですが、モデルの種類によって最適な適用範囲が異なるため、タスクに応じた慎重な微調整が必要です。