プレザンスペナルティは、大規模言語モデルが文章を生成する際に同じ単語や話題の繰り返しを抑えるためのハイパーパラメータです。生成済みのテキスト内に特定のトークンが1回でも出現しているかどうかに応じてペナルティを与えることで、モデルが新しい話題や多様な語彙を導入しやすくし、出力の多様性を高めます。
プレザンスペナルティとは
プレザンスペナルティとは、大規模言語モデルのテキスト生成において、既に一度登場した単語やテーマの再出現を抑え、生成される文章に新しい話題や多様な表現を取り入れやすくするための設定値（ハイパーパラメータ）です。
詳しく解説
大規模言語モデルは、前後の文脈から次に続く確率が高いトークンを予測して文章を生成します。このとき、過去の生成結果に引っ張られて同じ単語や表現を何度も繰り返してしまう傾向があります。プレザンスペナルティを設定すると、生成済みテキスト内に既に1回でも存在するトークンに対して一律のペナルティが課され、そのトークンが選ばれる確率が下がります。出現回数に関わらず出現したか否かで判定される点が特徴であり、文章全体のテーマを広げたい場合や、同じ話のループを防ぐ際に重要な調整項目となります。
具体例・使われ方
例えば、ブレインストーミングで新しいアイデアを出させたい場合や、ストーリー作成で展開を広げたい場合にプレザンスペナルティを高く設定します。これにより、同じキーワードの連用が減り、未知の概念や新しい語彙が提案されやすくなります。一方で、厳密な用語解説や特定のプロンプトの指示を忠実に守らせたい場合には値を低く設定します。
似た用語との違い
混同されやすい概念としてフリークエンシーペナルティがあります。プレザンスペナルティが出現の有無（1回以上出たかどうか）だけを基準に一律で確率を下げるのに対し、フリークエンシーペナルティは出現回数に応じてペナルティを段階的に重くする点が異なります。話題を広く展開したい場合はプレザンスペナルティ、特定の単語の過剰な連用を防ぎたい場合はフリークエンシーペナルティが適しています。
注意点
プレザンスペナルティの値を高く設定しすぎると、文脈に必要な重要な用語まで避けられるようになり、支離滅裂な文章や誤った内容が出力されるリスクがあります。また、指定したプロンプトの指示を無視して脈絡のない話題へ飛んでしまう場合もあるため、生成目的に合わせた適切な調整が必要です。