プレゼンスペナルティとは、大規模言語モデルのテキスト生成において、すでに文章中に登場した単語の再出現確率を下げるパラメータです。同じ単語やフレーズの重複を抑え、表現の多様性を高めるために調整されます。
プレゼンスペナルティとは
一言でいうと、プレゼンスペナルティとは「生成されたテキストの中で、すでに使われた単語の繰り返しを抑制する調整機能」です。
詳しく解説
大規模言語モデルが文章を生成する際、次に続く確率の高い単語を順次選択していきます。デフォルトのままだと、文脈によって特定の単語が何度も繰り返される傾向が生じる場合があります。ここでプレゼンスペナルティの値を高く設定すると、過去に出現したトークンに対して一律のペナルティ（罰則）がスコアに課され、選ばれにくくなります。これにより、モデルはまだ使っていない新しい話題や別の語彙を選択するよう促され、より自然で多彩な文章表現を生み出すことが可能になります。
具体例・使われ方
例えば、物語や小説を自動生成する際に、同じ登場人物の名前や特定の形容詞が何度も繰り返されて単調になるのを防ぎたい場合、プレゼンスペナルティを有効にします。また、長文のレポート作成やブレインストーミングの補助としてアイデア出しを行う際にも、語彙の重複を避けて多角的な表現を得るために利用されます。
似た用語との違い
混同されやすい概念としてフリークエンシーペナルティがあります。フリークエンシーペナルティが「出現回数」に比例してペナルティを重くするのに対し、プレゼンスペナルティは「すでに一度でも登場したかどうか」にのみ反応してペナルティを課す点が異なります。
注意点
注意点として、プレゼンスペナルティの値を過度に高く設定すると、本来繰り返されるべき重要な専門用語や指示語まで排除されてしまい、文章の意味が破綻したり文脈が不自然になったりするリスクがあります。用途やプロンプトに応じて適切な値を検証・調整する必要があります。