温度パラメーターとは、生成AIや大規模言語モデルにおいて文章生成時のランダム性や多様性を調整するための設定値です。数値を高くすると多様で創造的な回答が得られやすくなり、低く設定すると決定論的で一貫性のある正確な回答が得られやすくなります。タスクの目的に応じて出力を最適化する重要なサンプリング設定です。
温度パラメーターとは
温度パラメーターとは、大規模言語モデルなどの生成AIが出力するテキストのランダム性や創造性の度合いを制御するための数値です。
詳しく解説
生成AIが次の単語を予測する際、内部では各単語の出現確率を表す確率分布が計算されています。この確率分布を変換するソフトマックス関数の処理において用いられるのが温度パラメーターです。値を1より大きく設定すると各単語の確率差が小さくなり、出現確率が低い単語も選ばれやすくなるため、多様で予測不能なテキストが生成されます。逆に値を0に近づけると確率の最も高い単語が優先して選ばれるサンプリングが行われ、論理的で一貫したテキストが得られます。回答の多様性と正確性のバランスを制御する上で極めて重要なハイパーパラメーターです。
具体例・使われ方
例えば、ブレインストーミングや物語の作成など創造的なアイデアを求めたい場合は、値を0.8から1.0程度に高く設定します。一方で、プログラミングコードの生成やファクトチェック、翻訳など正確で決定論的な出力が求められる作業では、値を0.0から0.2程度に低く設定して利用されます。
似た用語との違い
Top-pサンプリングは累積確率の上位集合から単語を選ぶ手法であり、温度パラメーターが確率分布全体の鋭さを変えるのとはアプローチが異なります。またTop-kサンプリングは候補となる単語数を上位固定で絞り込む手法です。これらは併用されることが多く、温度パラメーターで確率分布を平滑化または鋭利化した後に、Top-pやTop-kで選択肢を絞り込みます。
注意点
温度パラメーターを極端に高く設定しすぎると、無意味な単語の羅列や文脈に合わない不自然な文章が生成される危険性があります。また、値を0に設定しても、並列計算のランダム性やモデルの仕様によって完全に同じ出力が得られない場合がある点にも注意が必要です。