Top-kとは、大規模言語モデルなどのテキスト生成において、次に生成するトークンの候補を確率の高い上位k個に制限する手法です。ランダムさを制御することで、出力テキストの品質を保ちつつ、多様性や自然さを調整する役割を果たします。値が小さいほど確実で一貫したテキストになり、大きいほど創造的で予測困難なテキストが生成されます。
Top-kとは
Top-k（トップケイ）とは、大規模言語モデルが文章を生成するデコーディングプロセスにおいて、次に続くトークンの予測候補を確率の高い順に「上位k個」に絞り込み、その中から次の言葉を選択するサンプリング手法です。
詳しく解説
大規模言語モデルがテキストを出力する際、システムは次に続く可能性のあるすべてのトークンに対して確率分布を計算します。何も制限を設けない場合、極めて確率の低い不自然な言葉が選ばれる可能性があります。Top-kサンプリングは、この確率分布のうち累積確率や値に関わらず、単純に確率が高い上位k個のトークンだけを候補として残し、それ以外の候補を排除します。残されたk個の候補の中で確率を再計算（正規化）し、その中からランダムに次のトークンを選択します。これにより、出力の破綻を防ぎながら、適度な揺らぎを持たせることができます。kの値を1にすると、常に最も確率の高いトークンのみが選ばれる「貪欲法」と同じ挙動になります。
具体例・使われ方
例えば、AIが「私は今日の昼食に」という文の後に続くトークンを予測するとき、「カレー（確率35%）」「ラーメン（確率25%）」「パスタ（確率15%）」「砂利（確率0.01%）」などの確率分布が得られたとします。ここでkの値を3に設定すると、上位3つである「カレー」「ラーメン」「パスタ」だけが選択肢として残り、「砂利」のような極端に不適切な単語は候補から完全に排除されます。この3つの中から確率に応じて最終的な出力が決定されます。
似た用語との違い
混同されやすい概念に「Top-p」サンプリング（別名：ニュークリアスサンプリング）があります。Top-kが「候補の個数（k）」を固定して選択するのに対し、Top-pは「累積確率の閾値（p）」を基準に候補を絞り込みます。例えば、絶対的な自信がある場面では候補を極端に絞り、予測が不確実な場面では自動的に候補を広げるといった動的な調整が可能な点がTop-pの特徴であり、固定数で絞り込むTop-kとはアプローチが異なります。
注意点
Top-kの値を小さく設定しすぎると、生成される文章が毎回同じような単調で退屈な内容になりやすくなります。逆にkの値を大きく設定しすぎると、確率の低い不適切なトークンが選択肢に入り込んでしまい、文脈の整合性が破綻した支離滅裂な文章が出力されるリスクが高まります。また、語彙全体の確率分布が平坦な場合と急峻な場合で、kという固定値が与える影響度が異なるため、タスクに応じた適切なハイパーパラメータの調整が必要です。