機械学習自然言語処理

トップK

トップケイ · Top-K
16 views

トップKとは、AIが予測した確率の高い選択肢の中から、上位K個に絞り込むサンプリング手法です。大規模言語モデルの出力調整などで広く使われています。

トップKとは

一言でいうと、AIの予測結果から確率の高い上位「K個」の候補だけを残し、それ以外の可能性を切り捨てる制御パラメータのことです。

詳しく解説

大規模言語モデルが次に続くトークンを予測する際、出力可能な全単語に確率が付与されます。トップKでは、確率の上位から数えてK番目までの単語のみを残し、それ以外の確率を強制的にゼロにして除外します。これにより、完全に不自然な単語が生成されるリスクを低減しつつ、一定の多様性を保った出力を得ることができます。

具体例・使われ方

例えばK=40に設定した場合、モデルは次に続く確率が最も高い40個の単語の中からランダムに一つを選択します。これにより、意味の通らない支離滅裂な文章の生成を防ぎ、自然な文章を効率的に生成できるようになります。

似た用語との違い

トップP(Top-p)との違いとして、トップKが「上位何個の候補にするか」を固定するのに対し、トップPは「確率の累積がPを超えるまでの候補」を動的に選択する点があります。

注意点

Kの値を小さくしすぎるとモデルの出力が単調で創造性のないものになり、逆に大きくしすぎると不自然な単語や文脈に合わない言葉が選ばれる可能性が高まるため、タスクに応じた適切な調整が必要です。

更新日時: 2026年9月22日 08:00