LLM生成AI自然言語処理

ニュークリアスサンプリング

にゅーくりあすさんぷりんぐ · Nucleus Sampling
4 views

LLMなどの文章生成時に、確率が高い単語から累積確率が一定のしきい値(p値)に達するまでの候補群(ニュークリアス)を動的に選択し、その中から次の単語をランダムにサンプリングする手法。従来のTop-kサンプリングに比べ、文脈の不確実性に応じて候補数を柔軟に変化させられるため、より自然で多様なテキスト生成が可能になります。

ニュークリアスサンプリングとは

「ニュークリアスサンプリング(別名:Top-pサンプリング)」とは、大規模言語モデルが次の単語を出力する際に、確率の高い順に累積確率が事前に設定したしきい値(p)に達するまでの最小限の単語候補グループ(核:Nucleus)を抽出し、その中からランダムに選択するテキスト生成制御手法です。

詳しく解説

大規模言語モデルは、前後の文脈から次に続く単語の予測確率分布を計算します。単純に最も確率の高い単語を常に選択する「貪欲法」では、同じ表現の繰り返しや単調な文章になりがちです。これを避けるためにランダム性を導入するサンプリング手法が用いられます。ニュークリアスサンプリングは2019年に発表された手法で、累積確率(例えばp=0.90)を超える最小の単語セットのみを候補群とします。文脈によって次の単語の予測が確実な場合(確率分布が尖っている場合)は候補数が自動的に絞り込まれ、予測が不確実な場合(確率分布が平坦な場合)は候補数が自動的に広がります。これにより、文脈に応じた柔軟で高品質な文章生成が実現されます。

具体例・使われ方

チャットボットや対話型AIにおいて、パラメータ「Top-p」を0.9に設定した場合を考えます。モデルが次に続く単語を予測した際、最有力候補A(確率50%)、候補B(確率30%)、候補C(確率15%)、候補D(確率5%)があったとします。累積確率が90%に達するまで候補を上から足していくと、A + B + C(50 + 30 + 15 = 95%)となり、これら3つの単語候補が選択対象(ニュークリアス)になります。確率5%のDは除外された上で、A、B、Cの中から確率比率に応じて次の単語がサンプリングされます。

似た用語との違い

類似する手法に「Top-kサンプリング」があります。Top-kでは、文脈の不確実性に関わらず常に確率上位k個(例えばk=50)の固定された数の単語を候補とします。そのため、予測が極めて確実な場面でも不適切な単語が候補に入り込んだり、逆に予測が不確実な場面で適切な候補が切り捨てられたりする課題がありました。ニュークリアスサンプリングは、固定数(k)ではなく累積確率(p)を用いることで、この課題を解決しています。また、出力を決定論的に行う「温度サンプリング」や「貪欲法」とは異なり、ランダム性を動的かつ安全に管理できる点が異なります。

注意点

しきい値(p値)の設定が極端すぎると、生成品質が低下します。pの値を1.0に近づけすぎると、確率の極めて低い無関係な単語まで候補に含まれてしまい、文脈が破綻した支離滅裂な文章が生成されやすくなり、ハルシネーションを助長します。逆に、pの値を0.1などの非常に小さな値に設定すると、実質的に「貪欲法」と同じ状態になり、多様性が失われて同じ言葉を繰り返す単調なテキストになってしまいます。適切なパラメータ調整が必要です。

更新日時: 2026年9月1日 20:31