MBPP
MBPP（Mostly Basic Python Problems）は、大規模言語モデルのコード生成能力を評価するために設計されたベンチマークデータセットです。約1,000個のエントリーレベルのPythonプログラミング問題で構成されており、各問題には自然言語による指示、解答となるコード、そして動作検証用のテストケースが含まれています。
大規模言語モデルのAI用語一覧（2ページ目）
101件大規模言語モデルに関するAI用語を101件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は2ページ目です。
OpenAI o1 (Series)
OpenAI o1 Seriesは、高度な推論能力と問題解決能力を重視して開発された大規模言語モデルの新しい系統です。回答を生成する前に内部で思考の連鎖を行うことで、数学や科学、コーディングなどの複雑なタスクで高い精度を発揮します。
温度サンプリング
温度サンプリングは、大規模言語モデルがテキストを生成する際に出現する単語の確率分布を調整し、出力のランダム性や創造性を制御するハイパーパラメータです。温度の値を高くすると多様で意外性のある文章になり、低くすると一貫性のある予測しやすい文章が出力されます。
文脈ウィンドウ
文脈ウィンドウとは、大規模言語モデルが一度に処理・記憶できるテキストの最大長を指します。トークン単位で測定され、この容量が大きいほど長文の読解や過去のやり取りの保持がスムーズになります。
ゼロショットプロンプティング
ゼロショットプロンプティングとは、AIに対して事前に解答例（例示）を与えず、指示文（プロンプト）のみを入力してタスクを実行させる手法です。大規模言語モデル（LLM）の持つ事前知識と推論能力を活用し、事前の調整や追加データなしで多様な問題に対応できます。プロンプトエンジニアリングの最も基本的な手法の一つです。
ファインチューニングAPI
ファインチューニングAPIとは、クラウド上のAIモデルに追加の学習データを送信し、特定の用途やタスクに特化した独自のカスタムモデルを手軽に作成・利用できるように提供されているプログラムインターフェースのことです。
コンテキスト内学習
コンテキスト内学習とは、大規模言語モデルがモデルのパラメータを更新することなく、プロンプト内で提供された指示や例示のみを参照して新しいタスクをその場で適応・実行する能力のことです。事前学習で得た知識を活用し、少数の例を示すだけで柔軟にタスクを処理できるため、AIの応用範囲を大幅に広げました。
Pass@k
Pass@kとは、生成AIや大規模言語モデルが問題を解決する精度評価の指標です。1つの課題に対してモデルがk個の回答を生成した際、その中に少なくとも1つ以上の正しい回答が含まれている確率を示します。主にコード生成AIの性能評価やベンチマークテストで用いられ、モデルの潜在的な回答能力を計測するのに役立ちます。
MMLU
MMLUは大規模言語モデルの総合的な知識と問題解決能力を測るための代表的なベンチマークテストです。人文科学や社会科学、STEM分野など幅広い専門知識を問う選択式問題で構成されており、AIの学力測定における標準指標として広く利用されています。
LLMオーケストレーション
LLMオーケストレーションとは、大規模言語モデルを中心に複数の外部ツールやデータソース、処理フローを統合し、高度なタスクを自動実行させる仕組みです。単一のLLMでは対応できない複雑な処理を、プロンプトチェーンやエージェント技術を用いて効率的に制御します。
サブワード分割
サブワード分割とは、テキストを意味のある細かい断片に分割する自然言語処理の手法です。未知語への対応や語彙数爆発の抑制を両立させ、大規模言語モデルなどの性能向上に不可欠な役割を果たしています。
思考の連鎖
思考の連鎖とは、大規模言語モデルが複雑な問題解決や論理的推論を行う際、答えに至るまでの推論のプロセスを段階的な文章として出力させる手法です。これにより、単発の回答よりも正確で信頼性の高い結果を引き出すことが可能になります。
OpenAI
OpenAIは、高度な人工知能の開発を進める研究機関および企業です。生成AIである大規模言語モデルのGPTシリーズなどを開発し、AI技術の発展と社会的影響の双方から世界的に注目を集めています。
スカラー量子化
スカラー量子化は、AIや機械学習において連続値を持つ数値を少ないビット数の離散値に変換し、モデルのメモリ削減や処理速度向上を図るデータ圧縮技術です。大規模言語モデルやベクトル検索の軽量化に広く利用されています。
プレゼンスペナルティ
プレゼンスペナルティとは、大規模言語モデルのテキスト生成において、すでに文章中に登場した単語の再出現確率を下げるパラメータです。同じ単語やフレーズの重複を抑え、表現の多様性を高めるために調整されます。
創発
創発とは、個別の要素が集まり相互作用することで、単純な足し合わせ以上の高度な性質や機能が全体として現れる現象です。AI分野では大規模言語モデルにおいて予期せぬ能力の獲得として注目されています。
KVキャッシュ
KVキャッシュとは、大規模言語モデルが文章を生成する際に、過去に計算したKey（鍵）とValue（値）の中間データを保持して再利用する技術です。毎回最初から計算し直す無駄を省くことで、文章の生成速度を大幅に向上させます。長文生成時の応答時間を短縮し、計算リソースを効率化するために不可欠な手法です。
インコンテキスト学習
インコンテキスト学習とは、大規模言語モデルに事前学習済みの重みを更新させることなく、プロンプト内で提示された指示や例示だけで新しいタスクを理解・実行させる手法です。モデルのパラメータを変更せずに文脈情報のみを利用するため、迅速かつ柔軟なタスク適用が可能であり、生成AIの標準的な対話や応用で広く活用されています。
Chain of Thought
Chain of Thought（CoT、思考の連鎖）とは、大規模言語モデルに対して問題の解決手順や推論ステップを段階的に出力させるプロンプトエンジニアリングの手法です。単に最終的な答えを求めるのではなく、途中の思考プロセスを明示させることで、算術問題や論理的推論における回答精度を大幅に向上させます。
ゼロショットプロンプト
ゼロショットプロンプトとは、AIモデルに対して事前のお手本（例示）を一切与えずに、指示文だけで目的のタスクを実行させるプロンプトエンジニアリングの手法です。大規模言語モデルが持つ高度な自然言語処理能力を活用することで、事前の追加学習や例示なしで柔軟な回答を得ることができます。
コンテキスト長制限
コンテキスト長制限とは、大規模言語モデルが一度の処理で受け入れ、理解できるテキスト（トークン）の最大量に課される制約のことです。プロンプトとして入力する指示や過去の対話履歴、およびモデルが出力する回答の合計がこの制限内に収まる必要があり、制限を超えたテキストはモデルに入力できず、文脈が無視される原因になります。
グループト・クエリ・アテンション
グループト・クエリ・アテンションは、大規模言語モデルの推論を高速化しメモリ消費を抑えるためのアテンション機構です。マルチヘッド・アテンションの効率性とマルチクエリ・アテンションのメモリ削減の長所を組み合わせた技術として注目されています。
自律型AIエージェント
自律型AIエージェントとは、人間からの具体的な指示を細分化し、自ら計画を立てて外部ツールの利用や試行錯誤を繰り返しながら複雑な目標を達成するAIシステムです。従来の対話型AIを超えた自律的な問題解決手法として注目されています。
インコンテキストラーニング
インコンテキストラーニングとは、大規模言語モデルが学習時のパラメータを更新することなく、プロンプト内に提示された事例や文脈を読み取るだけで、新たなタスクをその場で学習して実行する仕組みのことです。