フラッシュデコーディング
Flash Decodingは、大規模言語モデルの生成（推論）フェーズにおける処理を高速化するための技術です。アテンション計算におけるメモリ帯域のボトルネックを解消し、特に長いプロンプトを入力した際のトークン生成速度を大幅に向上させます。
大規模言語モデルのAI用語一覧（4ページ目）
101件大規模言語モデルに関するAI用語を101件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は4ページ目です。
フューショット・プロンプティング
フューショット・プロンプティングとは、大規模言語モデルに対して事前に数件の入力と出力の具体例を提示し、モデルの精度や出力の質を向上させるプロンプトエンジニアリングの手法です。
ドラフトモデル
ドラフトモデルとは、大規模言語モデルの推論を高速化する手法である投機的デコーディングにおいて、軽量で高速にテキストの仮生成を行う小型のモデルのことです。精度の高いターゲットモデルの計算量を削減しつつ出力スピードを大幅に向上させます。
シーケンサー
シーケンサーとは、順序性を持つデータを連続して処理あるいは生成するための仕組みやモデルのことです。時系列データや自然言語処理の分野で広く活用され、前後の文脈を考慮した高度な処理を実現する基盤技術として重要な役割を担っています。
ツールコーリング
ツールコーリングとは、大規模言語モデルが自らの判断で外部の関数やAPIを呼び出し、計算処理や最新情報の取得を行えるようにする技術です。モデル単体では苦手な正確な計算やリアルタイムデータの処理が可能になります。
文章生成AI
文章生成AIとは、人間の指示や入力されたテキストに基づいて、自然で文脈に適した文章を自動的に作成する人工知能技術です。ビジネスメールの作成やプログラミングコードの生成、小説の執筆など幅広い用途で活用が進んでいます。
因果言語モデル
因果言語モデルは、テキストの文脈において過去の単語列から未来の単語を予測するように学習する自然言語処理モデルです。GPTシリーズなどに代表される多くの大規模言語モデルの基礎技術として広く利用されています。
Nucleusサンプリング
Nucleusサンプリングは、大規模言語モデルが文章を生成する際に、確率の高い単語の累積確率が一定の閾値に達する範囲から次の単語を選ぶ手法です。多様性を保ちながら不自然な単語の選択を防ぎ、自然な出力を得るために広く利用されています。
GPT-4
GPT-4は、OpenAIが開発した最先端の大規模言語モデルです。高度な推論能力やマルチモーダル処理を備え、自然言語処理の分野で広く活用されています。文章作成だけでなく、画像認識やプログラミングなど多様なタスクに対応します。
グループ化クエリ・アテンション
グループ化クエリ・アテンション（Grouped-Query Attention）は、大規模言語モデルのTransformerにおける自己注意機構の計算効率を改善する手法です。マルチヘッド・アテンションとマルチ・クエリ・アテンションの中間に位置し、メモリ帯域のボトルネックを緩和しつつ高い生成品質を維持します。
ファンクションコーリング
大規模言語モデル（LLM）が外部のプログラムやAPIを自動的に呼び出して実行する機能です。自然言語の入力を受け取ったモデルが、適切な関数と引数を判断して出力することで、リアルタイム情報の取得や外部システムとの連携を実現します。
フラッシュアテンション
FlashAttentionは、Transformerモデルの中核であるアテンション計算の速度を高速化し、メモリ消費量を劇的に削減するアルゴリズム技術です。GPUのハードウェア特性を活かした最適化により、長文処理を効率化します。
コンテキスト学習
コンテキスト学習とは、大規模言語モデルに対し、追加のパラメータを更新することなく、入力プロンプト内に例題や指示を与えて目的のタスクを正確に実行させる手法です。ファインチューニングを行わずに新たなタスクへ適応できる点が特徴です。
Constitutional AI
Constitutional AI（憲法AI）とは、AIモデルの安全性や倫理性を確保するために、人間が事前に定めた「憲法（原則集）」に基づいてAI自身にフィードバックや修正を行わせる手法です。従来のRLHFに伴う人手やコストの削減を図りつつ、有害な出力の抑制とモデルの適切なアライメントを実現する技術として注目されています。
ReAct
ReAct（Reason and Act）とは、大規模言語モデルが自律的に思考（Reasoning）と行動（Acting）を交互に繰り返して複雑な課題を解決するフレームワークです。推論プロセスと外部ツールの使用を組み合わせることで、最新情報の参照や正確な計算が可能となり、AIエージェントの正確性と信頼性が大幅に向上します。
ゼロショット・プロンプティング
ゼロショット・プロンプティングは、大規模言語モデルに対して具体的な回答例を一切与えずに、指示文だけで目的のタスクを実行させるプロンプト手法です。モデルが事前学習で獲得した広範な知識と高度な言語理解能力を活用することで、事前の追加学習や例示を行わずに、分類や要約、翻訳などの様々な処理を直接行わせることができます。
フューショット・コット
Few-Shot CoTとは、大規模言語モデルに数件の具体例と推論の思考プロセスをあらかじめ提示し、複雑な問題に対する正確な回答を引き出すプロンプトエンジニアリングの手法です。
ゼロショットCoT
ゼロショットCoTとは、大規模言語モデルに対して具体的な推論の例示（デモ）を与えずに、思考のプロセスをステップバイステップで段階的に出力させるプロンプトエンジニアリングの手法です。
推測的デコーディング
推測的デコーディングは、大規模言語モデルのテキスト生成速度を高速化する推論最適化技術です。軽量なドラフトモデルで仮のトークンを高速に生成し、大型のターゲットモデルで一括検証することで、出力品質を落とさずに生成遅延を大幅に削減します。
数学的推論能力
数学的推論能力とは、AIが文脈や論理規則を理解し、数学的な問題に対して解法ステップを順序立てて導き出す能力のことです。単なる計算処理だけでなく、文章題の解釈や定理の応用、証明の構築など高度な思考能力が含まれます。大規模言語モデルの発展に伴い、思考鎖プロンプトなどの手法を通じて大幅に向上しています。
マルチモーダル大規模言語モデル
マルチモーダル大規模言語モデルとは、テキストだけでなく画像や音声など多様なデータを同時に理解し処理できるAIモデルです。従来のテキスト中心の大規模言語モデルを拡張し、人間のように視覚や聴覚情報を踏まえた高度な対話や推論を実現します。
スパースモデル
スパースモデルとは、AIモデルの内部パラメータのうち、特定の入力に対して実際に活性化・稼働する割合を意図的に抑えて効率化する手法です。計算コストを削減しつつ性能を維持できるため、大規模言語モデルなどの高速化に不可欠な技術として注目されています。
直接選好最適化
直接選好最適化（DPO）とは、人間の好みに合わせて大規模言語モデルを調整するアライメント手法の一つです。従来のRLHFのように独立した報酬モデルを学習させずに、人間の選好データから直接モデルを最適化できるため、学習の安定性と計算効率が大幅に向上します。
インコンテキスト・ラーニング
インコンテキスト・ラーニングとは、大規模言語モデルに対して事前に追加学習を行わず、プロンプト内にいくつかの例示や指示を与えるだけで、その文脈（コンテキスト）を理解して目的のタスクを実行させる能力や手法のことです。モデルのパラメータを直接更新せずに新しい作業へ適応できる点が大きな特徴です。