AIアシスタント
AIアシスタントとは、人工知能技術を活用して人間の指示や質問を理解し、日常的なタスクの代行や情報の検索などを支援してくれるソフトウェアやシステムの総称です。文章の作成やスケジュールの管理など、多岐にわたる作業を効率化するツールとして広く普及しています。
自然言語処理のAI用語一覧（4ページ目）
334件自然言語処理に関するAI用語を334件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は4ページ目です。
エンティティ
エンティティとは、AIやデータ分析において、データやテキストから抽出・管理される「実体」や「概念の単位」を指します。自然言語処理では人名や地名、日付などの特定のキーワード（固有表現）を指し、データベースやナレッジグラフでは一意に識別可能な情報単位を意味します。AIが文脈を理解するための極めて重要な基本概念です。
ハッシュトリック
ハッシュトリックは、機械学習において膨大なカテゴリカル変数やテキストデータを固定長のベクトルに変換するデータ前処理手法です。ハッシュ関数を用いて文字列などを直接インデックスへ変換することで、辞書を作成・保持するメモリを大幅に削減し、大規模データセットでも高速に処理を行えます。
音声アシスタント
音声アシスタントとは、人間の音声による指示を理解し、さまざまなタスクを実行するAIシステムです。音声認識によって声をテキストに変換し、自然言語処理でユーザーの意図を分析した上で、情報を検索したり家電を操作したりします。近年は生成AIの搭載により、より自然で高度な会話や柔軟なタスク処理が可能になりつつあります。
次トークン予測
次トークン予測とは、与えられた文脈に続く最も確率の高い言葉（トークン）を予測して順次繋げていくAIの基本技術です。ChatGPTなどの大規模言語モデルの核心であり、事前学習で得た大量のテキストデータから文脈に応じた適切な次の言葉を選択・生成することで、人間のように自然な対話や文章作成を実現します。
コンテンツモデレーション
コンテンツモデレーションとは、WebサイトやSNS、生成AIなどのサービス上で、不適切・有害なテキストや画像などの投稿を検知・管理・削除する施策や技術のことです。AIを用いた自動フィルタリングと人間による目視確認を組み合わせることで、コミュニティの安全性確保と規約遵守を実現し、ユーザーや企業をリスクから保護します。
ChatGPT
ChatGPTは、OpenAIが開発した対話型の生成AIアシスタントです。高度な大規模言語モデルを基盤にしており、人間が書いたような自然な文章の生成、質問への回答、プログラミングコードの記述、文章の要約や翻訳など、幅広いテキスト処理タスクを対話形式で柔軟に実行できることが特徴です。
潜在ディクレレット配分法
LDA（Latent Dirichlet Allocation）は、文書の集まりから背後にある潜在的なトピックを自動で抽出するための確率的生成モデルです。教師なし学習の一つとして、テキストマイニングや文書の分類などで広く利用されています。
埋め込み表現
埋め込み表現（Embedding）とは、単語や画像などの多様なデータをコンピューターが扱いやすい連続値のベクトルに変換する手法です。データの意味的な近さや特徴を空間上の距離として表現できるため、機械学習モデルの精度向上に欠かせない基盤技術となっています。
分散表現
分散表現とは、単語や概念を多次元の連続値ベクトルとして表現する自然言語処理の技術です。意味の似た言葉同士が近傍に配置されるため、コンピュータが意味の類似性を数値として捉えることが可能になり、現代のAIの基礎技術となっています。
対話システム
対話システムとは、人間とコンピュータが自然言語を用いて双方向のコミュニケーションを行うためのシステムです。チャットボットや音声アシスタントなどに応用され、大規模言語モデルの発展により、より自然で文脈を理解した応答が可能になっています。
長期記憶
AIの長期記憶とは、大規模言語モデルやニューラルネットワークにおいて、過去の対話内容や膨大な情報を長期間にわたって保持し、必要に応じて呼び出す仕組みです。標準のコンテキスト長を超える情報を扱えるようにする技術として注目されています。
質的データ
質的データとは、数値化しにくい性質や状態、意見などの情報を指すデータです。テキストや画像などが該当し、AIや自然言語処理の分野で感情分析や分類モデルの学習素材として広く活用されています。
サブワード
サブワードとは、単語をそれより短い文字の断片に分割して処理する自然言語処理の手法です。未知語への対応や語彙数の爆発を防ぐため、大規模言語モデルなど多くのAIで標準的に採用されています。
テキスト補完
テキスト補完とは、入力された文章の後に続く自然なテキストを、大規模言語モデルなどの生成AIが予測して自動的に書き足す機能です。次トークン予測という仕組みに基づき、文脈に沿った確率の高い言葉を順番に紡ぎ出します。メールやコードの作成支援などに広く応用されていますが、事実誤認を伴うハルシネーションには注意が必要です。
ニュークリアスサンプリング
LLMなどの文章生成時に、確率が高い単語から累積確率が一定のしきい値（p値）に達するまでの候補群（ニュークリアス）を動的に選択し、その中から次の単語をランダムにサンプリングする手法。従来のTop-kサンプリングに比べ、文脈の不確実性に応じて候補数を柔軟に変化させられるため、より自然で多様なテキスト生成が可能になります。
トップPサンプリング
トップPサンプリング（ニュークリアスサンプリング）は、大規模言語モデルなどの生成AIが次のトークンを予測・選択する際に用いられる確率的な生成手法です。出力候補となるトークンの確率を高い順に累積し、その合計が指定した確率閾値（P）に達するまでの上位候補群のみからランダムに選択することで、自然で文脈に合ったテキスト生成を実現します。
全文検索エンジン
全文検索エンジンとは、文書内のすべての単語をインデックス化し、大量のテキストデータからキーワードに合致する情報を高速に探し出すシステムです。AIの検索拡張生成技術であるRAGにおいて、外部知識を正確に取得するための基盤としても広く活用されています。
ゼロショット学習
ゼロショット学習とは、AIモデルが学習時に一度も見たことのないデータやタスクに対して、事前の追加学習なしで適切に応答や推論を行う機械学習の手法です。事前の知識や文脈の汎用的な理解をベースにして未知の課題を解決します。
エンティティ抽出
エンティティ抽出とは、非構造化テキストから人名や組織名などの固有名詞を自動的に識別し分類する技術です。自然言語処理の中核技術として、情報検索やデータ分析の効率化に広く活用されています。
意図解釈
意図解釈（インテント認識）とは、人間が発したテキストや音声から、そのユーザーが「何をしたいのか（意図）」をコンピュータに分類・理解させる自然言語処理の技術です。チャットボットや音声アシスタントの基盤技術であり、ユーザーの多様な表現から背後にある要求を特定し、適切なシステム処理へと繋ぐ重要な役割を担います。
トークナイザ
トークナイザとは、人間が読むテキストをAIが処理できる数値の列へと変換するプログラムやモジュールです。大規模言語モデルにおいては、文章を単語や文字、あるいはそれらの断片であるトークンに細分化し、AIが計算可能な形式へ変換する役割を担います。
One-Hot表現
One-Hot表現とは、カテゴリカルなデータを機械学習モデルが扱えるよう、該当する要素のみを1とし、それ以外を0とした数値の並びへ変換する手法です。自然言語処理や表データの前処理で広く利用されますが、高次元化の課題もあります。
ボキャブラリ
AIの自然言語処理や大規模言語モデルにおいて、モデルが理解・処理できる単語やサブワードの全集合を指します。トークナイザによってテキストがボキャブラリ内のIDに変換され、AIが計算可能な数値データとして扱われます。