未知語
自然言語処理（NLP）において、機械学習モデルの学習データや辞書（語彙リスト）に含まれていない、未登録の単語のこと。新語やスペルミスなどが該当し、これらが適切に処理されないと、翻訳精度の低下やエラーの原因となります。サブワード分割技術などの導入により、未知語への対応が進められています。
自然言語処理のAI用語一覧（6ページ目）
334件自然言語処理に関するAI用語を334件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は6ページ目です。
大型言語モデル
大型言語モデル（LLM）とは、膨大なテキストデータとディープラーニング技術を用いて人間の言語を理解し生成するAIモデルです。文章の作成や要約、質問への回答など多様な自然言語処理タスクを高精度に実行できます。
テキスト読み上げ
テキスト読み上げとは、入力された文字データを音声波形に変換し、コンピュータやAIが自然な声で発声する技術です。音声合成の主要な技術として、アクセントやイントネーションの制御が可能になり、幅広いアプリケーションで活用されています。
逐次ラベル付け
逐次ラベル付けとは、自然言語処理などの連続的なデータにおいて、前後の文脈を考慮しながら系列内の各要素に対して順序立ててラベルを付与する機械学習のアプローチです。
確率的潜在意味解析
確率的潜在意味解析は、文書と単語の関係性から背後にある隠れたトピックを統計的に抽出する自然言語処理のモデルです。従来の決定論的な手法を確率モデルに拡張し、文書群の潜在的な意味構造を解明します。
TF-IDF
TF-IDF（Term Frequency - Inverse Document Frequency）は、テキストデータの中から特定の単語の重要度を評価するための統計的な計算手法です。文書内での単語の出現頻度と、他の多くの文書における希少性を組み合わせることで、その文書を特徴付ける特徴的なキーワードを抽出できます。自然言語処理や情報検索の分野で広く利用されています。
統計的機械翻訳
統計的機械翻訳は、大量の二言語間テキストコーパスを用いた確率モデルに基づき、ある言語の文を別の言語へ自動的に翻訳する技術です。かつては主流の手法でしたが、現在はより文脈理解に優れるニューラル機械翻訳に取って代わられています。
シーケンス生成
シーケンス生成とは、時系列データやテキストなどの連続したデータ列（シーケンス）を予測・生成するAI技術です。入力されたデータに基づいて次の要素を順次予測することで、自然言語処理による文章生成、音声合成、機械翻訳など幅広い領域で利用されています。深層学習モデルの進化により、高精度で自然な連続データの出力が可能になりました。
プレザンスペナルティ
プレザンスペナルティは、大規模言語モデルが文章を生成する際に同じ単語や話題の繰り返しを抑えるためのハイパーパラメータです。生成済みのテキスト内に特定のトークンが1回でも出現しているかどうかに応じてペナルティを与えることで、モデルが新しい話題や多様な語彙を導入しやすくし、出力の多様性を高めます。
教師強制
教師強制とは、言語モデルや時系列モデルの学習において、前のステップでモデル自身が予測した値ではなく、正解データを次のステップの入力として与える学習手法です。学習の初期段階でも誤差の拡大を防ぎ、モデルの収束を大幅に早める効果があります。一方で、学習時と推論時の入力条件の違いによる性能低下を招く場合もあります。
ストリーミング
ストリーミングとは、AIがデータを処理・生成する際に、すべてのデータが完成するのを待たずに、生成された部分から逐次出力していく技術やプロセスのことです。特に大規模言語モデルにおけるテキスト生成や、音声認識・合成などで広く活用されています。ユーザーの待ち時間を劇的に減らし、対話型システムの操作性を高めるために不可欠な手法となっています。
一方向性
一方向性とは、AIモデルがデータを処理する際に、特定の方向（例：文章の前から後）のデータのみを利用して予測や生成を行う性質のことです。GPTなどの生成AI（大規模言語モデル）で採用されている一方向アテンションは、過去の文脈だけを参考に次の単語を予測する仕組みであり、自然なテキスト生成に適しています。
AI-OCR
AI-OCRとは、AI技術を活用して手書き文字や複雑なレイアウトの文書を高精度に読み取り、デジタルデータ化する技術です。従来のOCRでは認識が難しかった文字も高確率で判別できるため、企業のペーパーレス化やデータ入力業務の効率化に広く活用されています。
スマートスピーカー
スマートスピーカーとは、AIアシスタントを内蔵し音声操作で家電の制御や情報検索ができるスピーカー機器です。自然言語処理技術を活用してユーザーの意図を理解し、音楽再生やニュース読み上げなどの便利な機能を提供します。
MBPP
MBPP（Mostly Basic Python Problems）は、大規模言語モデルのコード生成能力を評価するために設計されたベンチマークデータセットです。約1,000個のエントリーレベルのPythonプログラミング問題で構成されており、各問題には自然言語による指示、解答となるコード、そして動作検証用のテストケースが含まれています。
実体（エンティティ）
AIやデータ処理における実体（エンティティ）とは、人物、組織、場所、概念など、識別可能な個々のオブジェクトや実体を指します。自然言語処理の固有表現抽出や知識グラフにおいて、データの意味を構造化し、機械が現実世界の情報を理解するための重要な基礎となります。
相対位置埋め込み
相対位置埋め込みは、Transformerモデルにおいてトークン間の絶対的な位置ではなく、トークン同士の相対的な距離や順序関係を表現するための手法です。文脈の長さに左右されず、柔軟な位置情報を付与できる特徴があります。
セルフアテンション
セルフアテンションとは、入力データ内の各要素同士の関連度を計算し、文脈に応じた重み付けを行う深層学習の技術です。トランスフォーマーの中核を担い、自然言語処理などで長距離の依存関係を効率的に捉えることができます。
単語分散表現
単語分散表現とは、言葉の意味を多次元の数値ベクトルに変換し、コンピュータが自然言語のニュアンスや文脈を理解できるようにする技術です。AIにおける自然言語処理の基礎であり、単語同士の意味的な近さを計算できるようになります。
エンベディング
エンベディングとは、テキストや画像などの非構造化データをコンピュータが計算可能な連続した数値の並びである高次元ベクトルに変換する技術です。意味が近いデータ同士を空間上で近い位置に配置することで、AIが概念同士の類似性や関係性を効率的に把握できるようにします。
固有表現抽出
固有表現抽出とは、テキストデータから人名や組織名、地名などの特定の意味を持つ固有名詞を自動的に検出して分類する自然言語処理の技術です。AIによる情報抽出や文書の構造化において、検索精度や要約の質を高める基盤技術として広く活用されています。
ナイーブベイズ分類器
ナイーブベイズ分類器は、ベイズの定理を基礎としたシンプルで高速な機械学習の分類アルゴリズムです。特徴量同士が独立であるという「ナイーブ（素朴）」な仮定を置くことで計算量を大幅に削減し、テキスト分類やスパムメール検出などで広く活用されています。
バグ・オブ・ワーズ
Bag of Words（バグ・オブ・ワーズ）は、文章や単語の順序を無視し、単語の出現回数だけを数えて数値データ化する自然言語処理の基本的な手法です。文書分類や感情分析の前処理として広く使われます。
ルールベース機械翻訳
ルールベース機械翻訳とは、人間が定義した文法規則や辞書データに基づいて言語間の変換を行う従来の翻訳手法です。統計的機械翻訳やニューラル機械翻訳の普及以前に主流であり、現在でも特定のドメインや専門分野で活用されています。