大規模言語モデル
大規模言語モデル（LLM）とは、膨大なテキストデータを学習し、人間のような自然な文章の理解や生成を行うAIモデルです。自然言語処理技術やトランスフォーマー構造を基盤としており、文章要約、対話、翻訳、プログラミング支援など幅広い用途で活用されています。現代の生成AIブームを牽引する中核的な技術です。
自然言語処理のAI用語一覧
47件自然言語処理に関するAI用語を47件掲載しています。意味や使い方、関連用語を一覧から確認できます。
隠れマルコフモデル
隠れマルコフモデル（HMM）は、観測できない隠れた状態の推移と、その状態から確率的に発生する観測データの関係をモデル化した統計的確率モデルです。時系列データやシーケンスデータの解析に適しており、音声認識や自然言語処理などの分野で長年にわたり幅広く活用されています。
トピックモデル
トピックモデルは、大量のテキストデータから潜在的なテーマ（トピック）を自動的に抽出する自然言語処理および機械学習の技術です。文書内にどのような話題がどのような割合で含まれているかを統計的に推定し、膨大な文書群の整理や検索、推薦システムなどに活用されます。代表的な手法として潜在的ディリクレ配分法（LDA）があります。
事前学習
事前学習とは、AIモデルに特定のタスクを学習させる前段階として、大量のデータを用いて汎用的な知識やパターンを習得させるプロセスのことです。ディープラーニングや大規模言語モデルの開発において不可欠な手法であり、ゼロから学習させるよりも少ないデータと計算量で高精度なモデルを構築できる転移学習の基礎となっています。
テキストマイニング
大量のテキストデータから自然言語処理や統計解析を用いて有益な情報や規則性、傾向を抽出・分析する技術です。アンケート回答やSNSの投稿、コールセンターのログといった非構造化データを構造化し、顧客ニーズの把握や課題の発見に役立てられます。
統計的機械翻訳
統計的機械翻訳は、大量の二言語間テキストコーパスを用いた確率モデルに基づき、ある言語の文を別の言語へ自動的に翻訳する技術です。かつては主流の手法でしたが、現在はより文脈理解に優れるニューラル機械翻訳に取って代わられています。
条件付き確率場
条件付き確率場（CRF）は、データの順序や文脈による相互依存関係を考慮して最適なラベルシーケンスを予測する確率的グラフィカルモデルです。自然言語処理の品詞タグ付けや固有名詞抽出などの「逐次ラベル付け」において、前後のつながりを統合的に判断して高精度な分類を実現するための基盤技術として広く用いられています。
テキスト分類
テキスト分類は、自然言語処理を用いてテキストデータを事前に定義されたカテゴリーに自動で分類する技術です。迷惑メールの判定や顧客レビューの感情分析など幅広く実用化されています。ルールベースの手法から、機械学習、そして最新のディープラーニングや大規模言語モデルを用いた手法へと進化しており、現代のAI活用における基礎的なタスクの一つとなっています。
潜在意味解析
潜在意味解析（LSA）は、テキストデータ内の単語と文書の共起関係を数学的に分析し、背後にある潜在的な意味構造を抽出する自然言語処理の技術です。特異値分解による次元削減を用いて、表記の揺れや同義語の関連性を捉えることができます。検索エンジンの高度化や類似文書の推薦など、初期のセマンティック検索に大きく貢献した古典的かつ重要な手法です。
ジェイルブレイク
ジェイルブレイクとは、大規模言語モデルなどの生成AIに対して安全対策や利用規約を迂回する特別な入力を行い、不適切な出力や本来禁止されている応答を引き出す攻撃手法や現象のことです。ロールプレイや巧みな前提条件の設定によって制限を解除させようとするもので、AIの安全性を脅かす課題としてセーフティフィルターの強化やアライメント対策が進められています。
大規模言語モデル（LLM）
大規模言語モデル（LLM）とは、膨大なテキストデータを学習し、人間のような自然な文章を生成・理解できるAIモデルです。Transformerと呼ばれる深層学習アーキテクチャをベースにしており、対話型AIや文章要約、翻訳、プログラミング支援など幅広い分野で活用されています。現代の生成AIにおける中核技術です。
機械翻訳
機械翻訳とは、ある自然言語で書かれたテキストや音声を、コンピュータを用いて別の自然言語へ自動的に変換する技術です。規則ベースや統計的機械翻訳を経て、現在はディープラーニングを活用したニューラル機械翻訳が主流となっています。国際的なコミュニケーションを円滑にし、ビジネスや日常のさまざまな場面で活用されています。
確率的潜在意味解析
確率的潜在意味解析は、文書と単語の関係性から背後にある隠れたトピックを統計的に抽出する自然言語処理のモデルです。従来の決定論的な手法を確率モデルに拡張し、文書群の潜在的な意味構造を解明します。
単語埋め込み
単語埋め込みとは、自然言語処理において単語の意味や文脈上の類似性を高次元のベクトル（数値列）として表現する技術です。単語同士の意味的な関係を数学的に計算可能にし、検索エンジン、機械翻訳、感情分析など多様なAIアプリケーションの基礎として活用されています。
Word2Vec
Word2Vecは、大量のテキストデータから単語を多次元のベクトルに変換する機械学習の手法です。単語の持つ意味や文脈上の役割を数値化（分散表現）することで、単語同士の意味の近さを計算したり、単語の足し算・引き算といった演算を行ったりすることを可能にしました。現代の自然言語処理における基礎技術の一つです。
チャットボット
チャットボットとは、テキストや音声を通じて人間と自動で会話を行うプログラムです。従来のルールベース型から、自然言語処理や生成AIを活用した高度なタイプまで存在します。カスタマーサポートの自動化や社内ヘルプデスク、対話型アシスタントなど幅広い分野で導入され、業務効率化と利便性向上に寄与しています。
パディング
パディングとは、機械学習やディープラーニングの入力データや特徴量マップの周囲に、0などの特定の値を補う処理です。画像処理では画像の端の情報ロスを防ぎ、自然言語処理では文章の長さを揃えるために必須の技術です。
ニューラル機械翻訳
ニューラル機械翻訳（NMT）は、ディープラーニングを応用した高精度な自動翻訳技術です。文章全体をひとつのニューラルネットワークで処理することにより、文脈を考慮した極めて自然で流暢な翻訳を実現します。Google翻訳やDeepLなどのサービスに採用されており、従来の翻訳技術を大きく上回る精度を誇ります。
文書分類
文書分類とは、テキストデータをその内容や意味に応じてあらかじめ定義されたカテゴリに自動で振り分ける自然言語処理の技術です。電子メールのスパム判定やニュース記事の自動タグ付け、カスタマーサポートへの問い合わせ分類など幅広い分野で活用されています。機械学習や深層学習を用いることで大量の文章を高精度かつ高速に整理できます。
潜在的ディリクレ配分法
潜在的ディリクレ配分法（LDA）は、大量のテキストデータから隠れたトピックを自動的に抽出する代表的な確率的トピックモデルです。各文書が複数のトピックの確率的な混合物であり、各トピックが特定の単語の確率分布から構成されるという仮定に基づきます。自然言語処理やテキストマイニングなどで文書の分類や傾向分析に広く活用されています。
感情分析
感情分析は、テキストデータから書き手の感情や態度、意見（好意、敵意、中立など）をAI技術を用いて判定・抽出する手法です。SNSの投稿やカスタマーレビューの分析、市場調査などに広く活用されており、自然言語処理の代表的な応用技術として知られています。顧客の本音を定量的に把握し、製品改善やブランドイメージの向上に貢献します。
系列データ
系列データとは、順序や前後の文脈が重要な意味を持つデータの総称です。時系列データや自然言語の文章、音声などが該当し、AIの分野ではリカレントニューラルネットワークやトランスフォーマーなどのモデルを用いて処理されます。
音声AI
音声AIとは、人間の音声を機械が認識・理解し、合成や応答を行う人工知能技術の総称です。スマートスピーカーや音声アシスタント、自動文字起こしなど、私たちの身近な様々なサービスや機器に広く活用されており、直感的なヒューマンマシンインターフェースを実現します。
バッグ・オブ・ワーズ
バッグ・オブ・ワーズは、文書や文章に登場する単語の出現回数を数え、文法や語順を無視して単語の集合としてデータを表現する手法です。自然言語処理やテキストマイニングにおいて、テキストを数値化する最も基礎的なアプローチとして広く利用されています。