ベクトル空間モデル
ベクトル空間モデルとは、文書や単語などのデータを数値の配列であるベクトルとして表現し、幾何学的な空間上で類似度を計算する数学的モデルです。情報検索や自然言語処理の分野で、文書同士の関連性を定量的に評価するために広く利用されています。
自然言語処理のAI用語一覧（2ページ目）
47件自然言語処理に関するAI用語を47件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は2ページ目です。
TF-IDF
TF-IDF（Term Frequency - Inverse Document Frequency）は、テキストデータの中から特定の単語の重要度を評価するための統計的な計算手法です。文書内での単語の出現頻度と、他の多くの文書における希少性を組み合わせることで、その文書を特徴付ける特徴的なキーワードを抽出できます。自然言語処理や情報検索の分野で広く利用されています。
Transformer
Transformerは、2017年に提案されたディープラーニングのアーキテクチャです。入力データ内の関連性を効率的に計算するアテンションメカニズムを活用し、従来の再帰型ニューラルネットワークに比べ並列処理性能を飛躍的に向上させました。現代の大規模言語モデルや画像認識モデルの基盤技術として広く利用されています。
再帰型ニューラルネットワーク
再帰型ニューラルネットワーク（RNN）は、時系列データや文章などのシーケンスデータを扱うために設計されたディープラーニングの基本モデルです。過去の情報を内部状態として保持し、次の入力へ引き継ぐ再帰構造を持つため、データの前後関係や文脈を考慮した高度な予測や解析が可能です。テキスト生成や音声認識など幅広い分野で利用されています。
デコーダ
デコーダは、符号化されたデータや入力されたコンテキストを基に、テキストや画像などの分かりやすい情報へ変換・生成するAIの重要な構成要素です。大規模言語モデルなどの生成AIにおける中核技術として幅広く活用されています。
エンコーダ
エンコーダとは、入力されたデータをコンピュータが処理しやすい形や別の表現に変換する仕組みのことです。自然言語処理や画像認識などのAI分野で広く活用されており、データの意味や特徴を効率的に抽出する役割を担っています。
識別器
識別器とは、入力されたデータがどのカテゴリに属するかを判定する機械学習アルゴリズムやモデルのことです。画像認識やスパムメール判定など、AIのさまざまな分類タスクにおいて中心的な役割を果たしています。
テキスト読み上げ
テキスト読み上げとは、入力された文字データを音声波形に変換し、コンピュータやAIが自然な声で発声する技術です。音声合成の主要な技術として、アクセントやイントネーションの制御が可能になり、幅広いアプリケーションで活用されています。
音声処理
音声処理とは、人間の話し声や音響信号をコンピュータで解析、変換、合成する技術の総称です。機械学習や深層学習の発展により精度が飛躍的に向上し、スマートスピーカーや自動翻訳など現代の様々なAIサービスで広く活用されています。
トップkサンプリング
トップkサンプリングとは、大規模言語モデルが文章を生成する際に、確率が高い上位k個の単語のみを選択肢として残し、その中からランダムに次の単語を選ぶ手法です。確率の低い不自然な単語を排除しつつ、文章の多様性を保つために広く使われています。
GPT
GPT（Generative Pre-trained Transformer）は、OpenAI社が開発したトランスフォーマーというニューラルネットワーク構造をベースにする大規模言語モデルです。膨大なテキストデータから事前学習を行い、自然な文章生成や多様なタスクに対応できます。現代の生成AIの基盤技術として広く活用されています。
BERT
BERTはGoogleが開発した自然言語処理モデルです。Transformerを双方向に学習する仕組みにより、文脈を深く理解でき、AIの言語理解能力を飛躍的に向上させました。
RNN
RNN（Recurrent Neural Network）は、時系列データや自然言語などの順序を持つ情報を処理するために設計されたニューラルネットワークです。過去の出力を記憶しながら処理を進める点が特徴ですが、長距離の依存関係学習には勾配消失問題などの限界があります。
アテンションメカニズム
アテンションメカニズムは、ディープラーニングにおいて入力データ全体のなかから重要な部分に選択的かつ動的に注目し、計算資源を割り当てる技術です。機械翻訳や文章生成の精度を飛躍的に向上させました。
コーパス
コーパスとは、自然言語処理やAIの学習・研究のために、言語の実際の使用例を大量に収集し、構造化・整理したテキストデータ群のことです。文章や会話データを目的別に分類し、品詞などの情報（メタデータ）を付与することで、大規模言語モデルの事前学習や言語分析に利用されます。
ルールベース機械翻訳
ルールベース機械翻訳とは、人間が定義した文法規則や辞書データに基づいて言語間の変換を行う従来の翻訳手法です。統計的機械翻訳やニューラル機械翻訳の普及以前に主流であり、現在でも特定のドメインや専門分野で活用されています。
ビタビアルゴリズム
ビタビアルゴリズムは、観測された系列データから、最も確からしい隠れた状態の系列を効率的に見つけ出す動的計画法に基づくアルゴリズムです。隠れマルコフモデルなどの確率モデルにおいて、音声認識や形態素解析などに広く利用されています。
逐次ラベル付け
逐次ラベル付けとは、自然言語処理などの連続的なデータにおいて、前後の文脈を考慮しながら系列内の各要素に対して順序立ててラベルを付与する機械学習のアプローチです。
構造化予測
構造化予測とは、単一のスカラー値ではなく、木構造やグラフ、系列データといった複雑で相互依存関係にある出力構造を一度に予測する機械学習の手法です。自然言語の構文解析や画像セグメンテーションなどで広く活用されています。
フィルター
フィルターとは、入力データから特定のパターンや不要な情報を取り除く仕組みです。AI分野では、畳み込みニューラルネットワークにおける特徴抽出や、生成AIでの有害表現の排除など、幅広い用途で重要な役割を果たしています。
アテンション機構
アテンション機構とは、ニューラルネットワークが入力データ全体の中から特に重要な部分に焦点を当てて処理を行う仕組みです。機械翻訳や文章生成の精度を飛躍的に向上させたTransformerの根幹技術であり、現在の生成AIの基礎となっています。
デコーダー
デコーダーとは、AIや機械学習の分野において、エンコーダーなどが処理した潜在表現や数値データをもとに、人間にとって理解しやすい言語や画像、音声などの具体的な出力へ変換する役割を持つ中核的なコンポーネントです。
エンコーダー
エンコーダーとは、入力されたデータをAIが処理しやすい別の表現や数値の形式に変換する仕組みのことです。画像やテキストなどの生データを特徴量として抽出し、特徴ベクトルへと圧縮する役割を持ちます。