多義語
多義語とは、一つの言葉が文脈によって異なる複数の意味を持つ現象を指します。AIの自然言語処理においては、文脈に応じた適切な意味を正確に判断することが重要な課題となります。
自然言語処理に関するAI用語を334件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は3ページ目です。
多義語とは、一つの言葉が文脈によって異なる複数の意味を持つ現象を指します。AIの自然言語処理においては、文脈に応じた適切な意味を正確に判断することが重要な課題となります。
ワンホットエンコーディングとは、カテゴリカルデータを機械学習モデルが処理できる数値データに変換するための手法です。該当する要素を1、それ以外を0とするベクトルで表現し、機械学習におけるカテゴリ変数の数値化に広く利用されます。
検索エンジンとは、ユーザーが入力したキーワードに関連する情報を大量のデータの中から探し出すシステムです。近年では生成AIやベクトル検索技術が統合され、単なる一致ワードの検索から、文脈を理解した高度な回答生成へと進化を遂げています。
事前学習モデルとは、膨大なデータを用いてあらかじめ学習を済ませた人工知能モデルのことです。ゼロから学習させる手間やコストを大幅に削減し、様々なタスクへ効率的に適用できるため、近年のAI開発における基盤技術として広く活用されています。
テキスト分類は、自然言語処理を用いてテキストデータを事前に定義されたカテゴリーに自動で分類する技術です。迷惑メールの判定や顧客レビューの感情分析など幅広く実用化されています。ルールベースの手法から、機械学習、そして最新のディープラーニングや大規模言語モデルを用いた手法へと進化しており、現代のAI活用における基礎的なタスクの一つとなっています。
機械翻訳とは、ある自然言語で書かれたテキストや音声を、コンピュータを用いて別の自然言語へ自動的に変換する技術です。規則ベースや統計的機械翻訳を経て、現在はディープラーニングを活用したニューラル機械翻訳が主流となっています。国際的なコミュニケーションを円滑にし、ビジネスや日常のさまざまな場面で活用されています。
隠れマルコフモデル(HMM)は、観測できない隠れた状態の推移と、その状態から確率的に発生する観測データの関係をモデル化した統計的確率モデルです。時系列データやシーケンスデータの解析に適しており、音声認識や自然言語処理などの分野で長年にわたり幅広く活用されています。
感情分析は、テキストデータから書き手の感情や態度、意見(好意、敵意、中立など)をAI技術を用いて判定・抽出する手法です。SNSの投稿やカスタマーレビューの分析、市場調査などに広く活用されており、自然言語処理の代表的な応用技術として知られています。顧客の本音を定量的に把握し、製品改善やブランドイメージの向上に貢献します。
インテントとは、自然言語処理や対話システムにおいて、ユーザーが発話したテキストや音声から「何をしたいのか」という目的や意図を特定・分類したものです。チャットボットや音声アシスタントがユーザーの要求を正しく理解し、適切な返答や処理を返すための基盤技術として、現代のAIシステムで広く活用されています。
キーとは、Transformerなどの注意機構において、クエリとの類似度を計算し、情報の重要度を判断するために利用されるベクトル情報です。
セマンティック検索とは、検索クエリの表面的なキーワード一致ではなく、文脈や意図、意味を解釈して関連性の高い情報を探し出す検索手法です。AIや自然言語処理の進化により、同義語や概念の近い文書を的確に見つけ出せるようになり、検索精度が飛躍的に向上しています。
埋め込みとは、テキストや画像などのデータを、意味の類似度を保ったまま高次元の数値ベクトルに変換する技術です。これにより、コンピュータが言葉の意味や文脈を解釈し、計算可能な形に落とし込むことができます。現代のセマンティック検索や大規模言語モデルなどのAIシステムを支える極めて重要な基盤技術です。
埋め込み法(Embedding)とは、テキストや画像などのデータをコンピューターが扱いやすい連続的な数値の配列であるベクトルに変換する技術です。データの高次元な情報を高密度の低次元空間に圧縮しつつ、意味や概念的な類似度を計算可能な形式で保持できるため、現代の自然言語処理や検索システムにおいて基盤的な役割を果たしています。
RLHFとは、人間のフィードバックを用いた強化学習の仕組みです。大規模言語モデルなどのAIの出力に対して人間が評価や選好を与え、そのフィードバックを基にモデルの報酬モデルを学習させることで、人間の意図や価値観により沿った自然で安全な応答ができるように微調整する重要な技術です。
トピックモデルは、大量のテキストデータから潜在的なテーマ(トピック)を自動的に抽出する自然言語処理および機械学習の技術です。文書内にどのような話題がどのような割合で含まれているかを統計的に推定し、膨大な文書群の整理や検索、推薦システムなどに活用されます。代表的な手法として潜在的ディリクレ配分法(LDA)があります。
発話とは、対話システムや自然言語処理において、ユーザーが口頭やテキスト入力で発した言葉の最小単位です。文法的な完全性に関わらず、話し手が伝えたひとまとまりの意思表示を指します。AIがユーザーのインテント(意図)を正しく理解し、適切な応答を生成するための基礎データとして極めて重要な役割を果たします。
AIアシスタントとは、人工知能技術を活用して人間の指示や質問を理解し、日常的なタスクの代行や情報の検索などを支援してくれるソフトウェアやシステムの総称です。文章の作成やスケジュールの管理など、多岐にわたる作業を効率化するツールとして広く普及しています。
エンティティとは、AIやデータ分析において、データやテキストから抽出・管理される「実体」や「概念の単位」を指します。自然言語処理では人名や地名、日付などの特定のキーワード(固有表現)を指し、データベースやナレッジグラフでは一意に識別可能な情報単位を意味します。AIが文脈を理解するための極めて重要な基本概念です。
ハッシュトリックは、機械学習において膨大なカテゴリカル変数やテキストデータを固定長のベクトルに変換するデータ前処理手法です。ハッシュ関数を用いて文字列などを直接インデックスへ変換することで、辞書を作成・保持するメモリを大幅に削減し、大規模データセットでも高速に処理を行えます。
音声アシスタントとは、人間の音声による指示を理解し、さまざまなタスクを実行するAIシステムです。音声認識によって声をテキストに変換し、自然言語処理でユーザーの意図を分析した上で、情報を検索したり家電を操作したりします。近年は生成AIの搭載により、より自然で高度な会話や柔軟なタスク処理が可能になりつつあります。
コンテキストウィンドウとは、LLMなどのAIモデルが1回の処理で一度に処理・理解できるテキストや情報の最大量のことです。トークンという単位で測定され、入力されたプロンプトとAIが出力する回答の合計がこの枠内に収まる必要があります。この窓が広いほど、長大な文書の要約や複雑な文脈を維持した対話が可能になります。
トークン化とは、人間が読む文章をAIが処理しやすいように単語や形態素、あるいは文字の断片などの細かい単位へと分割する自然言語処理の基本的な前処理技術です。大規模言語模型の性能を左右する重要なプロセスとなります。
信頼度スコアとは、AIや機械学習モデルが予測や出力結果に対してどれだけ自信を持っているかを数値化したものです。画像認識や自然言語処理などの分野で広く使われ、予測の確実性を測る重要な指標となっています。
ChatGPTは、OpenAIが開発した対話型の生成AIアシスタントです。高度な大規模言語モデルを基盤にしており、人間が書いたような自然な文章の生成、質問への回答、プログラミングコードの記述、文章の要約や翻訳など、幅広いテキスト処理タスクを対話形式で柔軟に実行できることが特徴です。