検索エンジン
検索エンジンとは、ユーザーが入力したキーワードに関連する情報を大量のデータの中から探し出すシステムです。近年では生成AIやベクトル検索技術が統合され、単なる一致ワードの検索から、文脈を理解した高度な回答生成へと進化を遂げています。
情報検索に関するAI用語を16件掲載しています。意味や使い方、関連用語を一覧から確認できます。
検索エンジンとは、ユーザーが入力したキーワードに関連する情報を大量のデータの中から探し出すシステムです。近年では生成AIやベクトル検索技術が統合され、単なる一致ワードの検索から、文脈を理解した高度な回答生成へと進化を遂げています。
セマンティック検索とは、検索クエリの表面的なキーワード一致ではなく、文脈や意図、意味を解釈して関連性の高い情報を探し出す検索手法です。AIや自然言語処理の進化により、同義語や概念の近い文書を的確に見つけ出せるようになり、検索精度が飛躍的に向上しています。
全文検索エンジンとは、文書内のすべての単語をインデックス化し、大量のテキストデータからキーワードに合致する情報を高速に探し出すシステムです。AIの検索拡張生成技術であるRAGにおいて、外部知識を正確に取得するための基盤としても広く活用されています。
非対称とは、AIや機械学習において構造、データの役割、重要度などが均等でない状態やその設計を指します。検索システムにおける短い質問と長い文書の処理や、誤検知と見逃しで重みを変える損失関数など、現実の課題に合わせた柔軟なモデル構築で幅広く活用されています。
TF-IDF(Term Frequency - Inverse Document Frequency)は、テキストデータの中から特定の単語の重要度を評価するための統計的な計算手法です。文書内での単語の出現頻度と、他の多くの文書における希少性を組み合わせることで、その文書を特徴付ける特徴的なキーワードを抽出できます。自然言語処理や情報検索の分野で広く利用されています。
ベクトル空間モデルとは、文書や単語などのデータを数値の配列であるベクトルとして表現し、幾何学的な空間上で類似度を計算する数学的モデルです。情報検索や自然言語処理の分野で、文書同士の関連性を定量的に評価するために広く利用されています。
画像検索とは、画像を入力として、あるいはテキストを用いて、データベースから視覚的に類似した画像や関連する画像を検出する技術です。近年のAI技術やコンピュータビジョン、ディープラーニングの発展により、画像の色や形だけでなく、画像が持つ意味や文脈を解析して高度な検索を行うことが可能になりました。
NDCG(Normalized Discounted Cumulative Gain)は、検索エンジンやレコメンデーションシステムにおけるランキングの質を評価するための指標です。検索結果の順序の適切さと、上位に重要なアイテムが配置されているかを数値化し、最適な順序付けができているかを測るために広く使われています。
潜在意味解析(LSA)は、テキストデータ内の単語と文書の共起関係を数学的に分析し、背後にある潜在的な意味構造を抽出する自然言語処理の技術です。特異値分解による次元削減を用いて、表記の揺れや同義語の関連性を捉えることができます。検索エンジンの高度化や類似文書の推薦など、初期のセマンティック検索に大きく貢献した古典的かつ重要な手法です。
外部知識ベースとは、AIや大規模言語モデル(LLM)が自らの学習データ以外から最新情報や専門情報を取得・参照するためのデータベースや情報源のことです。モデルの内部パラメータに依存せず、外部から動的に情報を検索・注入することで、ハルシネーションを抑制し、常に正確な回答の生成を可能にします。
ハイブリッド検索とは、キーワード検索とベクトル検索を組み合わせて情報の精度を高める検索手法です。単語の完全一致と文脈の意味理解を補い合うことで、従来の検索技術の弱点を克服し、AIを活用したシステムで広く導入されています。
ランキング学習とは、複数のアイテムをユーザーの要求や関連度に応じて最適な順序に並べ替えるモデルを構築する教師あり学習技術です。検索エンジンや推薦システムにおいて、上位に有益な結果を提示するために広く活用されています。
厳密最近傍探索(Exact NNS)は、高次元のベクトル空間において、クエリとなるデータ点に最も近いデータを誤差なく正確に見つけ出す技術です。推薦システムや画像検索などの基盤となる技術ですが、データの次元数や件数が増えると計算量が爆発的に増加する「次元の呪い」という課題を抱えています。
キーワード検索とは、ユーザーが入力した単語やフレーズと完全に一致する文書やデータをデータベースから探し出す従来の検索手法です。AI技術の発展に伴い、文脈を理解するセマンティック検索との組み合わせや、ハイブリッド検索の要素として改めて重要性が再認識されています。
検索拡張生成(RAG)とは、大型言語モデルが回答を生成する際に外部知識ベースから最新や特定の情報を検索し、その参照結果を組み合わせて高精度な回答を生成する技術です。モデル単体では対応できない最新情報や社内固有のデータに基づいた正確な回答が可能となり、事実と異なる情報を生成するハルシネーションの抑制に貢献します。
BM25は、検索クエリに対する文書の関連度をスコア化するための伝統的なランキングアルゴリズムです。TF-IDFを拡張した手法であり、キーワード検索やRAGシステムの前処理において、テキストの類似度を高速かつ効率的に計算するために現在も広く利用されています。