BM25は、検索クエリに対する文書の関連度をスコア化するための伝統的なランキングアルゴリズムです。TF-IDFを拡張した手法であり、キーワード検索やRAGシステムの前処理において、テキストの類似度を高速かつ効率的に計算するために現在も広く利用されています。
BM25とは
BM25とは、キーワード検索において文書とクエリの関連度を数値化するための古典的かつ強力なランキングアルゴリズムです。
詳しく解説
BM25は確率的情報検索モデルに基づいており、文書内に出現するキーワードの頻度と、文書の長さ、そしてコーパス全体におけるその単語の希少性を考慮してスコアを計算します。TF-IDFの発展形であり、文書の長さが長すぎる場合にスコアが過剰に大きくなる現象を抑制するパラメータ調整機能を備えている点が特徴です。現代のLLMを活用したRAGシステムにおいても、セマンティック検索の前段階としてハイブリッド検索を構成する際の基本アルゴリズムとして重要な役割を担っています。
具体例・使われ方
社内文書検索システムにおいて、ユーザーが入力したキーワードに最も合致するマニュアルや報告書を上位に表示する際に利用されます。また、RAGにおいてキーワード検索とベクトル検索を組み合わせる際、テキストデータに対するキーワードベースのマッチング精度を高めるために組み込まれます。
似た用語との違い
セマンティック検索やベクトル検索が文章の意味や文脈を理解して類似度を測るのに対し、BM25は単語の完全一致や出現頻度をベースにするため、同義語や文脈のニュアンスを捉えることができません。ただし、計算コストが非常に低く、正確なキーワード一致が求められるタスクでは依然として優位性があります。
注意点
BM25は単語の字面の一致に依存するため、言い換えや同義語を自動的に考慮することができません。また、ベクトル検索とは異なり、文書の持つ意味的な背景やコンテキストを理解した検索ができない点に注意が必要です。