ベクトル空間モデルとは、文書や単語などのデータを数値の配列であるベクトルとして表現し、幾何学的な空間上で類似度を計算する数学的モデルです。情報検索や自然言語処理の分野で、文書同士の関連性を定量的に評価するために広く利用されています。
ベクトル空間モデルとは
一言でいうと、言葉や文書を数字の並びに変換し、空間上の距離や角度によってその意味の近さを計算できるようにする仕組みです。
詳しく解説
ベクトル空間モデルでは、文書に含まれる単語の出現頻度などを集計し、多次元の空間における一つの点やベクトルとして表現します。この空間上では、意味や文脈が似た文書同士ほど近い位置に配置されます。そのため、二つのベクトル間の角度や距離を計算するコサイン類似度などの数学的手法を用いることで、文書同士の類似度を客観的かつ高速に数値化できるようになりました。1960年代から情報検索の基礎として発展し、現代の検索エンジンや自然言語処理における文書比較の土台となっています。
具体例・使われ方
具体的な利用例としては、ウェブの検索エンジンが挙げられます。ユーザーが入力した検索クエリをベクトルに変換し、データベース内の膨大な文書ベクトルと比較することで、最も関連性の高いページを瞬時に見つけ出します。また、類似文書の推薦システムや、カスタマーサポートにおけるFAQの自動マッチングなどにも応用されています。
似た用語との違い
単語の表面的な一致だけでなく、意味的な文脈を捉えるニューラルネットワークベースの大規模言語モデルの埋め込み表現とは異なり、古典的なベクトル空間モデルは主に単語の出現頻度や統計量に基づいているという違いがあります。
注意点
注意点として、文書が長大になりボキャブラリーが増えるほど次元数が膨大になり、計算コストが増加するいわゆる「次元の呪い」が発生しやすくなります。また、単語の語順や文脈、多義性（同じ単語でも文脈によって意味が異なること）を十分に捉えきれないという限界もあります。