TF-IDF（Term Frequency - Inverse Document Frequency）は、テキストデータの中から特定の単語の重要度を評価するための統計的な計算手法です。文書内での単語の出現頻度と、他の多くの文書における希少性を組み合わせることで、その文書を特徴付ける特徴的なキーワードを抽出できます。自然言語処理や情報検索の分野で広く利用されています。
TF-IDFとは
TF-IDFは、文書内に含まれる単語の重要度を「その文書内での出現頻度（TF）」と「他の文書での珍しさ（IDF）」の2つの指標を掛け合わせて評価する、自然言語処理の基礎的な手法です。
詳しく解説
TF-IDFは、テキストを数理的に扱うベクトル化の手法として、古くから自然言語処理や情報検索で利用されています。計算は以下の2つの要素から成り立ちます。1つ目は「TF（Term Frequency：単語頻度）」で、特定の文書の中でその単語がどれくらい頻繁に現れるかを示します。多く出現する単語ほど、その文書にとって重要であると考えます。2つ目は「IDF（Inverse Document Frequency：逆文書頻度）」で、すべての文書集合の中でその単語がどれくらい珍しいかを示します。多くの文書に登場する一般的な単語は重要度を下げ、特定の文書にしか登場しない専門用語などの重要度を高く評価します。これらを掛け合わせることで、一般的すぎる単語を排除し、その文書の特徴的な単語の重みを大きくすることができます。
具体例・使われ方
TF-IDFは、ニュース記事から特徴的なキーワードを自動で抽出するシステムや、検索エンジンがクエリに対して関連性の高いウェブページを提示する情報検索アルリズムなどで利用されています。また、文書同士の類似性を判定するために、TF-IDFによって得られた単語の重みベクトル同士のコサイン類似度を計算するといった手法も、文書分類などで広く用いられています。
似た用語との違い
TF-IDFと混同されやすいものに「Bag of Words」があります。Bag of Wordsは、文書内の単語の出現回数のみを単純にカウントしてベクトル化する手法です。これに対しTF-IDFは、他の文書での出現頻度（IDF）を考慮して単語の重み付けを行うため、一般的すぎるノイズとなる単語の影響を抑えられるという違いがあります。また、近年主流のディープラーニングに基づく分散表現とは異なり、単語の意味的な類似性や文脈を考慮することはできません。
注意点
TF-IDFを使用する前段階として、テキストを単語に分割する形態素解析を正しく行う必要があります。特に日本語のように単語の区切りがない言語では、形態素解析の精度がTF-IDFの結果に大きく影響します。また、TF-IDFは単語の出現パターンのみに依存するため、文脈や同義語・類義語の理解ができません。例えば、「PC」と「パソコン」が同じ意味であっても、異なる単語として個別にカウントされてしまう点に注意が必要です。