ハッシュ衝突とは、異なる2つ以上の入力データに対してハッシュ関数が同一の出力値（ハッシュ値）を生成してしまう現象です。機械学習におけるハッシュトリックを用いた特徴量圧縮や、局所性鋭敏型ハッシュを用いた類似データ検索などで発生し、モデルの予測精度や検索効率に影響を与える重要な概念です。
ハッシュ衝突とは
ハッシュ衝突とは、異なる入力データに対してハッシュ関数がまったく同じ出力値（ハッシュ値）を割り当ててしまう現象のことです。
詳しく解説
ハッシュ関数は任意の長さのデータを固定長の短い値に変換する仕組みですが、変換後の出力パターン数には上限があるため、理論上（鳩の巣原理により）異なるデータから同じ値が生成されるハッシュ衝突を完全に防ぐことはできません。機械学習においては、高次元の疎データを低次元ベクトルに射影するハッシュトリックや、高速なデータ参照を実現するハッシュテーブルの設計で衝突の制御が不可欠です。また、類似度が高いデータ同士をあえて同じハッシュ値にまとめやすく設計された局所性鋭敏型ハッシュのように、衝突を意図的に活用するアルゴリズムも存在します。
具体例・使われ方
自然言語処理の大規模なテキスト分類において、語彙サイズを削減するためにハッシュトリックを適用した際、異なる単語が偶然同じ特徴量インデックスに割り当てられる現象がハッシュ衝突の具体例です。また、大規模データに対するベクトル検索を高速化する目的で局所性鋭敏型ハッシュを用いる場合、意図的に類似した特徴を持つデータを同じバケットへ衝突させて近傍探索を効率化します。
似た用語との違い
ハッシュ衝突と混同されやすい概念に「データ重複」があります。データ重複は同一内容のデータが複数存在することですが、ハッシュ衝突は完全に異なる2つのデータが同一の識別値（ハッシュ値）を持ってしまう現象です。また、主成分分析などの次元削減手法が統計的な分散に基づいて情報を圧縮するのに対し、ハッシュベースの手法は確率論的なハッシュ衝突を受け入れながら次元を圧縮する点で仕組みが異なります。
注意点
機械学習モデルで意図しないハッシュ衝突が多発すると、無関係な特徴量が混ざり合って予測精度の低下を招きます。衝突を減らすために出力次元数を大きく設定するとメモリ使用量が増加するため、計算リソースと精度のトレードオフを適切に調整する必要があります。また、暗号学で求められる衝突耐性と、機械学習や検索の高速化で求められる非暗号学的ハッシュ関数の要件は異なる点にも留意が必要です。