外れ値検知とは、通常のデータから大きく外れた特異なデータを自動的に発見する技術です。機械学習を活用して製造業の不良品検知や金融の不正検知などに広く利用されており、システムトラブルやセキュリティ侵害の早期発見に重要な役割を果たします。
外れ値検知とは
一言でいうと外れ値検知とは、大量のデータの中から、他とは異なる挙動や特徴を持つ例外的なデータを見つけ出す技術のことです。
詳しく解説
外れ値検知は、正常なデータのパターンを教師なし学習などであらかじめ学習し、そこから大きく逸脱したデータを検出する仕組みです。背景として、現実世界のデータは圧倒的に正常値が多く異常値が稀であるため、通常の分類モデルでは学習が難しいという課題があります。そのため、データの分布や近傍からの距離を利用したアルゴリズムが用いられ、データ分析においてシステムの異常や脅威を自動で察知するために重要視されています。
具体例・使われ方
具体的な利用例として、クレジットカードの不正利用検知や、製造ラインにおける製品の傷や汚れといった不良品検知、サーバのアクセスログからサイバー攻撃やシステム障害の兆候を見つける異常検知などが挙げられます。
似た用語との違い
混同されやすい概念として「異常検知」がありますが、外れ値検知は過去のデータ全体を対象に統計的な観点から特異なデータを網羅的に探すのに対し、異常検知は時系列データの変化や特定のイベントに伴う状態の変化を捉えることが多いという違いがあります。ただし、AIの分野ではほぼ同義として使われることも少なくありません。
注意点
注意点として、正常なデータの中にわずかなノイズや未知の正常パターンが含まれているだけで、誤って外れ値と判定されてしまう誤検知が起きやすい点が挙げられます。また、教師なし学習に依存する場合、どのような基準を正常とするかのチューニングが難しい限界もあります。