概念ドリフトとは、時間の経過に伴い入力データと予測対象である正解ラベルの関係性が変化し、稼働中の機械学習モデルの予測精度が低下する現象です。社会情勢やユーザー行動の変化などが要因となり、過去のデータで学習した規則性が通用しなくなるため発生します。AI運用において予測精度を維持するために不可欠な概念です。
概念ドリフトとは
概念ドリフトとは、入力データと出力すべき結果（正解ラベル）の統計的な関係が時間の経過とともに変化し、機械学習モデルの予測性能が低下してしまう現象のことです。
詳しく解説
機械学習モデルは過去のデータからデータの特徴と予測対象の関係性を学習して構築されます。しかし、社会環境の変化、トレンドの推移、季節要因などにより、時間経過とともにデータの持つ規則性そのものが変化することがあります。これが概念ドリフトです。概念ドリフトが発生すると、入力データ自体には変化がなくても正解データとの対応関係が変わってしまうため、運用中のモデルの予測精度が徐々に悪化します。この問題に対処するためには、定期的なデータモニタリングとモデルの再学習によるモデル更新の自動化が重要視されます。
具体例・使われ方
例えば、ECサイトにおける購買予測モデルが挙げられます。急激なインフレーションや社会情勢の変化により、ユーザーの購買基準が変わると、以前と同じ閲覧履歴であっても購入に至るかどうかの結果が変わります。また、不正検知システムにおいて、新たな不正手法の登場により過去の正常・異常のパターンが切り替わる現象も概念ドリフトの具体例です。
似た用語との違い
混同されやすい概念にデータドリフトがあります。データドリフトは入力データの確率分布自体が変化する現象全体を指すのに対し、概念ドリフトは入力データと正解ラベルの相関関係や定義そのものが変化する点を指します。また、入力の分布変化によって起こる共変量シフトとは異なり、概念ドリフトは入力に対する出力の条件付き確率の変化に焦点を当てるという違いがあります。
注意点
概念ドリフトは必ずしも急速に起きるとは限らず、徐々に進行するケースも多いため、気付かないうちに予測性能が低下するリスクがあります。また、単に予測精度が低下したからといってすべてが概念ドリフトとは限らず、システムのバグや一時的な異常値の混入と見極めることが重要です。検出とモデルの再学習の頻度が高すぎるとコスト増につながる点にも注意が必要です。