AUC（Area Under the Curve）とは、機械学習の二値分類モデルの性能を評価する指標の一つです。ROC曲線の下側の面積の大きさを表し、0.0から1.0までの値をとります。値が1.0に近いほど予測モデルの識別能力が高いことを示します。判定の閾値に依存せず、不均衡データでも安定して性能を評価できる特徴があります。
AUCとは
AUCを一言でいうと、機械学習モデルがデータを正しく分類できる能力を、閾値の変化に依存せずに0.0から1.0の範囲で総合評価する指標です。
詳しく解説
AUCは主に二値分類モデルの評価で用いられます。モデルが出力する確率値をもとに、閾値を0から1まで変化させた際の「偽陽性率」を横軸、「真陽性率」を縦軸にプロットしたグラフをROC曲線と呼びます。このROC曲線の下部領域の面積がAUCです。完全に正しく分類できる理想的なモデルではAUCが1.0になり、ランダムに予測した場合は0.5になります。特定の閾値に依存しないため、ビジネス要件に応じて後から閾値を変更する可能性があるシステムでも、モデル全体の予測性能を公正に比較・評価できる点が重要視されます。
具体例・使われ方
例えば、迷惑メールの自動判定や、医療診断での病気の有無の判定、金融におけるローンの貸し倒れ予測などで活用されます。医療診断モデルにおいて、病気の判定基準（閾値）を厳しくすると見落としは減りますが誤検知が増えます。このようなトレードオフが存在する状況において、閾値を決定する前に「モデルそのものの分類能力」を評価する際にAUCが使われます。
似た用語との違い
正解率（Accuracy）は特定の閾値において全体の何割を正しく分類できたかを示す指標ですが、データ内に正例と負例の偏りがある場合、高い数値が出やすい欠点があります。一方、AUCはROC曲線全体の面積を用いるため、クラス不均衡なデータセットでもモデルの総合的な識別能力を適切に評価できます。また、混同行列から計算される感度や特異度といった単一の閾値での評価指標と比べ、AUCは全閾値における性能を1つの数値にまとめて比較できる点が異なります。
注意点
AUCはモデルの識別能力を全体的に把握するのに優れていますが、実際の運用で用いる具体的な閾値での性能（例えば「偽陽性を何%以下に抑えたときの真陽性率」など）までは直接反映しません。そのため、最終的なシステム導入時にはAUCだけでなく、運用に応じた閾値における適合率や再現率といった個別の指標も確認する必要があります。また、予測確率の絶対的な精度の高さを保証するものではない点にも注意が必要です。