グレイボックス攻撃とは、攻撃者がAIモデルの内部構造やパラメータの一部のみを知る状態で、セキュリティの脆弱性を突く手法です。完全な情報を持つホワイトボックス攻撃と、情報を持たないブラックボックス攻撃の中間に位置し、現実的な脅威として研究されています。
グレイボックス攻撃とは
一言でいうとグレイボックス攻撃とは、AIモデルの構造や出力の一部が外部に漏れている状況を悪用し、モデルの誤動作やデータの窃取を狙うセキュリティ上の脅威です。
詳しく解説
AIモデルの開発や運用において、API経由で予測確率が出力されたり、アーキテクチャの仕様書の一部が共有されたりすることがあります。グレイボックス攻撃は、こうした不完全な事前知識を手がかりにしてモデルの挙動を予測し、効率的に敵対的サンプルを生成したり、機密データを復元したりする手法です。完全なブラックボックス状態よりも少ない試行回数で攻撃を成功させられる可能性があり、AIシステムの堅牢性を評価するペネトレーションテストなどでも重要な検証項目となっています。
具体例・使われ方
例えば、画像認識AIのAPIを利用する際、予測されたラベルだけでなく各クラスの確率スコア（ソフトマックス出力）まで取得できる場合を想定します。攻撃者はこの確率値の傾向を手がかりにして、わずかなピクセルの変更でAIを誤認させる敵対的サンプルを効率的に作成し、セキュリティフィルターを回避する試みなどが行われます。
似た用語との違い
ブラックボックス攻撃はモデルの内部情報を一切持たず外部からの入出力のみで攻撃を試みるのに対し、ホワイトボックス攻撃はモデルの重みや構造を完全に把握した状態で行われます。グレイボックス攻撃はこれらの中間に位置し、部分的な情報に基づいてより現実的な脅威シナリオを想定する点が異なります。
注意点
AIシステムを公開する際、APIのレスポンスに含まれる情報量（予測確率の精度など）が多すぎると、グレイボックス攻撃の成功率を高めるリスクがあります。そのため、出力結果の桁数を制限したり、異常なアクセスパターンを検知する仕組みを導入したりするセキュリティ対策が必要です。