ブラックボックス攻撃とは、AIモデルの内部構造やパラメータ、訓練データなどの詳細な情報にアクセスできない状況において、外部からの入力と出力の反応のみを観察し、誤認識を誘発するような敵対的サンプルを生成・入力する攻撃手法。APIを介して提供される商用AIサービスなどに対して現実的な脅威となっている。
ブラックボックス攻撃とは
ブラックボックス攻撃とは、攻撃対象となるAIモデルの内部構造やアルゴリズム、重み（パラメータ）などの詳細な情報を一切持たない状態で、システムの入力と出力のみを頼りに、AIの誤作動を引き起こすような「敵対的サンプル」を作成・入力するサイバー攻撃の手法です。
詳しく解説
ブラックボックス攻撃は、AIモデルが稼働する本番環境やクラウドAPIを標的とする実用的な攻撃アプローチです。攻撃者は、入力データをモデルに送り、返ってくる予測確率やクラスラベル（出力）を観測します。この入出力のペアを繰り返すことで、モデルの意思決定の境界線である「決定境界」を推定します。主なアプローチには、クエリを繰り返してグラディエント（勾配）を近似するクエリベースの攻撃と、類似の「代替モデル」を自身で構築・学習させて敵対的サンプルを生成し、それをターゲットモデルに適用する転移性の攻撃があります。AIサービスがAPI経由で広く提供される現代において、AIのセキュリティ対策を進める上で非常に重要な概念となっています。
具体例・使われ方
例えば、自動運転車が道路標識を誤認するように設計されたノイズ（敵対的サンプル）を画像に追加するケースが挙げられます。攻撃者は、自動運転システムの中身を直接知らなくても、システムのカメラに細工した標識画像を読み込ませ、その出力結果を観察しながら、人間には見えないレベルの微小なノイズを少しずつ調整して、最終的にAIを騙す画像を完成させます。
似た用語との違い
混同されやすい概念として「ホワイトボックス攻撃」があります。ホワイトボックス攻撃は、AIモデルの内部構造、アーキテクチャ、重みパラメータ、さらには損失関数の勾配情報まで完全に把握している前提で行われる攻撃です。これに対し、ブラックボックス攻撃はこれらの内部情報を一切持たず、入出力のやり取りだけで攻撃を成立させます。また、中間的な状況として、モデルの構造などは不明であるものの、出力の確率分布などの情報を部分的に得られる「グレイボックス攻撃」と呼ばれる分類もあります。
注意点
ブラックボックス攻撃を防御するための手段として、モデルにあらかじめノイズを含んだデータを学習させる「敵対的訓練」などの手法も研究されていますが、攻撃手法も進化しているため完全に防御することは困難です。また、商用APIに対して大量のクエリを送信する攻撃は、異常なトラフィックとして検出・遮断しやすいという限界があります。しかし、「代替モデル」を利用する転移性の攻撃のように、攻撃者が手元で作成した敵対的サンプルを送信する手法の場合、クエリ数が極めて少なくても攻撃が成立する可能性があるため、多層的なセキュリティ対策が求められます。