敵対的摂動とは、人間には知覚できないほど微小でありながら、機械学習モデルの判断を誤らせるために意図的に加えられるノイズのことです。AIの脆弱性を突く敵対的攻撃で用いられ、入力データに加えることで誤分類を引き起こします。AIシステムの信頼性や堅牢性を評価・向上させるための重要な研究テーマです。
敵対的摂動とは
敵対的摂動（Adversarial Perturbation）とは、画像などの入力データに対して意図的に加えられる、人間には判別困難な微小な変化やノイズのことです。AI（特に深層学習モデル）を騙して誤った予測や分類を行わせる目的で設計されます。
詳しく解説
敵対的摂動は、モデルの損失関数を最大化する方向へ入力値をわずかにずらすことで生成されます。代表的な手法としてFGSM（Fast Gradient Sign Method）などが知られています。深層学習モデルは高次元空間上で複雑な決定境界を形成しているため、特定の方向へのごく小さな変化であっても出力結果が劇的に変化する脆弱性を抱えています。この脆弱性を防ぐための対策として、敵対的摂動を含むデータでモデルを再学習させる「敵対的訓練」などの手法が研究されています。AIを実社会へ安全に導入するためには、敵対的摂動に対するモデルの堅牢性を高めることが不可欠です。
具体例・使われ方
例えば、自動運転車の画像認識AIに対し、道路標識の画像に人間には見えないレベルの敵対的摂動を合成することで、「一時停止」の標識を「制限速度」の標識と誤認させる実験が知られています。また、顔認証システムにおいて、特殊な模様を施した眼鏡をかけることで他人に成り済ます攻撃などもあります。このように、元のデータに敵対的摂動を加えた入力データ全体は敵対的サンプルと呼ばれます。
似た用語との違い
通常のランダムノイズは偶然生じる無作為な歪みであり、微小であればAIの認識性能に大きな影響を与えません。一方、敵対的摂動はAIの弱点を数学的に計算して意図的に作られた悪意あるノイズです。また、「敵対的攻撃」はAIを欺く攻撃行為全般を指す包括的な概念であり、敵対的摂動はその攻撃を実現するための具体的な「微小ノイズそのもの」を指します。
注意点
敵対的摂動は画像認識だけでなく、音声認識や自然言語処理などの多様な分野でも成立します。また、デジタルデータ上だけでなく、印刷物などを介した現実世界（物理世界）でも影響を与えることが実証されています。敵対的摂動を完全に無力化する万能な防御手法はまだ確立されておらず、防御側と攻撃側で継続的な研究開発が行われています。