バックドア攻撃とは、AIモデルに特定のトリガーが入力された時だけ不正な動作を引き起こすように仕込むセキュリティ脅威です。通常時は正常に動作するため検知が極めて難しく、ディープラーニングの普及に伴いAIシステムの脆弱性として深刻な課題になっています。
バックドア攻撃とは
一言でいうと、AIモデルに普段は隠された不正な「裏口」を意図的に埋め込み、特定の条件が揃った時だけ攻撃者の意図通りの誤作動を起こさせるサイバー攻撃の手法です。
詳しく解説
バックドア攻撃の仕組みは、機械学習モデルの訓練データに悪意ある改変を加えたり、学習過程を操作したりすることから始まります。例えば、画像認識AIにおいて特定の小さなマークが写っている場合だけ、本来とは違う誤った分類結果を出力するように学習させます。この攻撃の背景には、AIモデルの開発において外部のオープンソースデータセットや事前学習済みモデルを利用する機会が増えていることがあります。重要性としては、通常の評価テストでは高い精度を示すため不正の発見が困難であり、自動運転や医療診断といった安全性が求められる分野において深刻なリスクをもたらす点が挙げられます。
具体例・使われ方
具体的な例として、自動運転車の画像認識システムに対するバックドア攻撃が挙げられます。道路標識に特定の小さなシール（トリガー）が貼られている場合だけ、AIが「一時停止」標識を「制限速度」標識と誤認識するように仕掛けられます。また、音声認識AIにおいて、特定のノイズが含まれているときだけ攻撃者の意図するコマンドを実行するように裏口を仕込むケースもあります。
似た用語との違い
一般的な敵対的攻撃（アドバサリアル攻撃）と混同されやすいですが、敵対的攻撃は主に推論時にモデルを誤認させるよう入力データを巧みに加工する手法であるのに対し、バックドア攻撃は学習モデル自体に事前に改変を加えて特定のトリガーに反応するように仕込む点が異なります。
注意点
注意点として、バックドア攻撃は通常のテストデータによる性能評価では発見しにくいという限界があります。また、悪意ある第三者が公開した事前学習済みモデルをそのまま利用することで、意図せずバックドアを組み込んでしまう危険性があります。そのため、データの出所の厳格な管理や、モデルの脆弱性を検知する防御技術の研究が進められています。