モデル改ざんとは、構築済みの機械学習モデルのパラメータや構造を不正に書き換え、意図しない挙動や誤認識を引き起こす攻撃手法です。公開されているモデルの配信経路や保管場所が標的となり、悪意あるコードの埋め込みや特定の入力に対する誤作動が仕込まれます。AIの安全性や信頼性を脅かす重大なAIセキュリティ上の脅威です。
モデル改ざんとは
モデル改ざんを一言でいうと、すでに学習済みの機械学習モデルのファイルやパラメータを不正に変更し、AIの動作を悪用または破壊する攻撃手法です。
詳しく解説
機械学習モデルは数値のパラメータ群やネットワーク構造で構成されたファイルとして保存されます。攻撃者はシステムへの不正アクセスや配信サーバーのハックを通じて、モデルファイルを直接書き換えます。具体的には、特定の条件でのみ誤作動を起こすバックドア攻撃や、モデル内に悪意あるプログラムを実行させるコードを埋め込む手法が存在します。オープンソースのAIモデル共有プラットフォームが普及したことで、第三者が配布する改ざん済みモデルを誤ってダウンロードして使用してしまうサプライチェーン攻撃のリスクが高まっています。この攻撃を防ぐためには、デジタル署名によるハッシュ値の検証や、暗号化技術を用いた整合性チェックが不可欠です。
具体例・使われ方
例えば、自動運転システムで利用される画像認識の機械学習モデルが改ざんされ、特定の標識を誤認識するようにパラメータが書き換えられるケースが挙げられます。また、Web上で配布されている生成AIの公開モデルにバックドア攻撃が施され、特定のプロンプトを入力したときだけ機密情報を漏洩させるプログラムが起動するといった事例のイメージがあります。
似た用語との違い
モデル改ざんと混同されやすい概念にデータポイズニングがあります。データポイズニングは、モデルの学習段階で悪意あるデータを混入させて不正なモデルを作らせる手法です。一方、モデル改ざんは完成した後の機械学習モデル自体を不正に書き換える点に違いがあります。また、入力データに微小なノイズを加えて誤作動させる敵対的攻撃とも異なり、モデル改ざんはモデル側の内部構造や重みデータを直接変更します。
注意点
モデル改ざんは入力データのチェックだけでは防御できません。推論時の入力が正常であっても、モデル内部のパラメータ自体が変更されているためです。また、モデルの精度評価テストをすり抜けるように精巧に改ざんされている場合、通常運用を開始するまで被害に気付きにくいという注意点があります。そのため、モデルの取得元や完全性の確認を行うセキュリティ対策が重要です。