ジェイルブレイク
ジェイルブレイクとは、大規模言語モデルなどの生成AIに対して安全対策や利用規約を迂回する特別な入力を行い、不適切な出力や本来禁止されている応答を引き出す攻撃手法や現象のことです。ロールプレイや巧みな前提条件の設定によって制限を解除させようとするもので、AIの安全性を脅かす課題としてセーフティフィルターの強化やアライメント対策が進められています。
AIセキュリティのAI用語一覧
10件AIセキュリティに関するAI用語を10件掲載しています。意味や使い方、関連用語を一覧から確認できます。
データポイズニング
データポイズニングとは、機械学習モデルの訓練データに意図的に不正なデータを混入させ、誤動作や特定の脆弱性を引き起こす攻撃手法です。AIシステムの信頼性を脅かす重要なセキュリティリスクとして、LLMや画像認識などの幅広い分野で警戒されています。
盗聴検知
盗聴検知とは、通信経路上やAIモデルへの不正なアクセス、データ傍受の兆候を自動的に発見する技術です。AIを活用した異常検知により、サイバー攻撃や情報漏洩を未然に防ぐための重要なセキュリティ対策として利用されています。
楕円曲線暗号
楕円曲線暗号（ECC）は、短い鍵長で従来のRSA暗号と同等の高い安全性を実現する公開鍵暗号方式です。計算資源が限られた環境や、近年のAIセキュリティ、ブロックチェーンなどの技術において広く活用されています。
セキュリティ対策
AIシステムを不正アクセス、データ改ざん、悪意ある操作などの脅威から保護するための総合的な取り組みです。従来のサイバーセキュリティに加え、AI特有の脆弱性である入力攻撃や学習データの汚染を防ぎ、システムの安全性、信頼性、プライバシーを確保する役割を持ちます。
誤検知
誤検知とは、AIやシステムが正常なデータや事象を異常・脅威・特定の対象と誤って判定することです。統計学や機械学習では「偽陽性」とも呼ばれます。スパムメールフィルターによる正常メールの誤自動振り分けや、セキュリティ検知の誤アラートなどが代表例であり、検知精度の向上と運用負荷の軽減に向けて閾値の調整が重要となります。
敵対的摂動
敵対的摂動とは、人間には知覚できないほど微小でありながら、機械学習モデルの判断を誤らせるために意図的に加えられるノイズのことです。AIの脆弱性を突く敵対的攻撃で用いられ、入力データに加えることで誤分類を引き起こします。AIシステムの信頼性や堅牢性を評価・向上させるための重要な研究テーマです。
モデル改ざん
モデル改ざんとは、構築済みの機械学習モデルのパラメータや構造を不正に書き換え、意図しない挙動や誤認識を引き起こす攻撃手法です。公開されているモデルの配信経路や保管場所が標的となり、悪意あるコードの埋め込みや特定の入力に対する誤作動が仕込まれます。AIの安全性や信頼性を脅かす重大なAIセキュリティ上の脅威です。
敵対的学習（アドバーサリアル・トレーニング）
敵対的学習（アドバーサリアル・トレーニング）とは、AIの誤認識を誘発する微小なノイズを加えた敵対的サンプルを訓練データに混ぜて学習させる手法です。モデルの弱点を突く攻撃データにあらかじめ触れさせることで、外部からの悪意ある攻撃に対する耐性やロバスト性を高め、安全で頑健なAIモデルを構築できます。
脆弱性管理
脆弱性管理とは、システムやソフトウェア、AIモデルに存在するセキュリティ上の不具合や弱点を継続的に発見・評価・修正・予防する一連のプロセスです。新たな脆弱性やゼロデイ攻撃に備え、被害を未然に防ぐために重要であり、AI開発においては機械学習モデルや学習データの保護を含めた総合的な対策が求められます。