リスク管理
AIにおけるリスク管理とは、AIシステムの開発や運用に伴って生じるハルシネーション、公平性を損なうバイアス、セキュリティ侵害などの潜在的脅威を特定・評価し、適切な対策を講じて被害を最小化する一連のプロセスのことです。技術の普及とともに、倫理面や法令遵守を含めた継続的な対策が不可欠となっています。
セキュリティに関するAI用語を174件掲載しています。意味や使い方、関連用語を一覧から確認できます。 現在は5ページ目です。
AIにおけるリスク管理とは、AIシステムの開発や運用に伴って生じるハルシネーション、公平性を損なうバイアス、セキュリティ侵害などの潜在的脅威を特定・評価し、適切な対策を講じて被害を最小化する一連のプロセスのことです。技術の普及とともに、倫理面や法令遵守を含めた継続的な対策が不可欠となっています。
C&Cサーバーとは、サイバー攻撃者がマルウェアに感染させた端末を遠隔から制御するための司令塔となるサーバーです。AIを活用した自動化や検知回避の手法と組み合わせて悪用される事例が確認されています。
メンバーシップ推論攻撃は、機械学習モデルの出力結果などから、特定のデータがそのモデルの訓練データとして使われたかどうかを識別するプライバシー侵害手法です。AIモデルの記憶特性を突く攻撃としてセキュリティ分野で警戒されています。
ボットネットとは、マルウェアなどに感染して外部の攻撃者から遠隔操作可能になった多数のコンピュータやIoT機器で構成されるネットワークです。攻撃者はこれらのデバイスを束ねて一斉に制御し、大規模なDDoS攻撃、スパムメールの大量送信、情報搾取などのサイバー攻撃を実行します。AI技術の進化に伴い、ボットネットの攻撃検知や自律的な防御手法にもAIが活用されています。
完全準同態暗号は、データを暗号化したまま任意の計算処理を行える次世代の暗号技術です。復号することなくAIによる推論やデータ分析ができるため、クラウド上でのプライバシー保護とセキュリティを劇的に向上させる技術として注目されています。
モデル抽出攻撃とは、攻撃者が学習済みAIモデルに対して多数の入力データを送信し、その出力結果(予測値や確率分布)を分析することで、オリジナルのモデルとほぼ同等の機能を持つ複製モデルを不正に再現・抽出するセキュリティ上の脅威です。モデルの知的財産保護や機密情報の流出対策において重要な問題となっています。
暗号技術とは、情報を第三者に解読されない形式に変換し、データの安全な送信や保存を行うための技術です。AIの分野においては、機密情報や個人データを保護しながらモデルの学習や推論を行うプライバシー保護機械学習の基盤として活用されています。データの安全性を確保しつつAIを活用するために不可欠な要素技術です。
ゼロ知識証明は、自分が「ある秘密の情報を知っていること」を、その情報の内容自体は相手に一切明かすことなく証明できる暗号学的な手法です。AI分野では、データの機密性を保ちつつ正しい学習が行われたことを保証するプライバシー保護技術や、ブロックチェーン上の機密取引、セキュアな本人認証など、幅広い領域での応用が期待されています。
準同態暗号は、データを暗号化した状態のまま計算や処理を行える暗号技術です。クラウド等に預けたデータを復号することなく処理できるため、機密情報や個人情報を保護したままAI分析や機械学習に活用できます。データ漏洩リスクを大幅に低減し、医療や金融分野での安全なデータ共有・活用を実現する技術として注目されています。
個人データとは、生存する個人に関する情報であり、特定の個人を識別できる、または他の情報と容易に照合して識別できるものを指します。AIの学習や分析において、モデルの精度向上やパーソナライズに極めて重要である一方、GDPRや個人情報保護法などの法規制を遵守し、プライバシー保護に配慮した厳格な取り扱いが求められます。
AIシステムやソフトウェアに潜むセキュリティ上の弱点を発見し評価するプロセスです。AI特有の脆弱性やプロンプトインジェクションなどの攻撃リスクを事前に特定し、適切な対策を講じるために不可欠な手法として注目されています。
境界防御とは、社内ネットワークと外部のインターネットの境目に防御壁を設置し、不正アクセスや情報漏洩を防ぐ従来のセキュリティ手法です。ファイアウォールなどを活用して境界線上で通信を監視・制御します。クラウド利用やリモートワークの普及に伴い限界も指摘されますが、基本原則として今なお重要です。
ハイブリッド暗号方式とは、処理速度が速い共通鍵暗号方式と安全に鍵を受け渡せる公開鍵暗号方式の長所を組み合わせた暗号化技術です。AI時代の膨大なデータ通信やAIモデルの保護においても、効率性と高セキュリティを両立する基盤技術として広く活用されています。
グレイボックス攻撃とは、攻撃者がAIモデルの内部構造やパラメータの一部のみを知る状態で、セキュリティの脆弱性を突く手法です。完全な情報を持つホワイトボックス攻撃と、情報を持たないブラックボックス攻撃の中間に位置し、現実的な脅威として研究されています。
敵対的機械学習とは、機械学習モデルの脆弱性を突き、意図的な誤作動を引き起こす入力データを作成して攻撃したり、それに対する防御手法を研究したりする分野です。AIの安全性やセキュリティ確保において極めて重要な領域となっています。
ブラックボックス攻撃とは、AIモデルの内部構造やパラメータ、訓練データなどの詳細な情報にアクセスできない状況において、外部からの入力と出力の反応のみを観察し、誤認識を誘発するような敵対的サンプルを生成・入力する攻撃手法。APIを介して提供される商用AIサービスなどに対して現実的な脅威となっている。
非対称鍵暗号とは、暗号化と復号に異なる2つの鍵を用いる暗号方式です。公開鍵と秘密鍵をペアで使用し、安全な通信やデジタル署名を実現します。AIシステムにおける機密データの送受信やモデルの安全な配布にも不可欠な技術となっています。
k-匿名化とは、データに含まれる個人を特定できる情報を加工し、同一の特徴を持つレコードが最低k個存在するようにすることで、個人の特定を防ぐプライバシー保護技術です。機械学習やデータ分析における個人情報保護の重要な手法として用いられます。
レッドチーミングとは、AIモデルの脆弱性や有害な出力を発見するため、意図的に攻撃者視点で検証を行う手法です。開発段階で見落とされがちな偏見や悪用リスクを洗い出し、安全性を高めるために不可欠なプロセスとなっています。
DDoS攻撃(分散型サービス拒否攻撃)は、複数のコンピュータから標的のサーバーやネットワークへ一斉に大量のアクセスを行い、サービスを過負荷にして停止に追い込むサイバー攻撃です。近年は、AIサービスを支えるAPIへの攻撃や、ボットネットの制御にAIが使われる一方、攻撃検知に機械学習が活用されるなど、AIセキュリティの文脈でも重要な課題となっています。
レート制限とは、一定時間内にシステムやAPIに対して送信できるリクエストの数を制限する仕組みです。AI分野では、大規模言語モデル(LLM)への過剰なアクセスを防ぎ、サーバー負荷の軽減や不正利用の防止、公平なリソース分配、コスト管理を行うために不可欠な技術となっています。
耐量子計算機暗号とは、将来の量子コンピュータによる解読に対して安全性を保つことができる次世代の暗号方式の総称です。AIの開発やビッグデータの安全な通信を未来永劫守るための必須技術として注目されています。
サイバーセキュリティとは、コンピュータやネットワーク、データを外部の不正アクセスや攻撃から保護する技術やプロセスの総称です。近年はAIを活用した高度なサイバー攻撃が増加する一方、AIを用いた防衛策も進化しており、安全なデジタル社会を維持するための基盤として重要性がますます高まっています。
衝突耐性とは、暗号学的ハッシュ関数において、異なる2つの入力データから全く同じハッシュ値(出力)を生成するペアを計算機が見つけることが極めて困難である性質を指します。AIやブロックチェーンなどのセキュリティ基盤において、データの改ざんや偽造を防ぐための極めて重要な概念です。