モデレーション
モデレーションとは、生成AIやオンラインプラットフォームにおいて、不適切または有害なコンテンツを検出し、排除・制限する仕組みやプロセスのことです。AIの悪用を防ぎ、安全な利用環境を維持するために不可欠な技術として広く導入されています。
AI安全性のAI用語一覧
18件AI安全性に関するAI用語を18件掲載しています。意味や使い方、関連用語を一覧から確認できます。
ガードレール
ガードレールとは、生成AIが不適切な出力や有害なコンテンツを生成しないように制限をかける安全装置のことです。ハルシネーションや機密情報の漏洩を防ぎ、安全で信頼性の高いAI利用を実現するために導入されています。
報酬ハック
報酬ハックとは、AIが意図された目的ではなく、報酬を得るための抜け穴を突いて不適切な行動を学習してしまう現象です。強化学習において設計者の意図と異なる結果を招く重大な課題であり、AI安全性研究の主要なテーマとなっています。
脆弱性
AIシステムにおける脆弱性とは、セキュリティ上の欠陥や弱点を指します。プロンプトインジェクションやデータ汚染など、AI特有の攻撃手法に対する懸念が高まっており、適切なセキュリティ対策やリスク評価が不可欠となっています。
報酬ハッキング
報酬ハッキングとは、強化学習においてAIが設計者の意図した方法ではなく、報酬を最大化する抜け穴を見つけて学習してしまう現象です。正しくない手順で目的を達成したように見せかけるため、AIの安全性や信頼性を損なう重大な課題として注目されています。
ロバストネス
ロバストネスとは、AIモデルが予期せぬノイズやデータのエラー、敵対的攻撃などに対しても安定して正確な出力を維持できる頑健性を指します。実世界での信頼性確保において非常に重要な特性です。
アライメント問題
AIアライメント問題とは、人工知能の目標や行動が人間の意図や倫理観、価値観と一致するように制御することが困難であるというAI安全性における課題です。AIの性能が向上するほど、予期せぬ行動や誤った最適化のリスクが高まるため、重要な研究分野となっています。
機械論的解釈可能性
機械論的解釈可能性とは、ディープラーニングなどの複雑なAIモデル内部で動作するアルゴリズムや表現を、プログラムのリバースエンジニアリングのように解読する研究分野です。AIのブラックボックス問題を根本から解明し、内部の回路や計算プロセスを人間が理解可能な形で可視化・分析することで、AIの信頼性や安全性を高める技術として注目されています。
フェイルセーフ
フェイルセーフとは、AIシステムや機械において、故障や予期せぬ異常が発生した際にも、常に安全な状態を維持するよう設計する安全思想です。誤作動やAIのハルシネーションなどによる被害を最小限に抑えるための重要な設計原則として活用されます。
レッドチーミング
レッドチーミングとは、AIモデルの脆弱性や有害な出力を発見するため、意図的に攻撃者視点で検証を行う手法です。開発段階で見落とされがちな偏見や悪用リスクを洗い出し、安全性を高めるために不可欠なプロセスとなっています。
ペネトレーションテスト
ペネトレーションテストとは、AIシステムやネットワークに対して実際のサイバー攻撃を仕掛け、脆弱性や安全性を検証するテスト手法です。AIモデルの誤動作を誘発するプロンプトインジェクションなどのリスク発見に活用されます。
非対称鍵暗号
非対称鍵暗号とは、暗号化と復号に異なる2つの鍵を用いる暗号方式です。公開鍵と秘密鍵をペアで使用し、安全な通信やデジタル署名を実現します。AIシステムにおける機密データの送受信やモデルの安全な配布にも不可欠な技術となっています。
脆弱性診断
AIシステムやソフトウェアに潜むセキュリティ上の弱点を発見し評価するプロセスです。AI特有の脆弱性やプロンプトインジェクションなどの攻撃リスクを事前に特定し、適切な対策を講じるために不可欠な手法として注目されています。
コンテンツフィルタリング
コンテンツフィルタリングとは、AIシステムが出力または入力するテキストや画像などのデータを監視し、不適切な情報を検出してブロックする技術です。ヘイトスピーチや著作権侵害などのリスクを防ぐために広く活用されています。
敵対的機械学習
敵対的機械学習とは、機械学習モデルの脆弱性を突き、意図的な誤作動を引き起こす入力データを作成して攻撃したり、それに対する防御手法を研究したりする分野です。AIの安全性やセキュリティ確保において極めて重要な領域となっています。
コンスティチューショナルAI
コンスティチューショナルAIとは、事前定義された憲法に基づくAIの自己修正メカニズムです。人間の詳細な監視を最小限に抑えながら、安全で害のない大規模言語モデルを効率的に開発する手法として注目されています。
敵対的フィードバック
敵対的フィードバックとは、AIモデルの弱点や脆弱性を発見するためにあえて誤導的な入力や攻撃的な入力を与え、その出力結果を改善に活かすフィードバック手法です。生成敵対ネットワークやAI安全性の確保において、モデルの堅牢性向上や不適切出力の抑制を目的として活用されます。
レッドティーミング
レッドティーミングは、AIシステムの安全性を高めるため、攻撃者の視点から意図的にシステムを攻撃・操作して脆弱性や有害な出力を暴き出す疑似攻撃テストです。特に大規模言語モデルなどの開発において、悪意あるプロンプトへの耐性や倫理的なリスクを事前に検証し、対策を講じるための不可欠なプロセスとして重視されています。