AIサービスのリスクを特定する「AIレッドチーム」
「AIレッドチーム」とは、AIサービスの脆弱性とそれに伴うビジネスリスクを特定するためにエンジニアがテスト、疑似攻撃、講じるべき対策の定義を行うチームです。「AIレッドチーム」が具体的にどのように機能するかを解説します。
はじめに
過去2回のコラム（「AIサービスを取り巻く環境とAIレッドチームの必要性」、「AIレッドチームに関する世界の動向」）では、AIサービス特有のリスクおよび世界の規制強化の側面から、「AIレッドチーム」の必要性に迫りました。
本稿では「AIレッドチーム」が具体的にどのように機能するかを解説します。
AIレッドチームとは
「AIレッドチーム」とは、AIを利用したサービスに対して、リスク起因者（サイバー攻撃者、犯罪者、愉快犯など）の立場からエンジニアが高度な疑似攻撃を行うことで、脆弱性とそれに伴うビジネスリスクを特定する組織や取り組みを指します。
AIサービスのインシデントを未然に防ぐため、リリース前や運用中に脅威を評価し、脆弱性・リスクを特定し、効果的なセキュリティ対策を講じることを目的として実施します。
「AIレッドチーム」でテストする疑似攻撃として「Data poisoning attack（データポイズニング攻撃）」、「Membership inference attacks（メンバーシップ推論攻撃）」を紹介します。
Data poisoning attack（データポイズニング攻撃）
Data poisoning attack（データポイズニング攻撃）とは、攻撃者が不正なデータを学習データへ直接または間接的に注入することで、学習したAIの出力結果にバイアス、エラーを誘発したり、AIモデルの意思決定や予測機能の精度に負の影響を与えたりする攻撃を指します。学習データへの不正なデータの注入は、AIの学習データへ直接アクセスして注入するケースや、AIモデルを生成する際のデータセットとなる外部ソースのオンラインデータセットやウェブサイトに不正なデータを注入しておくケースなどが存在します。
例えば、自動運転システムで用いられているAIに対してこの攻撃が成立した場合、汚染されたデータで学習することによりAIのモデル精度が低下し、車両の制御に悪影響をもたらして深刻な事故の発生につながる可能性があります。これと同様の事象は、ヘルスケア業界、金融業界などのサービスで使用するAIにおいても発生する可能性があります。
Membership inference attacks（メンバーシップ推論攻撃）
学習データを過学習すると、AIに入力したデータが学習データに含まれる場合とそうでない場合に、AIの応答結果の特徴が異なる（信頼度スコアの偏り）ことが知られています。Membership inference attacks（メンバーシップ推論攻撃）とは、攻撃者がこの特徴を悪用して、入力データが学習データに含まれているか否かを推測する攻撃です。
例えば、医療の研究などの目的で患者の病歴などのデータを学習させているAIサービスに対し、この攻撃が成立した場合、特定の患者が学習データに含まれることが推測され、病歴などが攻撃者に知られてプライバシー侵害事案に発展する可能性があります。
「AIレッドチーム」では、このような脅威事象が成立し得るかエンジニアが疑似攻撃をしかけ、リスクを特定します。
AIレッドチームのアプローチ
次に「AIレッドチーム」の代表的なアプローチを紹介します。
- テスト計画
テスト対象となるAIサービスや、当該サービスの特性やシステムなどを踏まえ蓋然性のあるリスクシナリオを特定し、テスト計画を立案します。 - テスト（疑似攻撃）の実施
「1. テスト計画」で立案したテスト計画に基づき、エンジニアがテスト（疑似攻撃）を実施し、脅威が成立し得るか、AIサービスに脆弱性やリスクがあるかを特定します。 - 対策定義
「2.テスト（疑似攻撃）の実施」で検出したAIサービスの脆弱性やリスクを踏まえ、講じるべき対策を定義します。
AIレッドチームを成功に導くために
「AIレッドチーム」で効果的な成果を挙げるためには次の点が重要と考えられます。
1. AIサービスに関わるビジネスリスクを特定できるか
AIリスクは「技術リスク」に留まることなく、「法律リスク」や「倫理リスク」と多岐にわたります。そのため、AIシステムの「技術リスク」のみに視点を当ててテスト計画を立案すると、「法律リスク」「倫理リスク」などを想起できず、テスト計画から蓋然性のあるリスクシナリオが漏れてしまう懸念が生じます。
AIの不正利用に伴って考慮すべきリスクとインパクトは、そのビジネスユースケースに依存するため、AIシステムのみに視点を当てるのではなく「ビジネスユースケース」から想起されるリスクシナリオを特定できるかが重要です。
2. AI特有のリスクを特定するためのテスト（疑似攻撃）を実施できるか
AIは確率的プロセスに基づいて動作するなど、仕組み・挙動・脆弱性を生むポイントなどが従来のITサービスとは異なります。また、AIに関する新たな攻撃手法は日々発見・報告されています。このためAIサービスのリスク特定に求められる専門性やその手法も従来のITサービスとは異なります。AI独自のリスクを効果的に特定するためには、AIに精通するエンジニアによるテストが必要不可欠と言えるでしょう。
3. 多角的な対策（サービス設計、実装、運用）を定義できるか
検出された課題に対して対症療法となる対策のみを講じるのではなく、将来的にリスクを生みづらい管理態勢の整備や全体最適を踏まえたROIの高い対策などを検討することも重要です。例えば、課題の表面だけを見て直接的な実装レベルの対策（例：入出力のフィルター）のみを行うのではなく、AIガバナンスの整備・改善、MLOps（Machine Learning Operations）の改善・高度化も含めサービス設計、実装、運用と多角的に対策を検討していくことが重要です。
上記のポイントを考慮すると、一般的に「AIレッドチーム」を既存の内部リソースのみで実施することは容易ではありません。「AIレッドチーム」の実施にあたっては、AIリスクを効率的・効果的に特定するために、外部リソースの活用も検討すべきでしょう。
AIサービスのリスクとAIレッドチーム
3 results
Loading...
インサイト／ニュース
40 results
Loading...
IEC 62443-2-1第2版の改訂内容と推奨される対応
2024年8月、IEC 62443-2-1の改訂第2版「IACSアセットオーナーのためのセキュリティプログラム要求事項」が発行されました。第1版からの要件構成の変更、62443シリーズの他文書との連携、成熟度モデルの導入など多岐にわたり変更された第2版の概要や、改訂に伴って推奨される対応について解説します。
ISMAP管理策評価の自動化に向けた洞察―NIST IR 8011 v1r1ドラフトを踏まえて
NISTが公表した「NIST IR 8011 v1r1 （Automation Support for Security Control Assessments）」ドラフトを解説するとともに、ISMAPにおける外部評価の一部自動化と、リアルタイム評価・継続的モニタリングを組み合わせたハイブリッド評価の可能性について考察します。
『セキュリティ・クリアランス制度』法制化の最新動向と日本企業が取るべき対応【第4回】ガイドライン及びQ&Aの公表
2025年5月2日付で公表された「重要経済安保情報保護活用法の運用に関するガイドライン（適合事業者編）」、「重要経済安保情報保護活用法の運用に関するガイドライン（行政機関編）」及び「適正評価に関するQ&A」の概要を解説します。
「営業秘密」の保護と利活用 第1回：競争優位性の維持向上に不可欠な営業秘密保護対応
営業秘密は企業の競争優位性を支える重要な資産であり、経営層はこれをリスク管理の一環として重視し、戦略的に対応することが求められます。シリーズ第1回となる本稿では、営業秘密の定義とその重要性について解説します。
Loading...
