AIサービスのリスクを特定する「AIレッドチーム」
「AIレッドチーム」とは、AIサービスの脆弱性とそれに伴うビジネスリスクを特定するためにエンジニアがテスト、疑似攻撃、講じるべき対策の定義を行うチームです。「AIレッドチーム」が具体的にどのように機能するかを解説します。
はじめに
過去2回のコラム（「AIサービスを取り巻く環境とAIレッドチームの必要性」、「AIレッドチームに関する世界の動向」）では、AIサービス特有のリスクおよび世界の規制強化の側面から、「AIレッドチーム」の必要性に迫りました。
本稿では「AIレッドチーム」が具体的にどのように機能するかを解説します。
AIレッドチームとは
「AIレッドチーム」とは、AIを利用したサービスに対して、リスク起因者（サイバー攻撃者、犯罪者、愉快犯など）の立場からエンジニアが高度な疑似攻撃を行うことで、脆弱性とそれに伴うビジネスリスクを特定する組織や取り組みを指します。
AIサービスのインシデントを未然に防ぐため、リリース前や運用中に脅威を評価し、脆弱性・リスクを特定し、効果的なセキュリティ対策を講じることを目的として実施します。
「AIレッドチーム」でテストする疑似攻撃として「Data poisoning attack（データポイズニング攻撃）」、「Membership inference attacks（メンバーシップ推論攻撃）」を紹介します。
Data poisoning attack（データポイズニング攻撃）
Data poisoning attack（データポイズニング攻撃）とは、攻撃者が不正なデータを学習データへ直接または間接的に注入することで、学習したAIの出力結果にバイアス、エラーを誘発したり、AIモデルの意思決定や予測機能の精度に負の影響を与えたりする攻撃を指します。学習データへの不正なデータの注入は、AIの学習データへ直接アクセスして注入するケースや、AIモデルを生成する際のデータセットとなる外部ソースのオンラインデータセットやウェブサイトに不正なデータを注入しておくケースなどが存在します。
例えば、自動運転システムで用いられているAIに対してこの攻撃が成立した場合、汚染されたデータで学習することによりAIのモデル精度が低下し、車両の制御に悪影響をもたらして深刻な事故の発生につながる可能性があります。これと同様の事象は、ヘルスケア業界、金融業界などのサービスで使用するAIにおいても発生する可能性があります。
Membership inference attacks（メンバーシップ推論攻撃）
学習データを過学習すると、AIに入力したデータが学習データに含まれる場合とそうでない場合に、AIの応答結果の特徴が異なる（信頼度スコアの偏り）ことが知られています。Membership inference attacks（メンバーシップ推論攻撃）とは、攻撃者がこの特徴を悪用して、入力データが学習データに含まれているか否かを推測する攻撃です。
例えば、医療の研究などの目的で患者の病歴などのデータを学習させているAIサービスに対し、この攻撃が成立した場合、特定の患者が学習データに含まれることが推測され、病歴などが攻撃者に知られてプライバシー侵害事案に発展する可能性があります。
「AIレッドチーム」では、このような脅威事象が成立し得るかエンジニアが疑似攻撃をしかけ、リスクを特定します。
AIレッドチームのアプローチ
次に「AIレッドチーム」の代表的なアプローチを紹介します。
- テスト計画
テスト対象となるAIサービスや、当該サービスの特性やシステムなどを踏まえ蓋然性のあるリスクシナリオを特定し、テスト計画を立案します。 - テスト（疑似攻撃）の実施
「1. テスト計画」で立案したテスト計画に基づき、エンジニアがテスト（疑似攻撃）を実施し、脅威が成立し得るか、AIサービスに脆弱性やリスクがあるかを特定します。 - 対策定義
「2.テスト（疑似攻撃）の実施」で検出したAIサービスの脆弱性やリスクを踏まえ、講じるべき対策を定義します。
AIレッドチームを成功に導くために
「AIレッドチーム」で効果的な成果を挙げるためには次の点が重要と考えられます。
1. AIサービスに関わるビジネスリスクを特定できるか
AIリスクは「技術リスク」に留まることなく、「法律リスク」や「倫理リスク」と多岐にわたります。そのため、AIシステムの「技術リスク」のみに視点を当ててテスト計画を立案すると、「法律リスク」「倫理リスク」などを想起できず、テスト計画から蓋然性のあるリスクシナリオが漏れてしまう懸念が生じます。
AIの不正利用に伴って考慮すべきリスクとインパクトは、そのビジネスユースケースに依存するため、AIシステムのみに視点を当てるのではなく「ビジネスユースケース」から想起されるリスクシナリオを特定できるかが重要です。
2. AI特有のリスクを特定するためのテスト（疑似攻撃）を実施できるか
AIは確率的プロセスに基づいて動作するなど、仕組み・挙動・脆弱性を生むポイントなどが従来のITサービスとは異なります。また、AIに関する新たな攻撃手法は日々発見・報告されています。このためAIサービスのリスク特定に求められる専門性やその手法も従来のITサービスとは異なります。AI独自のリスクを効果的に特定するためには、AIに精通するエンジニアによるテストが必要不可欠と言えるでしょう。
3. 多角的な対策（サービス設計、実装、運用）を定義できるか
検出された課題に対して対症療法となる対策のみを講じるのではなく、将来的にリスクを生みづらい管理態勢の整備や全体最適を踏まえたROIの高い対策などを検討することも重要です。例えば、課題の表面だけを見て直接的な実装レベルの対策（例：入出力のフィルター）のみを行うのではなく、AIガバナンスの整備・改善、MLOps（Machine Learning Operations）の改善・高度化も含めサービス設計、実装、運用と多角的に対策を検討していくことが重要です。
上記のポイントを考慮すると、一般的に「AIレッドチーム」を既存の内部リソースのみで実施することは容易ではありません。「AIレッドチーム」の実施にあたっては、AIリスクを効率的・効果的に特定するために、外部リソースの活用も検討すべきでしょう。
AIサービスのリスクとAIレッドチーム
3 results
Loading...
インサイト／ニュース
40 results
Loading...
「営業秘密」の保護と利活用 第1回：競争優位性の維持向上に不可欠な営業秘密保護対応
営業秘密は企業の競争優位性を支える重要な資産であり、経営層はこれをリスク管理の一環として重視し、戦略的に対応することが求められます。シリーズ第1回となる本稿では、営業秘密の定義とその重要性について解説します。
米国の船舶および港湾のサイバーセキュリティ法規制最新動向
グローバルでは近年、船舶サイバーセキュリティに関する統一規則（IACS UR E26/E27）の発行を筆頭に、海事分野におけるサイバーセキュリティの機運が高まっています。船舶・港湾分野におけるサイバーセキュリティの動向を理解し、発生しうる規制対応リスクについて解説します。
航空サイバーセキュリティの強化 ―EASA Part-ISが求める情報セキュリティ要件―
航空業界は、航空機や関連システムの高度なデジタル化やグローバルなサプライチェーンによる複雑化が進む中、サイバーセキュリティの重要性がかつてないほど高まっています。こうした背景から欧州航空安全機関（EASA）が2023年10月に制定した、情報セキュリティに関する初の規則となるPart-IS（委員会実施規則(EU) 2023/203および委員会委任規則2022/1645）について解説します。
医薬品の安定供給を支える、OTセキュリティ実装の道筋とは
近年、製造設備などの制御系システムを守るOT（運用技術：Operational Technology）セキュリティの重要性が高まっています。第一三共株式会社でOTセキュリティ強化の活動に従事する江口武志氏に、実際の導入から運用立ち上げをどのように進めたか、現場への浸透における難しさやチャレンジについて聞きました。
Loading...
