AIサービスのリスクを特定する「AIレッドチーム」
「AIレッドチーム」とは、AIサービスの脆弱性とそれに伴うビジネスリスクを特定するためにエンジニアがテスト、疑似攻撃、講じるべき対策の定義を行うチームです。「AIレッドチーム」が具体的にどのように機能するかを解説します。
はじめに
昨今のAIサービスの急速な普及に伴い、多くの企業はAIサービス特有のリスクに直面しています。このため、攻撃者視点でAIサービスのリスク評価を行う「AI レッドチーム」が注目を集めています。本稿では「AIレッドチーム」の必要性や実施の要諦について、連載形式で解説します。第1弾の今回は、企業におけるAIサービスの活用状況とAIサービス特有のリスクやインシデントを紹介し、「AIレッドチーム」の必要性に迫ります。
AIサービスの急速な普及
多くの企業の経営計画を見ると、AIサービスの利用について言及されています。AIサービスをいかに自社の事業に取り込むかが重要な経営アジェンダとなっており、AIサービスのビジネス活用が加速しています。実際、グローバルでのAI市場は急速に拡大しており、今後も順調に成長することが見込まれています（※1）。
その大きなきっかけとなったのが、「大規模言語モデル」をはじめとした生成AIの登場です。実際に、PwCコンサルティング合同会社（以下、PwCコンサルティング）が2024年春に実施した調査では67%の国内企業が生成AIを「活用中」あるいは「推進中」と回答しており、昨今のAIサービスの普及が見て取れます（※2）。
生成AIサービスは自然言語による指示が可能です。調査では「報告書や議事録などの要約」といった用途で利用が広がっていることが確認され、身近なタスクへの活用に取り入れられたことが普及の要因と考えられます。
また、大量の学習データ、高い計算処理能力を持つ計算機などの必要なリソースもAIサービスの提供者側が用意するため、利用者はリソースを気にすることなく、スマートフォンなどの身近なデバイスで安価にAIサービスを利用することができるようになりました。
AIサービスのリスク
AIサービスが多くの人々にとって身近で便利なツールとなり、ビジネス活用が急速に拡大する一方で、企業はAIサービス特有の新しいリスクに直面しています。
一例として「データポイズニング」というAIサービスに狙いを定めた攻撃と、生じ得るリスクについて紹介します。従来のITサービスと異なるAIサービスの特徴として、学習データを使って構築されたモデルから確率的プロセスによって出力を行うことが挙げられます。データポイズニングでは、学習データに不正なデータを追加することによって、モデルの精度低下を引き起こします。結果として、差別的な言動など、AIサービス提供者の意図しない出力を招くことがあり「倫理リスク」、「法律リスク」を生じさせる可能性があります。
このように、AIサービスのリスク領域は「技術リスク」に留まることなく、法律リスクや倫理リスクと広範にわたります。これもAIサービスのリスクの特徴であり、企業においてはさまざまな専門性を駆使しての対応が求められています。
こうしたリスクは世界各国で顕在化し、以下のように実際にのインシデントも発生し始めてきている状況です。
AIに関するインシデント事例
- 一般消費者向けに提供する、AIを搭載したチャットボットサービスが、提供者の意図しない回答を出力し、一般消費者を巻き込んだトラブルに発展
- 生成AIサービスが、外部から悪意ある指示文（プロンプト）を用いた攻撃を受け、内部情報を出力し情報漏洩事案に発展
- 一般消費者の行動をレコメンドする生成AIサービスが、一般消費者を危険に晒す可能性のある内容を出力し倫理的な問題が顕在化
企業の取り組みの現状
こうした状況から、多くの企業では「AIガバナンス」の態勢を整備し始めています。しかし、外部のガイドラインなどを参照して構築した一般的な管理態勢の整備に留まるケースも多く、具体的かつ有効な対策を講じられているとはいえない状況です。実際、生成AIの出力に対する基本的な対策の導入が十分に進んでいないことはPwCコンサルティングの調査結果（※2）からも見て取れます。
AIサービスのリスクはビジネスユースケース（AIサービスの用途、性質）やAIサービスにおけるビジネス上の立場（AI開発者、AI提供者、AI利用者）によって顕在化する形が大きく異なります。 ブラックボックス化しやすいAIサービスにおいて、安全にAIサービスを利用する、安全なAIサービスを開発・提供するためには、自社の立場やAIサービスの特徴を踏まえ、「どのような脅威が表面化し得るのか」、「どのようなリスクがあるのか」、「どのような対策を行っていくべきか」を攻撃者の視点で評価し、改善を行うこと（=「AIレッドチーム」による取り組み）が必要不可欠と言えます。
実際に昨今の社会や企業では「AIレッドチーム」の必要性・重要性が認知され注目を集め始めています。この点については次回の記事で、詳細を説明します。
※1 総務省, 2024, 情報通信白書令和6年版, 2024/7/25閲覧,
https://www.soumu.go.jp/johotsusintokei/whitepaper/r06.html
※2 PwCコンサルティング合同会社, 生成AIに関する実態調査2024 春, 2024/7/25閲覧
https://www.pwc.com/jp/ja/knowledge/thoughtleadership/2024/assets/pdf/generative-ai-survey2024.pdf
AIサービスのリスクとAIレッドチーム
3 results
Loading...
インサイト／ニュース
40 results
Loading...
「営業秘密」の保護と利活用 第1回：競争優位性の維持向上に不可欠な営業秘密保護対応
営業秘密は企業の競争優位性を支える重要な資産であり、経営層はこれをリスク管理の一環として重視し、戦略的に対応することが求められます。シリーズ第1回となる本稿では、営業秘密の定義とその重要性について解説します。
米国の船舶および港湾のサイバーセキュリティ法規制最新動向
グローバルでは近年、船舶サイバーセキュリティに関する統一規則（IACS UR E26/E27）の発行を筆頭に、海事分野におけるサイバーセキュリティの機運が高まっています。船舶・港湾分野におけるサイバーセキュリティの動向を理解し、発生しうる規制対応リスクについて解説します。
航空サイバーセキュリティの強化 ―EASA Part-ISが求める情報セキュリティ要件―
航空業界は、航空機や関連システムの高度なデジタル化やグローバルなサプライチェーンによる複雑化が進む中、サイバーセキュリティの重要性がかつてないほど高まっています。こうした背景から欧州航空安全機関（EASA）が2023年10月に制定した、情報セキュリティに関する初の規則となるPart-IS（委員会実施規則(EU) 2023/203および委員会委任規則2022/1645）について解説します。
医薬品の安定供給を支える、OTセキュリティ実装の道筋とは
近年、製造設備などの制御系システムを守るOT（運用技術：Operational Technology）セキュリティの重要性が高まっています。第一三共株式会社でOTセキュリティ強化の活動に従事する江口武志氏に、実際の導入から運用立ち上げをどのように進めたか、現場への浸透における難しさやチャレンジについて聞きました。
Loading...
