AI利活用に関連するインシデントの傾向分析
生成AIを契機としたAIテクノロジーの進化が急速に進んでおり、ビジネスの前提も大きく変化しています。企業はAIをいかに利活用してビジネスを見直すかの判断を迫られています。こうした状況の中、AI利活用・推進に伴うリスクも増加しており、さまざまなインシデントが発生しています。本章では、実際に確認されているインシデントの傾向を交えて、今後、企業が考慮すべきリスクおよび必要となる取り組みについて考察します。
経済協力開発機構（OECD）は、2020年にOECD.AIと呼ばれるオンラインプラットフォームを立ち上げ、政策立案者、研究者、企業、一般消費者のための世界のAIイニシアチブ、動向、ガバナンスなどに関する包括的な情報を提供しています。この取り組みの一環として、プラットフォーム上では「AIM：AI Incidents and Hazards Monitor」と呼ばれるAI関連のインシデントや危害を記録したデータベースが運営・公開されています。今回、AIMに登録されているデータのうち、2022年1月から2025年9月までの3年9カ月、計9,220件を対象に、世の中で実際に発生しているインシデントの傾向を分析しました。
AI関連のインシデントは、「I. AIを悪用して攻撃が行われたケース」と「II. AIの脆弱性が狙われ攻撃されたケース」に大別されます（図表19）。以降、それぞれの詳細を確認していきましょう。
図表19：インシデント区分と件数
出所：OECD.AI「AIM: AI Incidents and Hazards Monitor」を基にPwC作成
Ⅰ. AIを悪用して攻撃が行われたケース
Ⅰは、サイバー攻撃者がAIを悪用して第三者にサイバー攻撃を実施したケースとなり、その件数は2,543件に上ります。AIのサイバー攻撃への悪用は日々新たなユースケースが報告されており、大きくは以下3つのパターンに区分できます。
- 人間が実施するタスクのサポート、アドバイス
- マルウェアなどの悪性プログラムによる利用
- 人間が実施するタスクのリプレース
1は、生成AIの台頭当初から確認されているユースケースであり、サイバー攻撃者がAIを悪用して標的組織の調査を実施する、フィッシングメールやマルウェアの試作を行う、サイバー攻撃実行時のアドバイザーとして活用する、といったものです。いずれもAIの活用方法としてはベーシックなものと言え、特にフィッシングメールに関しては、言語の壁が低くなったことにより攻撃が増加しているという報告も確認されています。
2は、2024年後半から確認されており、マルウェアが生成AIを活用する機能を搭載しているケースです。侵入先システムの調査などについて、生成AIを活用することで実際の環境情報を踏まえて動的に動作を判断・生成する、といった機能が確認されています。
3は、「サイバー攻撃者＝人間」が実施していた一連のサイバー攻撃をAIが代替して、自動的に実施するというものです。こうした攻撃・評価を実施するツールの開発がアンダーグラウンドコミュニティ、サイバーセキュリティコミュニティの双方で進んでおり、今後、特に注意が必要と言えます。
上記に共通するのは、「従来、人間が質的に実現できなかったことが達成されているわけではない」という点です。ただし、規模や速度といった観点では、人間の水準を既に凌駕しているため、サイバー攻撃・防衛という攻防のルールが変わっていることを強く認識する必要があります。
Ⅱ. AIの脆弱性が狙われ攻撃されたケース
Ⅱは、AIのモデルやシステム・サービスに内在している脆弱性を狙い、攻撃を行うケースです。AIの利活用の発展に伴い、AIに関連するインシデントは急激に増加しています。詳細を確認するために、これらのインシデントを、「A. 機械学習などの従来のAI」、「B. 生成AI」、「C. AIエージェント」に区分して整理します。
A. 機械学習などの従来のAI／B. 生成AI
機械学習などの従来のAIに関するインシデントが2023年～2025年の3年間で20件程度であったのに対して、生成AIに関するインシデントは、2023年の単年のみで30件に上ります。これは一過性の状況ではなく、2024年以降もインシデントは増加を続け、わずか2年後の2025年には64件と、初年度の2倍を超える水準に達しました。
これは、従来のAIを利活用する際には一定のリテラシーが求められていたことに対して、生成AIの台頭を機に、AIの民主化が急速に拡大していることを裏付けていることに他なりません。もはや、生成AIを利活用する際に、以前のようなAIリテラシーは必要とされなくなりました。これを、リスクマネジメントの言葉で言い換えると、生成AIの台頭により、AIリスクを閉じ込めていた堅牢な壁が崩壊し、そこからリスクが急拡大したことになります。生成AIはその利便性ゆえにプラスの側面が注目されることが多いですが、利活用に伴うリスクを認識し、利活用とリスクマネジメントの両輪で、安心・安全な利活用を促進していくことが求められているのです。
C. AIエージェント
一方で、AIエージェントに関連するインシデントは20件に満たず、相対的に少ないことが確認できます。これは、生成AIと比較すると、AIエージェントはリスクがないということを意味しているのでしょうか。残念ながらそうではありません。AIエージェントの利活用がまだ発展途上にあり、運用上のユースケースも限られていることから、関連するインシデントが顕在化していないのだと考えられます。逆に言うと、今後、AIエージェントの本格的な利活用フェーズを迎えると、付随するインシデントも急拡大することが想定されます。
AIに関連するインシデント事例
それでは、実際にどのようなインシデントが発生し、それらのインシデントを未然に防ぐためには何が必要だったのかを考察します。
インシデント事例1（B. 生成AIへの攻撃）
AIモデルやシステム、サービスに脆弱性があり、AIモデルが保持している個人情報や機密情報への不正アクセスを許してしまう事例はこれまでも多く発生していました。
具体例としては、チャットボットに共有されたリンクがユーザーの同意なく検索エンジンに自動的に登録され、数十万件という膨大なユーザーの会話が意図せずに公開されてしまった事例が挙げられます。
このようなインシデントを未然に防ぐためには、設計工程において、検索エンジンによるクローリングを想定した上で、共有リンクのデフォルト設定を非公開にするというアクセス制御が必要であったと考えられます。利便性を優先するあまり、プライバシー保護の設計が後回しにされた可能性が指摘されています。また、当該インシデントが外部の検索エンジン起因で発覚していることから、リリース後の内部リスク管理・モニタリングの強化も必要であったと推察されます。
インシデント事例2（B. 生成AIへの攻撃）
生成AIモデルの脆弱性を悪用してセーフガードを回避し、暴力的、もしくは悪意あるコンテンツを生成させる、化学兵器の作り方など犯罪を助長しかねない内容を回答させるなどの事例が非常に多く確認されています。
具体例としては、画像生成AIを利用して、著作権で保護されたコンテンツや学校での銃撃など、攻撃的で潜在的に有害な画像を生成していると、知的財産権や人権保護の観点で指摘を受けた事例が挙げられます。
このようなインシデントを未然に防ぐためには、設計工程において、多層的ガードレールを導入し、プロンプトの適切性を自動的に判断した上で後続処理の分岐を実装する必要があったと考えられます。また、実装工程においては、偽・誤情報の拡散を防ぐという意図においては、生成物にウォーターマーク（電子透かし）を付与し、保存・共有経路での改変検知を実現することも有効です。
インシデント事例3（B. 生成AIへの攻撃）
人間には不可視の内容を画像やテキストに埋め込みプロンプトに命令することで、自らに都合の良い結果となるようにモデルを操る事例が確認されています。
具体例としては、人材採用支援AIの脆弱性を悪用するというケースが挙げられます。求職者が自らの履歴書を作成する際に、履歴書の枠外に極小サイズかつ白文字などを記載して、自らの経歴を詐称するような命令を埋め込むことで、不当に高い評価を得ていたという事例です。
このようなインシデントを未然に防ぐためには、AIの設計工程において、AIが意図的に悪用されるリスクを想定し、履歴書のような非構造化データから悪意のある隠しコマンドを検知・無効化する仕組みを考慮することが必要でした。そして、実装工程においては、履歴書を解析する際に隠されたテキストや特殊な書式によるプロンプト・インジェクション攻撃への対策を実装することが不可欠であったと考えられます。一方で、これらの対策をもって盤石であるとは言えず、運用工程においても、AIによって出力された結果に対する取り扱い方針の策定と当該方針に従った運用プロセスを整備・実施していくことが求められます。
インシデント事例4（AIを悪用した攻撃）
AIを活用し、攻撃手法が高度化する事例も確認され始めています。例えば、AIがディープフェイクや音声クローンを生成し、これを用いることで音声認証システムを迂回する事例も出始めています。
攻撃手法が高度化していく中でインシデントを未然に防ぐ難易度も高まっています。インシデント事例1～3のようにAIを開発する事業者のみ、あるいはAIを利活用する事業者のみで対策を講じることに限界があるのかもしれません。AIモデルを開発する事業者の責任、開発されたモデルを安心・安全に利活用・運用する事業者の責任というように、AIライフサイクル全般を通して、各ステークホルダーと連携し、協業していくことで初めて、攻撃手法が高度化していくAI関連インシデントを抑制することが可能となるのです。
図表20：インシデント発生件数推移
出所：OECD.AI「AIM: AI Incidents and Hazards Monitor」を基にPwC作成
AIやエマージングテクノロジーの利活用を促進するリスクマネジメント
前節で確認したとおり、AIの利活用には多くのリスクが内在し、すでにその多くがインシデントとして顕在化しています。しかし、それゆえにAIの利活用にブレーキをかけてしまうこともリスクであるということを忘れてはいけません。現在の、そして今後の経営環境においては、AI利活用はますます必要不可欠となり、AI利活用に躊躇することは企業の競争力低下やイノベーションを阻害してしまうことになるのです。
それでは、AIリスクをマネジメントしていくためには、どのような取り組みが必要となるのでしょうか。PwC Japanグループは、AIを安心・安全に利活用するために、以下の8項目による取り組みが重要と考えています（図表21）。
図表21：AIガバナンスを実現する8項目
出所：PwC作成
現在、日本における多くの事業者はAIポリシーやガイドラインなどの整備を進めていますが、残念ながら当該ドキュメントの整備をもって盤石なガバナンスを構築することは困難です（#2）。これらのドキュメントを効果的・効率的に運用していくための体制構築（#3）や人材育成（#4）などが必要とされます。特に、AIに関連するリスクは、セキュリティや法務、コンプライアンスなど多岐にわたることに加えて、AI特有の新たなリスクも存在するため、コーポレート部門における役割と責任をどのように定義するかは、非常に難易度が高い課題となります。さらに、コーポレート部門と事業部門、統括会社と国内外グループ会社との責任分界点など、体制構築（#3）においては、整理すべき論点が少なくありません（図表22）。ただし、難易度が高いからと先送りにする猶予はもはや存在せず、AIの安心・安全な利活用を促進していくためには待ったなしの局面を迎えているのです。
図表22：AIガバナンス態勢構築
出所：PwC作成
AI／生成AIで培われたリスクマネジメント手法は、AIエージェントに対しても有効であると考えられます。一方で、AIエージェントの利活用は依然として発展途上にあるため、将来的なユースケースを踏まえて、リスクマネジメント手法もアップデートしていくことが不可欠です。AIエージェント利活用のステージを見極めながら、リスクベースアプローチに従った緩急ある対策を策定し、講じていくことが重要です。加えて、AIエージェントが有する人的作業の代替性という性質を加味し、業務統制的観点の考慮も必要になります（図表23）。「戦略」「組織」「人材」「プロセス」「基盤」の5つの観点から、AIエージェントに対するリスクマネジメントを検討することで、企業の業務効率化や競争力強化に寄与することが可能となるのです。
図表23：AIエージェントに対する業務統制的観点
出所：PwC作成
ただし、AIエージェントは、デジタル処理において人的能力をはるかに凌駕します。今後ますます普及していくであろうAIエージェントネイティブなプロセスを統制するためには、現状のリスクマネジメントの範囲では立ち行かなくなる懸念があり、AIエージェントが他のAIエージェントを管理するといった新たなガバナンス技術の発展が期待を集めています。
AIエージェントにおけるリスクマネジメントはAI／生成AIの延長線上にあり、新たな技術領域に直面した際に、まったく新しいガバナンスモデルを構築することは適切ではありません。似て非なるガバナンスモデルが乱立すると、当該技術を利活用する際の負荷が高まり、技術動向に追随するという競争力の源泉が阻害されてしまいます。また、セキュリティや法務などのコーポレート部門間の連携も複雑さを増し、対策の重複というムダのみならず、対策の抜け漏れなど、思わぬ落とし穴に陥る懸念も伴います。経済産業省は、ガバナンスモデルの乱立を防ぎ、ガバナンス自体をガバナンスするという「ガバナンス・オブ・ガバナンス※2」を提唱しています。生成AIからAIエージェント、そして、今後、連続的に台頭してくるであろう未知のエマージングテクノロジーの利活用を見据え、日本の事業者は、全体最適が実現されたガバナンスへのトランスフォーメーションに今から着手することが必要とされているのかもしれません。
生成AIがもたらしたAIの民主化、AIエージェントによる自律的な相互連携と意思決定の実現。5年前には考えもしなかった経営環境が、今、現実のものとして形作られようとしています。ここ数年は、技術変化に追随する過程でひずみが生じ、結果として多くのインシデントが発生しています。これらの経験を過去の出来事として終わらせず、未来への学びに変えていく必要があります。そのうえで、生成AI／AIエージェントのさらなる利活用を促進し、一事業者の枠を超えて、国際的な競争力を強化すると同時に、今後発生する技術変化も積極的に受け入れ、安心・安全な利活用をリードしていく、リードしていく。そのようなガバナンスモデルを構築していくことが、今の日本の事業者には期待されているのです。
おわりに
パクスアメリカーナを前提とした安定した国際秩序は、もはやサイバーセキュリティの前提条件ではありません。国境、政治、価値観の違いは、サイバーリスクの形を変え、攻撃者に新たな機会を与えています。こうした環境において企業に求められるのは、過去の対策をなぞることではなく、変化を前提とした意思決定です。自社の事業と地政学的リスクの関係を理解し、情報を継続的に収集・分析することでCyber IQを高めることが、サイバーリスクの影響を抑え、事業のレジリエンスを維持する鍵となります。
※2 「Society5.0における新たなガバナンスモデル検討会」
https://www.meti.go.jp/shingikai/mono_info_service/governance_model_kento/index.html
