イスラエル発AIセキュリティスタートアップ Adversa AIと探るAIエージェント時代の脅威と防御設計

エージェント型AIを取り巻くリスク環境

村上：
最初にポリャコフさんのご経歴を教えてください。

ポリャコフ：
私はAdversa AIの共同創業者で、現在はCTO（最高技術責任者）を務めています。Adversa AIは、エージェント型AIのセキュリティを専門とするスタートアップです。

私は過去20年間、サイバーセキュリティ分野に携わってきました。AIをサイバーセキュリティに活用する側と、AIそのものをセキュリティの観点から守る側の両方です。レッドチーミングの専門家、研究者、Cレベルの経営幹部、スタートアップ創業者など立場はさまざまですが、一貫してAIとサイバーセキュリティが交差する領域に取り組んできました。

また、IEEE（Institute of Electrical and Electronics Engineers）での活動では共同リーダーを務め、AIセキュリティ領域の標準化にも携わっています。さらにAIセキュリティの標準化やベストプラクティスの策定に取り組む業界団体CoSAI（Coalition for Secure AI）では、AIエージェントセキュリティのワークストリームを率いており、OWASP（Open Worldwide Application Security Project）やCSA（Cloud Security Alliance）といった団体のガイドライン策定にも継続的に貢献しています。

村上：
ありがとうございます。では、ここからは今回のテーマであるAIエージェントについて、前提を整理します。

AIエージェントとは、推論に基づいて目的志向で意思決定を行い、行動を実行するAIシステムです。従来のチャットボットやRAGを用いた対話型システムは、基本的にユーザーからの要求に回答を返す「一往復の処理」が中心でした。これに対してAIエージェントは、ユーザーが与えた目的を基にタスクを分解し、計画を立てて必要な行動を連続的に実行します。

図表1：エージェント型AIとは？​

AIエージェントの動作は、大きく以下の三要素に整理できます。

• ゴール志向の計画：与えられた目的を複数のタスクに分解し、達成までの手順を自律的に組み立てる。
• 意思決定と行動：環境や状態を観測し、状況を判断した上で行動する。具体的には予定を確認して会議を設定する、社内システムの情報を参照する、外部SaaSの機能を呼び出すといった処理が該当する。
• 連携：外部ツールを利用するだけでなく複数のAIエージェントが相互に連携し、最終的な目的を達成する。エージェント間連携（A2A）も、この範囲に含まれる。

つまりAIエージェントは目的を持ち、状況を観測し、判断し、行動します。その結果やコンテキストを記憶しながら、このサイクルを繰り返して目的達成を目指す仕組みなのです。一方で自律性が高まるほど「AIが何を前提に判断し、なぜその行動を選んだのか」は外部から見えにくくなります。ここにAIエージェント特有のリスクがあります。

次に、AIエージェントを取り巻く外部環境を、三つの観点から整理します。

一つ目はインシデントの増加です。件数はまだ多くありませんが、2024年以降、AIエージェントに関連するセキュリティインシデントは増加傾向にあります。今後、導入が進めば、日本でも同様のリスクが高まると考えられます。

二つ目はガイドラインや標準化の動きです。OWASP、CSA、NIST（米国国立標準技術研究所）、OpenID Foundationなどが、AIエージェントに関するガイドライン、ホワイトペーパー、フレームワークの整備を進めています。

三つ目は、技術の進展です。A2Aや、外部ツールとの連携を標準化するMCP（Model Context Protocol）などの検討が進んでいます。ただし、いずれもまだ発展途上であり、今後も議論を追う必要があります。

図表2：導入は加速する中、インシデント増加と標準化が同時進行​

このようにAIエージェントを巡っては、活用の広がりとともにインシデントの増加、ガイドライン整備、技術標準化が同時に進んでいます。一方で現場では、「具体的に何がリスクなのか掴みきれない」という声もあります。そこで柴田さんに伺います。AIエージェントではどのようなリスクが生じるのか、その全体像を教えてください。

「攻撃」と「暴走」から見るAIエージェントの脅威

柴田：
まず押さえておきたいのは、インシデントの原因は大きく二つに分けられるという点です。一つは外部からの攻撃（誘導・悪用起因）、もう一つはAI自身の判断・行動が制御を超える暴走（設計・運用起因）です。

外部からの攻撃は、データの中に不正な指示を埋め込み、AIの判断条件を歪めるケースです。またMCPなどのツール連携点を踏み台にして、悪意あるコードを実行させる手口も考えられます。さらに、権限を委譲されたAIエージェントに不正な目的を実行させる攻撃もあります。

一方で外部から攻撃を受けていなくても、AI自身が制御を逸脱し、想定外の動きをすることがあります。具体的には、次のようなケースです。

• 曖昧なゴールをAIが自己補完し、誤った成功条件に基づいて行動する
• ヒューマン・イン・ザ・ループが不十分なまま、処理を完結させる
• 共有トークンや長寿命キーの利用によって権限が肥大化する
• 複数のAI間でコンテキストの解釈がずれる

その結果、判断や目的の逸脱、ツール実行による実害、正規権限を使った不正・誤操作が発生します。いずれもAIが正規の権限やツールを使って実行するため、外部からは異常として検知しにくい点が厄介なのです。

さらにAIエージェントでは、処理が一度で終わらず、判断と行動のサイクルが継続します。誤った前提がコンテキストに残ると、その後の判断にも引き継がれ、被害範囲が拡大します。復旧や調査のコストが膨らむのは、この連鎖性によるものです。つまりAIエージェントのリスクは、外部から攻撃されることだけではありません。自律性そのものが設計や運用の不備と結び付いた時に、インシデントの原因になり得るのです。

図表3：「外部からの操作」のみならず「自律性」もインシデントを生む​

村上：
ありがとうございます。実際の活用現場では、AIエージェントに関連するインシデントも、すでに確認されています。ではポリャコフさん、Adversa AIの立場から、現場で見えている事象やインシデントの傾向についてお聞かせください。

急増するAIエージェントのインシデント

ポリャコフ：
柴田さんが指摘したとおり、AIエージェントでは、小さな判断ミスや誤った前提がコンテキストに残り、その後の判断に引き継がれることがあります。最初は小さな誤りでも、AIエージェントがそれを前提として行動を続ければ、より大きなリスクに発展します。

攻撃者がこの仕組みを悪用し、AIエージェントに意図的に誤った情報を記憶させるケースもあります。これはメモリ・インジェクションと呼ばれる攻撃です。単なる理論上のリスクではなく、実際の攻撃シナリオとして確認されており、インシデントにもつながっています。

私たちは最近、世界で発生したAIセキュリティインシデントを分析したレポートを公開しました。対象としたのは、サイバー攻撃や脆弱性に関係するAI固有のインシデントです。確認された事例は20件を超えており、特にAIエージェントに関するインシデントは急速に増えています。象徴的なのが、あるオープンソースのAIエージェントを巡る事例です。

このエージェントは公開後わずか1週間ほどで広く使われ、数千人がインストールしました。しかし、急速に普及した一方で、深刻な脆弱性を抱えていました。

問題は大きく二つあります。一つは従来型のセキュリティ上の脆弱性です。リモート操作用のポートが開いたままになっており、攻撃者が多数のAIエージェントに容易にアクセスできる状態でした。

もう一つはAI特有の脆弱性であるプロンプト・インジェクションです。攻撃の影響は深刻でした。攻撃者はプロンプト・インジェクションを仕込んだメールを送るだけで、エージェントからユーザーのデータを抜き出し、外部へ送信させられることを実証しました。しかも、対象となり得るデータには、APIキー、クレジットカード情報、その他の秘密情報など、極めて機密性の高い情報が含まれていました。ユーザーがエージェントに業務を任せるため、こうした情報へのアクセス権限を与えていたからです。

柴田：
ありがとうございます。オープンソースのAIエージェントは今後さらに広がり、それに伴って攻撃対象となるポイントも増えていくと考えられます。

重要なのは、こうしたリスクを個別の脆弱性としてだけ捉えないことです。AIエージェントにどこまで権限を与えるのか、どのデータにアクセスさせるのか、外部ツールや他のエージェントとの連携をどう制御するのかといった設計と運用の両面から統制する必要があります。

村上：
つまり、AIエージェントの対策では脆弱性への対応に加えて、権限管理、データアクセス、ツール連携、運用時の監視まで含めた設計が求められるということですね。