{{item.videoDuration}}
{{item.title}}
{{item.text}}
{{item.videoDuration}}
{{item.text}}
生成AIの登場によりAIの民主化が急速に進展し、多様なユースケースの検討や検証が盛んに行われています。その一方で、技術の普及とともに新たなリスクも顕在化し、適切な管理や安全性の確保が喫緊の課題となっています。本セッションでは、AIセーフティ・インスティテュート 技術統括の北村 弘氏と、富士通 データ＆セキュリティ研究所 所長の今井 悟史氏を迎え、責任あるAIの実現に向けて必要な取り組みや、国内外で進む技術・制度対応の最前線について議論しました。
（左から）村上 純一、北村 弘氏、今井 悟史氏
登壇者
AIセーフティ・インスティテュート
技術統括
北村 弘氏
富士通株式会社
データ＆セキュリティ研究所 所長
今井 悟史氏
PwCコンサルティング合同会社
パートナー
村上 純一
生成AIブームの陰で急増するインシデントと評価手法の限界
村上：
最初に自己紹介をお願いします。それぞれの組織で、どのような任務を担われているのでしょうか。
北村氏：
私が所属するAIセーフティ・インスティテュート（以下、AISI）は、2024年2月に内閣総理大臣の指示で設立された、AIセーフティに関する政府横断的な支援機関です。
AISIの役割は主に3つあります。1つ目は政府への支援です。AIセーフティに関する調査研究や基準の作成などを担います。2つ目は日本におけるAIセーフティのハブ（中核拠点）としての役割です。産学の関連取り組みの最新情報を集約し、企業・団体間の連携促進を支援します。そして3つ目が他国のAIセーフティ関係機関との連携です。私はAISIで技術統括を担っており、2025年3月に公表した「AI事業者ガイドライン1.1版」（※1）の策定などを担当しました。
今井氏：
富士通データ＆セキュリティ研究所所長の今井です。私の研究所では、AIにおけるデータの管理やセキュリティの課題に注力した研究開発を進めており、現在は、AIによってもたらされるグローバル最大のリスクと呼ばれる偽/誤情報対策の技術開発や、AIセキュリティ技術である「Security for AI」「AI for Security」の技術開発を行っています。
村上：
それでは本題に入ります。まずは生成AIがもたらした変化とリスクについて伺います。最初に現状を説明したいと思います。
近年は生成AIの登場で、ビジネスにおけるAI活用の議論が一気に加速しています。PwCでは、この技術進展が「AIの民主化」を強く後押ししたと捉えています。以前は、データサイエンティストが専門知識をもとに機械学習モデルを構築・運用するのが主流だったAIですが、現在では非専門家でも生成AIを活用できる環境が整いつつあります。
一方、このような裾野の広がりに伴って、新たなリスクも顕在化しています。具体的には「技術的リスク」「法律的リスク」「倫理的リスク」の3点が挙げられます。たとえば、生成AIが不正確な情報を出力する可能性や、著作権・肖像権の侵害、差別的・有害なコンテンツを生成してしまう問題です。その傍ら、各国でAIに関する規制も進んでおり、それらとの整合性をどのように図るかも重要な課題となっています。
北村さんに伺います。こうしたAIのリスクをどのように捉えていますか。グローバルな視点から見解をお聞かせください。
北村氏：
私は先日、英国のアラン・チューリング研究所や米国のサンタフェ研究所からお招きいただき、AIセーフティに関する国際的な議論に参加してきました。そこで得た知見も踏まえ、現在私たちが直面している課題をお話しします。
1つ目の着眼点は「変曲点（inflection point）」です。AIの技術革新は極めて急速であり、技術面だけでなく、知的・社会的な側面でも大きな変化が起きつつあります。こうした変曲点を正確に捉えることが重要ですが、これは民間企業や関係する技術者だけで把握するのは非常に難しい問題です。そのため、社会学的なアプローチや多様な視点の導入が不可欠です。私たちはこれを「従来型の閾値モデルでは測りきれない複雑な現象」と捉えています。ピンポイント型の評価手法では、AIの複雑な挙動を捉えきれません。そこで、より広域的かつ多層的な視点から成る新たな枠組みが求められているのです。
また、技術的な観点から見ても、たとえばレッドチームによる評価などで用いられる手法には、AIの特性に見合った進化が求められています。実際の社会におけるAIの利用やその影響を、既存の評価モデルだけで捉えるのは困難だという声も上がっています。
このように、社会技術的な側面までを視野に入れて、AIの評価と制御の手法をどう技術的にブレークスルーしていくか。そこに大きな課題と可能性があると考えています。
AIを狙う攻撃、AIによる攻撃――変化するセキュリティの最前線
村上：
次に今井さんに伺います。生成AIの普及で、サイバーセキュリティの在り方はどのように変化しているとお考えですか。
今井氏：
生成AIの急速な普及によって、これまでのセキュリティ対策では対応が難しくなりつつあります。ですから「AI時代に対応するため、サイバーセキュリティはどう変化すべきか」についてお話しします。
現在は、AIエージェントがサイバー攻撃を仕掛けたり、逆にAI自体が標的になったりする事例も増えており、攻撃の高度化・高速化が進行しています。さらに、IT資産の複雑化に加え、年間2万件を超える脆弱性の報告が続いており、セキュリティ運用にはますます大きな負荷がかかっています。
富士通では現場の自律的な対応を促すことを目的としたガイドラインを整備していますが、セキュリティスキルの不足やリソースの制約から、現場対応には限界もあります。AIが生む新たな脅威に対して、セキュリティの運用そのものを抜本的に見直す必要があると感じています。
生成AI自体が標的になる攻撃では、その手法にも警戒が必要です。現在では、「プロンプトインジェクション」や「ジェイルブレイキング」と呼ばれる手法を用いて、AIの出力制限を意図的に回避しようとする試みが増加しています。たとえば「Do Anything Now（DAN）」のような命令文で、AIにあらかじめ設定された禁止事項や応答制限を無効化し、本来は回答すべきでない内容に応じさせるといった事例が報告されています。
さらに、巧妙に設計された命令文の入力で、外部の機密情報が漏洩するリスクも指摘されています。こうした攻撃は、AIの技術的な脆弱性だけでなく、運用面の統制にも新たな課題を突きつけています。
こうした課題に対応するには単にプロンプトインジェクションやジェイルブレイキングへの技術的対策を講じるだけでなく、AI利用の包括的なガバナンスの強化と信頼性の確保が不可欠です。学習データに由来するバイアスや、誤情報・ハルシネーションなどの出力精度の問題にも、包括的に対応していく必要があります。
現在はこれらのリスクの顕在化を受けて、AIに対する規制の動きが世界的に加速しています。欧州では2024年8月に「AI規則法（AI Act）」が正式に発効し、2025年2月からはリスクの高い用途や禁止対象のAIシステムに対する規制の適用が段階的に開始されました。この法制度は、AIの安全性や透明性を確保するために、評価・文書化・登録などを義務付ける厳格な枠組みで、いわゆるハードローです。
一方、米国では拘束力のある包括的な法律は存在せず、政府機関によるガイドラインやNIST（National Institute of Standards and Technology：米国国立標準技術研究所）などによる標準策定といった、いわゆるソフトロー中心のアプローチが主流です。
日本はこの両者の中間に位置付けられます。現在は政府のガイドラインをベースに対応を進めつつ、将来的な制度化も視野に入れた議論が進行中です。今後は、国際的な制度との整合性を保ちつつ、AIの安全性と信頼性を担保するルール整備が求められていくと考えられます。
富士通株式会社 データ＆セキュリティ研究所 所長 今井 悟史氏
国際連携と独自アプローチを両立する、日本のAIセーフティ戦略
村上：
AIに関する規制は国によって温度差があり、いまだ統一的な枠組みの構築には至っていません。そうした中で、日本はどのような立場を取り、AISIとしてはどのような戦略的取り組みを進めているのでしょうか。国際連携の観点も含めてお聞かせください。
北村氏：
AISIでは2025年を「実践に踏み出す年」と位置付けています。これまでにガイドラインの策定や調査研究を行ってきましたが、今年度はそれらの成果を現場で試し、運用可能性を検証するフェーズに移行しています。
たとえば2025年4月には、「評価観点ガイド」と「レッドチーミングガイド」を改訂し、実務者が現場で使いやすい実践的な内容に再整理しました。さらに、特定ドメインの運用を想定した「事業実証ワーキンググループ」の立ち上げも検討しており、実地での安全性評価と改善に取り組む仕組みづくりを進めています。
また、今年度はマルチモーダル基盤モデルも評価対象に加えました。これらのモデルは入力の複雑性や出力の多様性が高く、従来の手法だけでは評価が難しいため、より柔軟かつ実用的な評価アプローチの確立が求められています。
昨年策定した「AI事業者ガイドライン」は、国内におけるAIセーフティの基本指針として位置付けられており、国際連携の観点からも重要です。特に、米国NISTとのクロスウォークでは、用語や考え方の違いをすり合わせた結果、両国のガイドラインには本質的な相違がないことが確認されました。
この共通認識を基盤に、「評価観点ガイド」や「レッドチーミングガイド」も体系的に整備しました。ただし、全てのユースケースに適用できる万能な評価手法は存在しません。目的や導入フェーズに応じて柔軟な対応を可能にするため、実務に即した設計とユーザー視点の枠組みづくりを進めています。
さらに、国際的には単に指示に従う「AIエージェント」と、自律的に目的設定や意思決定を行う「エージェンティックAI」との区別が進みつつあります。日本ではこうした用語や概念の整理はまだ発展途上ですが、今後は高い自律性を持つAIに対するリスク評価や規制の枠組みについても、積極的に議論を主導していく必要があると考えています。
AIセーフティ・インスティテュート 技術統括 北村 弘氏
富士通が挑む「AI for Security」と「Security for AI」
村上：
ここまでの議論でも触れられたように、AIの安全性を確保するうえで「レッドチーミング」は重要なアプローチです。特に2023年のG7広島サミットで打ち出された「広島AIプロセス」でも、技術的検証手段の1つとしてレッドチーミングが明確に位置付けられました。米国を中心に、テクノロジー企業が社内にAIレッドチームを設け、自社サービスのリスク評価や脆弱性検証に取り組む動きが広がっています。PwCコンサルティングでも2024年から同様の取り組みを試験的に進めており、今後はさらに多くの企業へと広がることが期待されます。
こうした流れを踏まえ、今井さんにお伺いします。富士通で進めている「AI for Security」と「Security for AI」の技術開発についてご紹介いただけますか。
今井氏：
まず「AI for Security」では、AIエージェントによるセキュリティ運用の自動化を目指しています。具体的には、攻撃の知見を持つ「レッドエージェント」と、防御を担う「ブルーエージェント」といったドメイン特化型AIを開発し、シナリオをぶつけ合うことで最適な対応策を導き出す仕組みです。
また、「グリーンエージェント」という仕組みでは、ITシステムのサイバーツイン（仮想環境）を自動生成し、その中でエージェント同士が攻防をシミュレーションすることにより、現実の対策立案に生かしています。
一方、「Security for AI」では、生成AIそのものの脆弱性に対処する技術を開発しています。たとえば、LLM（大規模言語モデル）に対して自動的に脆弱性を検出し、検出後には即座にガード規則を適用する防御機構を構築しています。業界でも最大規模となる7,700超の既知脆弱性に対応したスキャナー機能とガードレール機能を一体化し、ツール化に向けた整備を進めています。
もう1つ、「AI for Security」と「Security for AI」の両面から注力しているのが、偽情報対策です。富士通では「経済安全保障重要技術育成プログラム（※２）」のもと、偽情報の検出や社会的影響の評価、それらの技術を統合したシステム化に向けた技術開発を進めています。
この分野では、情報の真偽を見極めるだけでなく、それがネットワークや人の意思決定に与える影響までを含めて分析する「コグニティブセキュリティ」の研究にも取り組んでいます。たとえば、インターネット上のデータの確からしさ（正しさの程度）を汎用的に確認可能とする「トラスタブルインターネット」というコンセプトのもと、自然災害などに関するインターネット上の記事について、関連エビデンス情報を自動収集・照合し、情報の矛盾を評価することで信頼性を判定する技術を開発中です。
このような多面的な技術を統合し、産学官が連携したオールジャパン体制による共同研究を通じて、安全で信頼できるAIプラットフォームの構築を目指しています。
PwCコンサルティング合同会社 パートナー 村上 純一
日本企業が進めるべきリスク制御とイノベーション推進策とは
村上：
最後に北村さんに伺います。AIのリスク評価や安全性の確保に向けて、日本全体としてどのような視点や体制が求められるのか、見解をお聞かせください。
北村氏：
AIに関するリスク対策では、「ゼロリスク」を目指すのではなく、「制御可能な状態にすること」が現実的かつ本質的なアプローチです。ガバナンスの目的は、技術の発展にブレーキをかけることではなく、リスクを適切に抑えながら、イノベーションを前に進めるための土台を整えることにあります。そのためには、ルールの設計も画一的であってはならず、目的に応じた使い分けが必要です。
たとえば、明らかに危険な行為を防ぐための厳格な禁止は、迷いなく導入すべき領域です。一方で、社会的な信頼を築くための倫理的ルールは、価値観の共有や行動規範の形成につながります。そして、AIのように変化が激しく不確実性が高い分野では、あえてルールの枠組みを定めすぎず、柔軟に運用していく発想も重要です。
これらを混同すると、ルールの趣旨が不明確になり、守る意識そのものが希薄になりかねません。だからこそ、ルールを設ける際には「何のために必要なのか」という目的を明確にしたうえで、制度設計を行う必要があるのです。
また、AIセキュリティに取り組む人材には、技術だけでなく、倫理や社会構造、国際動向といった広い視野が求められます。レッドチームのような攻撃的思考をベースに、AIの影響をユーザーや社会全体にまで広げて考察できる人材が今後は不可欠です。富士通の事例でも見られたように、AIの活用と防御、双方の観点からリスクを捉える力が問われています。
企業においても、単発のチェックリスト的対応では限界があります。技術の進化に伴ってリスクも変化していく以上、継続的なリスク評価と対策のアップデートを行える体制を、あらかじめ備えておく必要があります。AI時代のガバナンスとは、まさに変化と向き合い、適応していく力そのものだと私は考えています。
村上：
本日は貴重な知見を共有いただき、ありがとうございました。
（左から）村上 純一、北村 弘氏、今井 悟史氏
{{filterContent.facetedTitle}}
{{contentList.dataService.numberHits}} {{contentList.dataService.numberHits == 1 ? 'result' : 'results'}}
{{contentList.loadingText}}
{{contentList.loadingText}}
{{filterContent.facetedTitle}}
{{contentList.dataService.numberHits}} {{contentList.dataService.numberHits == 1 ? 'result' : 'results'}}
{{contentList.loadingText}}
{{item.videoDuration}}
{{item.title}}
{{item.text}}
{{item.videoDuration}}
{{item.text}}
{{contentList.loadingText}}
{{filterContent.facetedTitle}}
{{contentList.dataService.numberHits}} {{contentList.dataService.numberHits == 1 ? 'result' : 'results'}}
{{contentList.loadingText}}
{{item.videoDuration}}
{{item.title}}
{{item.text}}
{{item.videoDuration}}
{{item.text}}
{{contentList.loadingText}}
