株式会社Preferred Networks
執行役員 最高セキュリティ責任者
高橋 正和 氏
PwCコンサルティング合同会社
ディレクター
村上 純一
現在、AIは従来のITの枠を超え、医療や金融、自動車など産業界へと活用領域を広げている。産業分野にAIを応用する際には、デジタルな仮想空間だけでなく、実世界における安全性や信頼を考慮しなければならない。AI特有のセキュリティを確保するには、どのようなアプローチで臨む必要があるのだろうか。ディープラーニングに強みを持ち、さまざまな業界の企業と協業を進めているPreferred Networksで執行役員 最高セキュリティ責任者を務める高橋正和氏と、研究開発から事業経営までセキュリティ分野で幅広く経験を積んできたPwCコンサルティング合同会社ディレクターの村上純一が、産業界に応用されるAIとそのセキュリティをテーマに対談を行った。
製造業や交通システム、バイオエンジニアリングなどさまざまな分野でディープラーニングの応用に取り組むPreferred Networks。同社のビジョンは「ソフトウェアとハードウェアを融合して現実世界を計算可能にすること」と高橋氏は語る。現実世界は不確定性が高く、数値化できない要素が多いため、あらかじめ設計したルールだけで状況の変化に対応することは難しい。例えば「部屋の片付け」というタスクを考えると、散らかっている物の種類は多岐にわたり、さらに部屋の照明や家具の位置といった条件によっても認識すべき状況は変化する。既定のアルゴリズムで動く従来のロボットは、部屋の電気の明るさが変わっただけで前提条件が変わってしまうため、対応が難しくなる。
一方、同社が開発している「全自動お片付けロボットシステム」は、ディープラーニングによって部屋の中にある物体や片付けパターンを学習して、画像や音声を認識し、動きを制御する。そのため、部屋の散らかり方が変わっても片付けるべき物の形状を認識し、それを拾い上げて所定の場所まで運ぶという複雑な動作を実環境で行うことができる。
ディープラーニングの活用が産業分野で注目されている理由は、こうした「ルールベース（アルゴリズム）の限界」にあると高橋氏は指摘する。工場や道路といったリアルな環境では、無限ともいえるさまざまな形態の物体や音声などを認識できなければならない。そのためには人間が前もってモデルやアルゴリズムを設定する方法では限界があり、機械が外界の状況やその変化を柔軟に認識して動きを適応させていく必要があるのだ。
Preferred Networksがトヨタ自動車のHSR（Human Support Robot）を使って開発する「全自動お片付けロボットシステム」。ディープラーニングを活用した画像認識や音声認識、ロボット制御によって複雑な実環境での作業を実現している。
ディープラーニングをはじめとする機械学習では、データの入力と出力の結果を統計的に分析することで学習を深めていく。そこで重要になるのが、「適切な学習をさせるために、良質な教師データをどれだけ用意できるかという点です」と村上は指摘する。これに対し高橋氏は、「とはいえ、データがあれば何とかなるわけではありません。達成したい目的が何なのかを明確にすることが大切です」と付け加える。
AIを使いさえすればどんな課題も解決できるというわけではない。課題と目的を明確にした上で初めて、どのようなデータを収集し、学習させるのかが決まる。さらには、AIが出した結果が目的に適っているのか、その良し悪しを判断するための評価指標も必要になる。村上は「解決したい課題の入り口と出口をしっかりと決めることが重要です」と強調する。
適切な学習をさせるために、良質な教師データをどれだけ用意できるかが重要です。
ディープラーニングでは、既存の事象に関するデータを基に統計的に判断を下しているため、過去に起きたことがない事象が出現した場合、回答を導き出すのが難しくなる。「昨今国内外で発生している異常気象やリーマン・ショック前後の株価など、元分布から大きく外れたイレギュラーな事象については、統計的な予測が外れることになります」と高橋氏。
こうした環境の変化に対して、企業はどのように対処していけばいいのだろうか。高橋氏はここでも評価指標の重要性を強調する。前提となる環境の変化によって、予測にずれが生じていないかを確認するための指標が必要になるのだ。高橋氏は「前提環境が変化することを織り込んで設計やデプロイを行い、運用開始後も評価指標に沿って継続的に評価していかなければなりません」と力を込める。
産業分野を含め、このように不確定要素や変化の多い現実世界で動くAIにおいては、誤認識が起きるリスクを考慮する必要がある。またその影響も大きく、時には人命に関わる場合もある。そのため、AIのセキュリティを確保する上では、一般的なITにおけるセキュリティよりも多面的な捉え方が求められる（図1）。
「お客様の情報を含む大量のデータを扱うので、まずはIT環境のセキュリティ確保が必須であることには変わりありません。これに加えてAIにおいては、開発から運用までを含めたライフサイクル全般でのセキュリティの担保がより重要になります。さらに脅威が何かを特定すること、通常のITシステムとは異なるAI独特の脆弱性に対応することも必要です」と高橋氏。
こうしたアプローチについて村上は、「現実世界で動くAIでは単なるセキュリティではなく、より幅広い『トラスト』という概念で捉えていくべきですね」と述べる。
図1 AI応用領域に求められるセキュリティ
トラストを確保する上では、何を守ろうとしているのかを明確にするためにも脅威分析がとりわけ重要になってくる。脅威分析にあたって有効と高橋氏が示したのが「STRIDE」という概念である。「Spoofing＝なりすまし」「Tampering＝対破壊性」「Repudiation＝否認」「Disclosure＝情報露呈」「Denial of Service＝サービス不能」「Elevation of Privilege＝権限昇格」の6つの軸から脅威を検討する考え方で、この分析を通じてAIの応用分野でのIAAA（識別、認証、承認、説明責任）の重要性が確認できる。
さらにAIにおいては、脅威分析に加えて「不確定性」を考慮に入れるべきではないかと高橋氏は提案する。「開発時・運用時のそれぞれにおいて、どのようなコンセプトや状況・シナリオで学習・予測をさせるか、どのようなセンサーでデータを検知するか、データをどうラベリングするか、どのようなトレーニングモデルを適用するか、実環境での運用において学習結果をどう応用するかといった7つの観点から不確定性を検討することができます」
例えば画像認識においては、画像が不鮮明だったり、一部が隠されていたりしても、認識に影響が出る。また、学習データには含まれていなかった形状の物体をどう認識するかという問題も出てくる。
産業分野で応用されるAIにおいてトラストを実現するには、セキュリティに加えて安全性や品質についても考えていかなければならない。例えば、自動運転車は、安全柵に囲まれた産業用ロボットと違い、日常的な環境で動くため、誤判断や誤作動は大きな事故に結びつきかねない。製品として市場に出すからには、安全性の担保が求められる。
さらには、プライバシーや社会概念といった倫理面の配慮も必要だ。高橋氏はチャットボットが学習する過程でヘイトスピーチを学んでしまったケースを取り上げ、「工学的には正しいですが、倫理的には間違っているわけです。こうした倫理上の問題をどう取り扱うのかという指標も設定しなければなりません」と話す。
もう1つAIの課題として挙げられるのが、説明責任である。「既定のプログラムであればバグとして誤作動の原因を特定しやすいですが、ディープラーニングは統計的な確率分布から推定するので、なぜそうなったのかという説明が難しい面があります」と高橋氏。学習モデルの問題に加え、データの偏りも誤判断の原因となり得る。「本質的な問題が分かっていない状態で偏りのあるデータを活用していると、誤った結果が導かれてしまいます。データソースの透明性を確保し、データに偏りがないかどうかを確認できることが重要になってきます」（高橋氏）
最近ではAIがデータのどの部分を基に何を判断しているのかを分析し、説明責任を明らかにする研究も進められているという。
AIの導入にあたっては、技術単体ではなくビジネスとしてさまざまな観点から分析する必要があると村上は指摘する。続けて高橋氏は、「そもそも何をしたいのかが不明瞭なままだと、そうした分析もできません。AIで何がしたいのかが明確になって初めて、不確定性や安全、品質、倫理といった要素に分けて考えられるようになります」と述べる。
「とりあえずAI」という考えでは、よい結果は得られない。「どのような問題をテクノロジーで解決するのかという切り分けが必要でしょう。AIは判断の支援に使い、最終的な判断は人間が下すといったように、目的と役割を定めておくことも重要です」（村上）
こうした切り分けは、AIに限った問題ではない。あらゆるシステム設計において考えなくてはならないことだ。「まずは課題と適応領域を定義し、その上でAI特有の問題を踏まえた設計をしていくべきです」と高橋氏は強調した。
そうした認識のもと、Preferred Networksは顧客の課題を出発点とした取り組みに注力している。また、画像認識や音声認識、モーション制御、ロボティクスといったAI領域のプラットフォーマーとして、引き続きソフトウェアとハードウェアの融合を進めていくという。
本対談は2019年11月13日に開催した「PwC’s Digital Trust Forum 2019」におけるセッションの内容を再構成したものです。
基本ソフトの開発、品質管理等を経て、1999年にインターネットセキュリティシステムズ（現 日本IBM）に入社。セキュリティコンサルティングビジネスの立ち上げ、セキュリティオペレーションセンターの構築支援、CIOとして社内ITシステムの構築運用などを担当。2006年に日本マイクロソフトのチーフセキュリティアドバイザーに就任。製品やサービスに関するセキュリティの取り組みや、セキュリティモデルについて啓発活動を行う。また、工作機械メーカー、自動車メーカー等が取り組むIoTセキュリティについてのアドバイザーとしても活動。2017年10月にPreferred Networks セキュリティアーキテクト、CISOに就任。2018年5月より執行役員 最高セキュリティ責任者。
国内大手のセキュリティベンダーにてマルウェアの収集・分析などに関する研究開発、脅威分析、脆弱性診断、トレーニングなどの業務に従事。その後、創業メンバーとして国産セキュリティベンダーの立ち上げに参画し、執行役員として基礎技術開発、製品開発、各種セキュリティサービス提供、事業経営などに携わり株式上場を経験。また、サイバーセキュリティ領域における各種外部委員活動、Black Hat、PacSec、AVARなど、国際会議での研究発表も行っている。
※ 法人名、役職、本文の内容などは掲載当時のものです。
関税政策を巡る混乱で世界経済の先行きは不確実性を増し、深刻化する気候変動の影響やAIをはじめとするテクノロジーの進化も待ったなしの対応を企業に迫っています。昨日までの常識が通用しない不透明な時代をどう乗り越えるべきか。これからの10年を見据えた針路の定め方について、PwCのグローバル・チーフ・コマーシャル・オフィサー（CCO）であるキャロル・スタビングスと、PwC Japanグループで副代表およびCCOを務める吉田あかねが意見を交わしました。
社会やビジネス環境が急激に変化する中、持続的な成長が可能な組織へと変革を遂げるには、何が必要なのでしょうか。元バレーボール女子日本代表で、現在は一般社団法人「監督が怒ってはいけない大会」の代表理事としてスポーツ界の意識改革に取り組む益子直美氏と、PwC JapanグループでCPCOとして企業文化の醸成をリードする佐々木亮輔が変革実現へのカギを語り合いました。（外部サイト）
複雑化する社会課題に「産学」はどのように連携して挑むべきか。2021年に公表した「UTokyo Compass」でインクルーシブなより良い未来の社会づくりへの取り組みを掲げる東京大学の総長・藤井輝夫氏と、社会課題の解決をパーパスとするPwC Japanグループの代表・木村浩一郎が、信頼構築に向けて求められる対話の重要性やリーダーシップのあり方を議論しました。（外部サイト）
障がいの有無・内容を超えて全ての人が自らの力を発揮できる環境こそが、企業の持続的成長に直結するはず。DEIコンサルタントのマセソン美季氏と、PwC Japan合同会社でI&Dに取り組む及川晋平が、障がい者雇用の意義、多様な視点の重要性、社会のあるべき姿について議論しました。
