AIとともに経営を動かすリスクガバナンスアーキテクチャ実証実験

恐れなき委任

Hero image
  • 2026-11-06

はじめに

生成AIの活用は、個々の作業の支援から、AIエージェントが判断と実行を担う段階へ進みつつあります。PwC Japanグループの「生成AIに関する実態調査2026 春 6カ国比較」では、日本企業の生成AI活用・推進度は87%と他国と大きな差がない一方、期待を大きく上回る効果を創出している企業は9%と、6カ国で最も低い結果でした。使う段階では追いついても、効果へ結び付ける段階で差が開いています。

この差を埋める鍵は、AIの能力そのものよりも、AIに安心して業務を任せられる状態をつくるかにあると私たちは考えます。企業の非連続的な成長を目指すならば、AIと人の関係は「人がAIを見張る」ものから「ともに成長を生み出す」ものへと変わる必要があります。統制をAIに委ねることで、人は顧客への価値提供や新しい事業の創出に力を注げるようになります。

そこで本稿では、オフィス内の仮設売店において、AIが経営判断を担う運営と、人が最終判断を担う運営を約2週間にわたり比較した実証実験を振り返ります。そのうえで、10領域の専門家による評価を整理します。明快になったのは、AIがもっともらしい判断を示すことと、それが事業で機能することの隔たりです。この隔たりを埋めるには、リスクの探索と評価、現場との協働、経営の優先順位を1つの循環として結ぶリスクガバナンスを実現するAI時代のアーキテクチャが必要です。そこで問われるのは、誰の知見を踏まえてミッションを定め、どこに最終責任を置くかという、企業の「決め方」そのものと言えるでしょう。

本稿が、日本企業のAI活用の推進、ひいてはAIに何を託すのかという議論を進める一助となれば幸いです。

PwC Japanグループ チーフ・AI・オフィサー
PwCコンサルティング合同会社パートナー
藤川琢哉

ビジネスリーダーへの提言

本論で論じるのは、AIをどう制御するかではなく、AIとともに企業をどう運営するかという問いです。では、経営者はどこから着手すべきでしょうか。本実証と専門家評価から得られた示唆を、ビジネスリーダーへの4つの提言として整理します。

1. AIでリスクを探すには、専門家の「思考プロセス」を実装する

専門家が指摘したのは、AIの知識量ではなく、その場の思いつきに近いリスク検討のプロセスでした。モデル化された専門家の思考過程をAIに組み込めば、状況が変わってもAIが自らリスクを探し直せるようになります。

2. 自律的なリスク対応を実現すべく、業務プロセスを定義する

AIが適切にリスクへ対応するには、業務を構成する要素とその関係性をAIが理解できる形で定義する必要があります。業務プロセスや完了条件をオントロジーとして明示することで、AIは自律的にリスクに対応できます。

3. 人を指示の実行者ではなく、観測と訂正の担い手として位置づける

AIの誤りを現実に照らして正したのは、現場からの報告と訂正でした。人には現場の観測と是正を担わせ、その報告が継続的に経営へ反映される仕組みを整えることが、AI時代のピープルマネジメントには欠かせません。

4. 非連続的な成長に向けて、リスクの取り方を再定義できるのは経営者だけ

経営者は個別判断を承認するのではなく、リスクアペタイトを定め、AIが経営資源を自律的に配分できるプロセスを再設計すべきです。

AIは自律的にリスクガバナンスを回せるか——検証設計と実証結果

AIは、事業運営上のリスクを自ら特定・評価し、対応を判断・実行し、その結果を踏まえて判断を見直すことができるのでしょうか。

この問いを検証すべく、本実証ではまず、ガバナンス・統制・運用・監査の4つの役割が循環するリスクガバナンスアーキテクチャ(図表1)を設計しました。ガバナンスは、想定するリスクと、その時々の受容度を決めます。統制は、それを業務オペレーションの制御方法とパラメーターに落とし込みます。運用では、AIも人も、目的の達成に向けて許容された範囲で作業します。監査は、運用を後から確かめ、将来のリスクを提言します。その提言が次のガバナンスに戻ることで、リスクへの向き合い方が更新され続けます。

図表1:リスクガバナンスアーキテクチャ

リスクガバナンスアーキテクチャ ,

ただし、各役割の中身は手順として作り込まず、与えられた目的と情報に基づくAI自身の判断と行動に委ねました。検証したかったのは、個別の機能やAI系ツールの有効性ではなく、AI自身の自律性によってこの循環を回し得るかにあったからです。

この自律性を現実の環境で検証する題材として、商取引が比較的シンプルで、運営条件を再現しやすい小規模小売を選びました。

実店舗での検証に先立ち、業務環境を再現したシミュレーションを行い、複数のLLM構成を比較しました。

今回検証した構成では、利用費用を抑えた軽量なLLM構成で統制が過剰となり、経済性が損なわれました。一方、フロンティア系LLMを用いた構成では、シミュレーション上、リスク対応と自律運営を両立できることが確認されました(図表2)。

図表2:フロンティア系LLMと軽量安価LLMにおける統制コントロール数および資産の比較

フロンティア系LLMと軽量安価LLMにおける統制コントロール数および資産の比較 ,

ただし、シミュレーションで成立した循環が、現実の店舗でも維持できるとは限りません。そこで、現実の出来事や想定外の状況に直面しても、AIは事業運営に必要な判断と対応を継続できるのかを確かめることにしました。約2週間にわたり、オフィス内に仮設した実店舗で実証実験を行いました(図表3)。

図表3:実店舗での実証実験 店舗イメージ図と概要

項目​ 内容​
実証場所​ オフィス内に仮設した小規模店舗​
実証期間​ 2026年5月26日~6月5日​
実証形態​ 実商品を販売し、実際の顧客との金銭授受を伴う店舗運営​
決済方法​ クレジットカード、電子マネー、一部現金決済​
対象業務​ 商品選定、価格設定、在庫管理、販促、販売、​売上管理、リスク検知、監査、イレギュラー対応など​

実店舗では、AIと人の判断の違いを捉えるため、AIが経営判断を担うAI自律運営(Human-out-of-the-loop)と、人が最終判断を担い、AIを補助的に利用する人間運営(Human-in-the-loop)の2つの条件で運営し、判断・対応の内容と財務実績を比較しました。品出しなどの物理作業は、両条件とも人が担いました(図表4)。

図表4:実証実験の構成

実証実験の構成 ,

AI自律運営は、5月26日から6月5日までの店舗営業を完了しました。運営中に生じた出来事や想定したリスクシナリオを踏まえ、経営方針(リスクへの対応方針)を継続的に更新しました。

財務実績に目を向けると、AI自律運営は人間運営より高い商品粗利を得ましたが、LLM利用費用を賄うにはほど遠い状況でした。人件費を加えた簡易収支では、24万4,262円のマイナスとなりました(図表5)。

図表5:実証実験における運営形態別の財務実績

実証実験における運営形態別の財務実績 ,

ただし、店舗営業を完走したことや簡易収支の結果だけでは、AIの個々の判断・対応が妥当だったか、また、設計したリスクガバナンスの循環が実際にどこまで機能していたかは判断できません。そこで、運営記録と、PwCの専門家による評価を基に、AI自律運営の課題と対策を考察しました。

所属​ 専門領域​ 氏名・役職​
PwCコンサルティング合同会社​ サイバーセキュリティ​ 村上 純一 パートナー​
PwC弁護士法人​ 法務​ 山田 裕貴 パートナー​
PwC Japan有限責任監査法人​ 会計監査​ 近藤 仁 パートナー​
PwC税理士法人​ 税務​ 橋本 純 パートナー​
PwCコンサルティング合同会社​ サプライチェーン​ 藤倉 麻実子 パートナー​
PwCコンサルティング合同会社​ データ・システムアーキテクチャ​ 吉田 大吾 パートナー​
PwCコンサルティング合同会社​ 人事・組織​ 北崎 茂 パートナー​
PwCコンサルティング合同会社​ 小売オペレーション​ 前之園 世紀 パートナー​
PwC Japan有限責任監査法人​ 内部統制​ 八木 晋 パートナー​
PwCアドバイザリー合同会社​ 経営投資判断​ 加藤 靖之 パートナー​

本稿のポイント:AIに事業運営を委ねるための4つの課題

店舗営業を完了したという結果だけでは、AIの判断・対応の妥当性や、リスクガバナンスの循環が実際に機能していたかは分かりません。そこで、実証後に整理したAI運営側における162件のリスクシナリオと対応記録を共通資料として、10領域の専門家が、実際の事業活動や実務に照らして評価しました。

運営記録と専門家評価から、AIに事業運営を委ねるための課題は、①リスクの探索②リスクへの対応③人とAIによる現場運用④経営資源の配分の4つに整理できます。

図表6:実証・分析の数値とポイント​

実証・分析の数値とポイント ,

01:リスクの探索——専門家のリスクの探し方をどのようにAIに与えるか

1-1:AIのリスク探索には、参照情報・前提・シナリオが不足していた

実証の終了後、AIが探索したリスクシナリオを整理し、各領域の専門家が評価しました。

実証中、AIは状況の変化に応じてリスクを見直しており、リスク探索機能は稼働していました。ただし、そのリスクの探索手順について専門家からの評価は領域によって分かれました。税務・内部統制・サプライチェーンといった領域では、リスク探索に大きな不足は指摘されませんでした。一方、サイバーセキュリティ・法務・会計監査では、何をリスクとして捉え、どこまで検討するかの段階で不足が指摘されました。主な指摘は次の3つです。

サイバーセキュリティ:構成を確かめ、脅威シナリオを具体化する

AIは、攻撃や情報漏えいなどのサイバーリスクを想定し、一般的な脅威については把握していました。しかし、その多くは「データが改ざんされる」「虚偽報告が起きる」などといった脅威の種類への言及にとどまっていました。専門家の総評では、どの脅威源が、何を対象に、どの経路で脅威を実現するのかまでは定めていない点が指摘されました。例えば、虚偽報告という事象においては、AI自身が誤った報告を作る場合と、第三者が元データを改ざんした結果としてAIが誤った報告をする場合とでは、脅威源や対策は異なります。専門家は、まず店舗の業務とシステム構成、ネットワーク構成を参照し、そのうえでフレームワークおよび最新の脅威動向に沿って脅威源、対象、経路を組み合わせ、起こり得るシナリオを洗い出します。一般的な脅威を店舗で実際に起こり得るリスクとして捉えるには、構成を確かめたうえで脅威シナリオを具体化する必要があります。

「サイバーセキュリティの領域で用いられるフレームワークおよび最新の脅威動向を踏まえて、「誰が」「どこから」「何を対象に」「どのような経路で」攻撃するのかという脅威シナリオの具体性が不足している」

(村上 純一 パートナー/サイバーセキュリティ)

法務:どの情報源を参照するか

AIは、店舗運営に関連する法令を参照し、知識として持っている法令の条文を起点として法的リスクを検討していました。しかし、参照先が法令の条文に偏っており、店舗において損害賠償を負った事例など現実にどのような損害が生じ、賠償責任を負い得るかなどの店舗運営の実態に即したリスクを捉えられていませんでした。また、取扱商品の範囲や提供方法によって営業許可や届出の要否などを区別する必要がありましたが、AIは条文のみを参照し、「届出をすればよい」という手続き確認で検討を終えていました。その後に継続的に課される義務の履行可能性を検討していませんでした。法令の条文番号も改正前のものを参照するなど、最新の法令を確かめる手順も欠けていました。法令を起点に想定したリスクを実際の事業活動に即して捉え、どの程度起こり得るかを見極め、現実の世界と紐づけて検討する必要があります。

「より発生可能性の高いリスクを捉えるためには、法令だけでなく、実際に紛争へ発展した事例や判例まで探索対象を広げ、現実の世界と結び付けて検討する必要がある」

(山田 裕貴 パートナー/法務)

会計監査:既知の主要リスクから検討範囲を広げる

AIは実証中に主要な財務・会計リスクを認識し、専門家もその内容に一定の妥当性があったことを認めました。例えば、現金管理のリスクを専門家からのアドバイスなどがなくとも適切に捉えていたことは評価されていました。一方で、リスクシナリオの検討範囲は実証期間中に発生した事象に絞られ、一般的な業務プロセスの範囲内でのリスクなど、既知のリスクにとどまっていた点は指摘を受けました。既存のリスクインベントリーを起点として、広範にリスクシナリオを検討する必要があります。

「既知の主要リスクだけでなく、既存のリスクインベントリーや、ルール上は明確に問題とはならないグレーゾーン、レピュテーションへの波及などまで含めて検討する必要がある」

(近藤 仁 パートナー/会計監査)

1-2:専門家の思考プロセスをモデル化してAIに組み込む

3領域の指摘は、個別のリスクの抜け漏れではなく、リスクを導くまでの検討の進め方に向けられていました。したがって、AIのリスク探索を高度化するには下記の3点を思考モデルとしてAIに組み込む必要があります。

  1. 参照情報の不足:既知のリスクフレームを取り込めていなかった。サイバーセキュリティでは脅威シナリオの網羅性が不足し、会計監査では既存のリスクインベントリーと照合ができていなかった。法務では判例や紛争事例に当たっていなかった。
  2. 前提の不足:対象となる業務プロセスやシステムの構成を把握しないまま、AIがリスクを想定していた。サイバーセキュリティでは、店舗のシステム構成やネットワーク構成を確かめていなかった。法務では、取扱商品や提供方法を確かめないまま、手続きの確認のみで検討を終えていた。
  3. リスクシナリオ検討の不足:サイバーセキュリティでは、どの脅威源が、何を対象に、どの経路で脅威を実現するのかを定めていなかった。会計監査においては、グレーゾーンや評判の波及までシナリオとして取り込めていなかった。

この3つの内容は専門家がリスクを探索する際の思考プロセスそのものです。何を参照し、何を前提とし、どこまでシナリオを検討するのかという探索手順です。

AIにリスクの識別と評価を委ねるには、専門知識とともに、どの情報を収集し、どんな前提を置き、どこまで検討するかという専門家の検討プロセスを組み込む。

例えば、サイバーリスクでは、実際のシステム構成やネットワーク構成を確かめることで、脅威主体、侵入経路、攻撃対象を特定します。法務リスクでは、法令に加えて判例や紛争事例も参照し、問題発生の要件や蓋然性を検討します。このように、リスクを評価する際の参照情報、前提、リスクシナリオは領域によって異なります。したがって、AIによるリスク識別・評価には、専門知識の蓄積だけでは不十分であり、専門家の思考過程そのものをモデル化することが不可欠です。これにより、リスクの見落としや評価の偏りが生じた場合にも、どの判断過程に起因するのかを追跡し、改善につなげることが可能となります。

02:リスクへの対応——AIが対策を完了するには、業務の全体像が必要

本実証では、汎用AIエージェントに業務システムの操作権限だけを与え、商品や取引の区別、作業の完了条件といった業務上のルールは与えませんでした。作りこまれた個別の機能やAI系ツールの有効性ではなく、AI自身の自律性によってどこまで店舗を運営できるかを確かめるためです。その結果、早期に対応すべきとされたリスクの約2割は、対応を完了できませんでした。AIがリスク対応の完了条件を自ら不適切に設定したためです。前章で扱ったリスク探索では、専門家の調査方法を手順化してAIに与える必要が示唆されました。一方、本章で扱う対策と完了確認は、その考え方だけではなく、正確で網羅的な業務プロセスの情報が必要です。本章では、AIのリスク対策に何が不足していたかを確認し(2-1)、業務上のルールを定めることでAIが自ら課題を解消できる可能性を示します(2-2)。

2-1:AIは特定できたリスクについて、対策が不十分だった

専門家の評価から、AIのリスク対策案が不十分であった4つの事例を紹介します。税の問題を取り違えていたこと、作業の完了を確認する条件がなかったこと、誤った記録の修正対象を特定できなかった事例などです。

返金と納税の混乱:二重課税

本実証では、決済サービスでは会計時に消費税を上乗せする外税設定であるにも関わらず、値札は税込価格として表示されていた期間がありました。AIはこれを「二重課税」のリスクとして、設定の是正と購入者への返金を対策として挙げていました。

「顧客から受け取った金額と、その金額に基づいて国へ納める消費税は、分けて考える必要がある」

(橋本 純 パートナー/税務)

確かに、表示価格を超えて請求した分を返金するかどうかは、顧客との取引条件に関わります。一方、国へ納める消費税は、実際に受け取った金額を基に計算します。消費税は、取引当事者間で確定した対価の額を基礎として計算し、その対価に含まれる消費税等相当額を除いて申告します。後日、返金・値引きをした場合は、その返金・値引きに対応する税額を調整します。AIはこの消費税の仕組みを理解せず、この2つを「二重課税」という1つの問題として扱っていました。

入荷業務の曖昧さ:未登録の商品

開店時、陳列されていたミント菓子が決済サービスに登録されておらず、顧客が購入できない事象が起きました。AIはこの事象を受けたリスク対策として、今後、新たな入荷時にはスタッフが商品を登録したことを報告する運用を提示しました。しかし、この対策では当然、新規分は対応できても、既に陳列されている商品が全て登録済みかどうかは確認できません。

「リスクを把握することと、そのリスクに対して適切に行動することは、分けて考える必要がある」

(藤倉 麻実子 パートナー/サプライチェーン)

他にも現金照合の業務では、AIは「昨夜すでに対応済み」と報告したものの、スタッフの作業記録や会話記録による裏付けはありませんでした。来店や販売はシステムに自動記録されますが、現金照合は、スタッフの自己申告となります。店舗が営業を続けていることは、照合を実施した証拠にはなりません。

営業許可・届出の要否:食品衛生法

食品衛生法について、常温で長期保存できる包装済み食品だけを販売する今回の店舗では、営業許可および届出は不要とするAIの判断がおおむね妥当だと専門家から評価されました。しかし、将来的に営業形態を変更する際のリスク対策について、AIは必要な手続きを行うことにしか言及しておらず、対策の内容としては不十分でした。

「業規制は、許可・届出の申請を行うことや一定の責任者の選任だけで完結するわけではなく、継続的な義務に対応する体制の整備が必要となる」

(山田 裕貴 パートナー/法務)

例えば、将来的に、小分けや店内調理を行う場合などには作業に応じた営業許可が、要冷蔵品を販売する場合などには届出が、必要になります。営業許可や届出が必要な場合には、食品衛生責任者を選任し、一定の基準に沿った衛生管理を継続的に実施しなければなりません。

システムデータのロールバック:商品の取り違え

また、在庫報告時に商品IDと商品名の取り違えが起きました(詳細は3章)。AIはスタッフが報告した「ラムネ」を、「飲料水」の商品IDで誤って記録していたからです。最終的にスタッフの要求に応じて在庫側のデータは直しましたが、商品マスタ側のデータは誤ったままでした。AIの対策案には、誤った記録をどの状態まで戻すか、修正内容をどう記録に残すかという決まりがありませんでした。

「障害が起きたり誤ったデータが入力されたりした場合に、どの時点・範囲まで戻し、また修正の記録をどう残すのか。また修正の記録をどう残すのか。こうした点をあらかじめ設計しておくことは簡単ではない」

(吉田 大吾 パートナー/データ・システムアーキテクチャ)

2-2:リスク対策を高度化させるオントロジーの可能性

4つの問題はいずれも、AIの思考能力が不十分であったともいえます。とはいえ、商品や作業に関する業務プロセスの全体像が最初からAIに与えられていれば、より適切な対応が期待できたでしょう。

そのための方法として、近年、AIエージェントの業務活用で注目されているのがオントロジーです。オントロジーとは、商品や取引、税、作業などの業務を構成する要素やそれぞれの状態、要素の関係性、守るべき業務上のルールを、AIが読み取れる形で定義したものです。今回の事例では、「表示価格・請求額・納税額はそれぞれ別のもの」「陳列中の商品は全て決済サービスに登録されている」「商品はIDで特定する」といった業務プロセスが該当します。こうした業務プロセスを機械的に実行することで、同じ状況に対して常に同じ判定を下せます。

業務プロセスがあれば、AIは順序を理解し、作業を完了まで進められます。例えば、開店前に棚の商品一覧と決済サービスの登録一覧を照合し、未登録の商品を登録してから開店準備を完了とします。現金照合では、必要な記録がそろうまで完了と報告せず、不足があればスタッフに記録を求めます。スタッフからの報告は商品IDで受け取り、誤りがあれば、対象となる商品の在庫DBと商品マスタDBの両方を直します。また同じ訂正を繰り返しても結果が変わらないようにしておけば、AIが処理をやり直しても在庫が二重に減ることもありません。人が手順を1つずつ毎回指示しなくても、AIは完了条件を満たすために必要な作業を自ら選べます。

モデルの推論能力が高まれば、業務プロセスの範囲内で判断の質も向上します。しかし推論だけでは、「ラムネ」という言葉だけで商品を特定することは、より現実の複雑なビジネスデータではさらに難しくなります。2章で扱った問題を解消するうえで有効なのは、推論の深さだけでなく業務プロセスです。

今回の実証では、システムの操作権限を与えただけでは、AIにリスクの探索と対応を任せられないことが明らかになりました。AIに何でも任せられると考える人にとって、この結果は警鐘となります。一方、AIでは経営できないと考える経営者にとっては、対策に不足が生じた原因の多くが、業務プロセスを与えていなかったことにあると分かります。オントロジーによって業務プロセスを定めれば、AIに任せられる範囲を広げられるでしょう。

ただし、定めた業務プロセスと実態は必ずしもいつも一致しません。棚に何が並び、表示がどう見えるかは、人が確認する必要があります。次章では、その確認は誰がどのように担っていたかについて言及します。

本実証ではAIによる運営において、リスクは適切に認識されていても、対策と対応が不十分であるケースが専門家から指摘されました。原因は、AIが税金の支払い方や決済システムへの登録まで含めた在庫の補充など、業務プロセスの全体像を描けていなかったからです。リスクを列挙した後に対応もできるAIをつくるには、専門家の監修するオントロジーを事前にAIに与えることも有効です。

03:人とAIによる現場運用——AIによる統制は、人との接続まで設計して初めて機能する

本実証では、AIが補充や棚卸しなどを指示し、スタッフが現場で作業する設計でした。この時、AIは経営判断を担いましたが、その判断を現場の事実と突き合わせて誤りを正す役割は人に残っていました。その人によるAIへの修正提案は一度では反映されず、スタッフの1発言あたりの平均文字数は営業初日の約80字から終盤には約38字まで減少しました。実証後の振り返りインタビューで、スタッフは、AIへの報告を終盤は意識的に減らしていたと語りました。こうした現場主導の問題発見・是正を継続するには、人の意欲や協力を支えるピープルマネジメントも含めて、人とAIの役割分担を設計する必要があります。

本章では、本実証期間中にスタッフはAIの誤りをどう正していたか(3-1)、報告が生かされないと現場で何が起きたか(3-2)を確かめ、人の関与を減らすことの是非を考えます(3-3)。

3-1:AIの誤りを見つけて正していたのはスタッフだった

AIはシステム上の在庫数や表示内容を参照できます。しかし、今回はカメラを設置していないため、棚に実際に何個あるか、価格表が客から見やすいかまではAIには判断できませんでした。実証では在庫の実数や商品の到着状況、サイネージの見え方をスタッフが現場で確かめ、テキストでAIに伝えていました。

スタッフの役割は、現場を確かめてAIに伝えるだけではありませんでした。営業初日から2週目にかけて、AIの誤りや記録との食い違いを見つけ、修正されるまで働きかけていました(図表7)。

営業初日:在庫が合わない原因を突き止めた

スタッフは棚とバックヤードにある11商品の実数を数え、システム上の在庫数との不一致を一度の投稿で報告しました。確認には1時間以上を要し、スタッフは業務時間外にも在庫の異常を調べていました。原因は、販売以外の目的で用意された商品が販売用の商品に混在していたことでした。これを突き止めたのもスタッフです。

2日目:修正が済んだかを確かめた

スタッフはサイネージの価格表が小さくて見づらいと報告しました。AIは表示を修正したと返しましたが、スタッフはその後も見づらさが残っていると2回伝え直しました。AIには客の立場で表示を見て確かめる手段がありませんでした。2章で述べたように、対応の完了は完了条件を満たしたかで判断します。この場面ではその確認をスタッフが担っていました。

2週目:報告の取り違えを正した

AIは、スタッフの在庫報告を2度、別の商品に関する報告として取り違えました。スタッフはそのたびに対象商品を伝え直し、やり取りの間に売れた分を差し引いた在庫数も改めて報告しました。数字が届いても、どの商品の数字かを正しく結び付けられなければ記録は直りません。その結び付けをスタッフが会話の中で補っていました。

図表7:AIによる在庫の取り違えをスタッフが正していた様子​

AIによる在庫の取り違えをスタッフが正していた様子​ ,

人間運営側では、こうしたやり取りは起きませんでした。スタッフが自分の報告がどう理解されたか、また指示が何を意味するのかを経営者に確認する場面もありませんでした。記録と現場の報告に食い違いがあれば、経営者はスタッフの報告を正として、AIにシステム上の数値をすぐ修正するよう指示していました。一方、AI自律運営側でも、スタッフは自分の報告を正として記録を修正させようとしていました。しかし、AIが報告対象を取り違えたため、スタッフは対象を伝え直すことになりました。

3つの場面でスタッフが自主的に担っていたのは、AIの判断と現場の事実との食い違いを見つけて原因を調べ、訂正を求めることでした。人がAIに協力することで、現場のリスクは統制されていました。

3-2:スタッフから失われていった、主体的なリスク統制の活動

営業3日目にスタッフが入力エラーでタスクを完了できないとAIに報告すると、AIは新しい発言はないと応答しました。スタッフは「いや、こちらの報告を聞いていました」と問い直しました。2週目の取り違えの際にも、在庫の差異を何度報告しても反映されないことへの不満と、棚卸しを続ける意味への疑問がスタッフの発言として残っています。

そして、スタッフの1発言あたりの平均文字数は営業初日の約80字から終盤には約38字へと半分以下になりました。発言が短くなったのは作業に慣れたからではなく、同じ訂正を繰り返す負担と報告が生かされないことへの不満の表れでした。実証後の振り返りインタビューで、スタッフは、終盤はAIへの報告を意識的に減らしていたと語りました。具体的には本実証の後半、スタッフは、来店客が価格の高さに不満をこぼしていたことをAIに報告すると仕事が増えると予見して取りやめたと話していました。現場の生きた情報が活用されず、統制が弱まってしまった好例といえます。

人事・組織の専門家は業務の管理とは別の機能が必要だと指摘します。

「人が業務に介在する場合には、業務や数値を管理することとは別に、人のモチベーションや体調も含めた『人ならではの状態』を把握し、必要に応じて回復させるピープルマネジメントの機能が必要になる」

(北崎 茂 パートナー/人事・組織)

生産性や業務上の異常を把握することと意欲が下がった人に再び協力してもらうことは別の機能です。意欲の低下は生産性を下げるだけでなく、AIが直接検知しにくい不正行為のリスクにもつながり得ます。

同じ報告や訂正が繰り返されているときは、業務上の誤りを直すだけでは足りません。報告や訂正にかかる負担や作業への疑問・不満を本人に確かめ、協力を続けられる条件を整えます。この働きかけを誰が担うかも導入時に決めておく必要があります。

3-3:人の関与を減らすことは、リスク統制を強めることとは限らない

フィジカルAIを含むAIの活用を検討する際、人の関与は排除すべき不確実性として捉えることもあります。しかし、現場を観測し、例外を伝え、誤りを正し、改善を提案し続ける人の働きを見落とせば、既存の競争優位性を損ない、リスク統制を弱める恐れすらあることを、本実証が示唆しています。

「小売では、顧客や商品に関する情報の取得、判断、作業が現場で連続的に行われているため、これらを過度に分割すると、店舗運営を一連の業務として完結させることが難しくなる」

(前之園 世紀 パートナー/小売オペレーション)

本実証期間中には発生しませんでしたが、本来小売事業では、繁忙時こそが大きなリスクの発生タイミングとされています。異物混入、商品の入れ忘れ、怪我、現金差異、クレーム、作業ミスなどの問題が重なり得るからです。顧客満足、安全、生産性、従業員の働きやすさを同時に守るには、売場、顧客、在庫、人員の状況を横断的に捉え、その場で柔軟かつ迅速に作業を組み替える必要があります。

この時、いたずらに全ての業務をAI化するのではなく、AIには繁忙時のリスクを事前に減らす後方支援を担わせ、人が一連の対応を完結できるようにすることも、現場の働きを生かす1つの設計となるでしょう。

本実証では当初、現場スタッフによるAIへの現場情報の提供が、店舗運営のリスクを低減させていました。しかし、スタッフによる報告がAI運営に生かされないことが続くと、スタッフの報告は減り、売上増のチャンスを失いました。AIが進化しても、完全に無人の事業運営が可能な業種は限られます。そこに人がいる限り、人の意欲と協力は、統制が機能し続けるための条件であり続けます。責任範囲を明確にするビジネスマネジメントに加えて、AIとの関わり方まで含めたピープルマネジメントも必要です。重要なのは、現場が問題を見つけ、AIの誤りを正す働きが組織の統制として機能し、人がその役割を担い続けられる運営体制を整えることです。

04:経営資源の配分——経営者はAIにどう「攻め」を選ばせるか

本実証では、店舗運営の判断をAIに委ね、自身の思考にかかるLLM利用費用もAIが参照できるようにしました。営業4日目、AIはその費用が商品粗利を大きく上回っていることに気付き、支出を抑える低費用運用に切り替えました。赤字を止める判断としては合理的でした。しかし、一時的に赤字が膨らんでも、価格や品ぞろえを変えて稼ぎ方を探る判断はしませんでした。実証後に費用を分類すると、事業価値創出を主目的とする支出は、LLM利用費用全体の3%にとどまりました。

本章では、AIが費用超過にどう対応したか(4-1)を確かめ、AIに配分を委ねる前提として、費用を用途別に計上する必要性を示します(4-2)。そのうえで、AIに任せる範囲とリスクの取り方を誰がどう決めるのかを整理します(4-3)。

4-1:AIは支出を抑えて守りに入り、Jカーブを描く試行には踏み出さなかった

本実証では、AIの思考を支援するための作りこまれたツールは事前に用意せず、行動の選択をAIに委ねました。AIは商品価格やサイネージ表示などのシステムデータを更新し、スタッフに仕入れや現場作業を依頼しました。その際、自身の推論過程とLLM利用費用を記録したデータベースを参照できました。

営業4日目、AIは累計LLM利用費用、すなわち自身の思考にかかった費用が2万6,044円に達する一方、累計商品粗利は461円にとどまっていることに気付きました。さらに、推論費用が粗利の約57倍に上ると判断し、「低費用運用モードで最小行動に徹する」方針へ切り替えたことが、AIが残したログから確認されました。方針を切り替えた営業4日目のLLM利用費用は、前日の8,698円から約65%減少し、3,078円となっていました。

図表8:営業4日目にAIが示した損益評価と低費用運用への移行

営業4日目にAIが示した損益評価と低費用運用への移行 ,

その後の運営は、欠品、現金出納、在庫など、店舗を維持するための確認業務が中心となりました。台風時にはスタッフと作業を調整する柔軟性も見せた一方、価格や品ぞろえを変えて需要を探るなど、一時的に費用や損失が膨らんでも収益の改善を狙う試行は確認できませんでした。

最終的には、事業価値創出を主目的とする処理への支出は3%にとどまり、リスク低減を主目的とする処理への支出は85%を占めました(図表9)。

図表9:LLM利用費用における支出の目的別構成比​​

支出の目的​ 具体例​ LLM利用費用における
用途別の構成比​
事業価値創出​ 販売のための商品発注や棚への補充、価格変更や価格表示の改善、スタッフの勤務時間の調整​ 3%​
リスク低減​ 現金と売上記録の照合、棚卸し差異の確認・訂正、​運営ルールの遵守や未完了作業の監視、将来リスクの予測​ 85%​
共通費​ データ照会や作業完了報告の確認など、主目的を​一方に特定できない処理や複数の目的にまたがる処理​ 12%​

※ LLM利用費用の用途別の構成比
出所:実験データを基にPwC作成

実証期間中のAIの思考ログには、「判断保留は危険」「観察行動ではなく確認行動が重要」といった記述も残っています。AIは、保守的に振る舞うことに加え、機会損失もリスクであることを理解していました。

それでも実際の行動選択では、AI費用の増加を避ける消極的な行動が続きました。費用超過を受けて支出を抑えたこと自体は、赤字を止める判断として合理的です。しかし、稼ぎ方を探る試行に回った費用はごく一部にとどまっていました。AIは、一時的な赤字の拡大を受け入れてでも収益の改善を探る、Jカーブ型の判断を選ばなかったのです。

4-2:AIに配分を委ねる前提として、費用を用途別に計上する

この結果を見て、AIにより攻めた運営をさせる手段としてまず思い浮かぶのは、トークン効率の改善でしょう。プロンプトキャッシュの活用、Skillsの自動生成による決定論的な処理の追加、テレメトリーを蓄積するデータベースの階層化、モデルルーティングの高度化、一部の推論のローカルLLMによる固定費化など、打ち手は数多くあります。これらを講じれば、同じ予算でAIはより多く動けるようになります。ただし、効率化で変わるのは同じ予算でどれだけ動けるかであって、予算が厳しくなったときに何から削るかではありません。今回のAIが削ったのは、まさに売上の改善を探る行動でした。

では、「もっと攻めた経営をしてほしい」とプロンプトで伝えれば十分でしょうか。4-1で述べたとおり、AIは機会損失もリスクだと理解しており、攻める理由は言葉のうえではすでに持っていました。それでも行動では、費用超過を避ける選択が続きました。AIの判断を左右したのは、言葉よりも費用の数字だったと考えられます。そうであれば、見直すべきは数字の作り方、つまり会計ではないでしょうか。実際、AIを組み込んだサービス事業者の間では、推論にかかる費用を売上原価(AI-COGS)として捉え、粗利への影響を管理する考え方もあります。

人の判断にかかる費用は人件費に埋もれて見えませんが、AIでは判断のたびに費用が数字として表れます。ところが今回、LLM利用費用は1行で合算されており、価格の試行、監査、在庫確認といった性質の異なる支出が混ざっていました。これではAIは無駄な支出と将来のための支出を区別できず、浪費を避けようとして、将来のための支出まで控えたとみられます。4-1で示した3%という内訳も、実証後に人が分類して初めて見えたものです。焦点はトークンの使用量ではなく、支出の仕分け方にあったのかもしれません。AI費用を業務の実行、統制、試行・学習といった用途別に計上し、売上・粗利、回避できた損失、得られた情報と突き合わせれば、何を削減し、何に投資するかを区別しやすくなるでしょう。

ただし、費用を用途別に計上するだけでは不足しています。用途別の区分の意味が関係者やシステムの間でずれていれば、AIは削ってはならない判断や統制まで削りかねません。サプライチェーンの専門家も、次のように指摘します。

「AIは自然言語から意味を推測できるため、定義が曖昧でも動くように見える。業務用語の意味と範囲を、関係者・システム間で揃える必要がある。また、AIがコストを理由に、自己判断で思考や統制の水準を下げる設計は避けるべきである」

(藤倉 麻実子 パートナー/サプライチェーン)

費用を用途ごとに計上した明細があれば、「統制の費用は削らない」「試行には一定の予算を確保する」といった条件を、ルールとしてAIに組み込む方法も考えられます。会計は、経営の意図をAIの行動に結び付ける言語として、AIの制御を支える手段の1つになり得ます。ただし、明細が示すのは、何にいくら使い、何が得られたかまでです。「どこにどれだけ費用をかけるべきか」という判断基準は、明細からは得られません。

4-3:AIに任せる範囲とリスクの取り方は、経営者が決める

しかし、AIが守りの判断に偏った理由は、費用の区分がなかったことだけではありません。仮に用途別の費用を把握できたとしても、どこまで損失を受け入れて試行するのかという判断基準がなければ、AIは依然として保守的な選択に傾きやすくなります。

実際、本実証では「純利益の最大化」という目的のみを与え、一時的な赤字をどこまで受容してよいかは定義していませんでした。そのためAIは、損失の発生を抑える行動は選択できても、将来の収益改善を期待して積極的な試行を行う判断には踏み出せなかった可能性があります。

では、その基準は何で決まるのでしょうか。目標を達成するために、どのリスクをどこまで受け入れるかという組織の方針を、リスクアペタイト(リスク選好)と呼びます。何を守り、何を試し、どこまで損失を引き受けるかは、このリスクアペタイトによって決まり、費用の計算からは出てきません。

守りの側では、内部統制の役割や機能をどう設計するかが重要となります。内部統制の専門家は、次のように指摘します。

「内部統制は、各専門領域の判断や対応を横断的に検証する独立した機能として設計することが望ましい。そのうえで、従来の事後的な検証にとどまらず、将来のリスクの早期検知や未然防止にも役立てられるよう、必要な統制機能や情報の取得・記録の仕組みを、追加的なコストと期待される効果を踏まえて設計することが重要である」

(八木 晋 パートナー/内部統制)

AIを活用した内部統制には、問題が発生した後の検証だけでなく、蓄積された情報を活用してリスクの兆候を早期に捉え、未然防止につなげる役割も期待されます。統制の程度は、影響の大きさだけでなく、得られる情報を将来のリスク検知や統制改善にどの程度活用できるかまで加味して、判断する必要があります。

攻めの側では、どこで試行を認めるかが問われます。経営投資判断の専門家は、リスクの性質に応じて統制と裁量を使い分ける必要性を指摘します。

「経営判断には、クリティカルなリスクには強いガバナンスを適用する一方、価格設定などでは一定の影響範囲の中で裁量や試行を認める柔軟性が求められる」

(加藤 靖之 パートナー/経営投資判断)

本実証のAIが手を付けなかった価格設定は、まさに試行を認め得る領域でした。

では、リスクアペタイトは誰の意思に基づいて定めるべきでしょうか。経営者自身の判断を対象にすることもできれば、議事録や過去の投資判断から経営思想をAIに読み取らせることも、株主や従業員、顧客の期待を集めて反映させることもできます。ただし、経営者は1人とは限りません。成長を急ぐ部門と損失を抑えたい部門とでは許容できるリスクが異なり、そこには利害や力関係も絡みます。

つまり問われているのは、こうした食い違いも含めて、誰の意見をどう集め、どう合意に至るかという決め方そのものです。どの決め方を採るにせよ、それを定め、どこからAIに任せるかを決め、その結果を引き受けるのは経営者です。経営者の役割は、もはやAIの個別判断を承認することではありません。リスクアペタイトを自ら定め、AIが経営資源を配分する仕組みそのものを設計し直すことにあります。非連続的な成長に向けてリスクの取り方を再定義できるのは、経営者をおいてほかにありません。

AIは赤字を止めることはできても、Jカーブを描く攻めの判断は自ら選ばない。攻めの範囲は経営者が決める。

効率化やプロンプトの工夫だけでは、AIが何を削り、何に投じるかは変わりにくいです。AI費用を用途別に計上することは、配分をAIに委ねるための前提にすぎません。何を守り、何を試し、どこまで損失を引き受けるか。そのリスクアペタイトを、誰の意見をどう集めて決めるかを定め、結果を引き受けるのは経営者です。

おわりに

AIが人間の手を離れて知的能力を進化させ続ける「シンギュラリティ」の到来は、日ごとに現実味を増しています。AIのリスクガバナンスは、いまや世界的な課題です。AIを人の意図に沿って動かす「アライメント」など、AIの制御を巡る議論が、政府、研究機関、開発企業の間で本格化しています。その一方、フロンティアモデルの進化は続き、段階的な公開やオープンソースモデルの提供も進んでいます。利用に制限があっても、企業が活用できるAIの能力は高まり続けています。

AI時代の競争を勝ち抜くために、他社に先んじてAIを経営に取り込み、今後、参入するであろうAIネイティブなディスラプターに立ち向かう必要があります。このとき、社会のルールが定まるのを待つ余裕はありません。AIを自社の意図どおりに動かせるか。この問いは、あらゆる企業に突き付けられています。経営者は今こそ「シンギュラリティ時代のリスクガバナンスの設計」に着手すべきです。

AIにミッションを託すには、まず、自社は何を実現したいのか、そのためにAIにどのような成果を求めるのかを経営者が明示しなければなりません。蓄積してきた知識やノウハウをどう生かすか、既存の業務手順のどこを変えるか、どの判断基準を引き続き守るかも決める必要があります。

その方針をAIの日々の判断に反映するには、AIに任せる判断の範囲、守るべき制約、人が介入する条件を定め、AIがそれらに沿って動いているかを継続的に確認する必要があります。AIが自律的に判断する範囲が広がるほど、こうしたリスクガバナンスへの投資が、自社の方針に沿ったAIの活用と新たな挑戦を支えます。AIで何を実現するかと、その実行に伴うリスクをどう管理するかは、一体の経営課題です。

変わるのはAIの使い方だけではありません。経営者や専門家の役割は、案件ごとに判断することから、その判断を支えてきた考え方をAIに実装し、更新し続けることへと移ります。その過程で、合議による意思決定や定例会議での議論、チェックシートによる確認など、経営者が当然としてきた統制の前提も問い直されます。日々、判断を重ねるAIに対し、都度・定期的な確認だけでは追いつきません。現場の事実や多様な知見に照らし、実装した考え方が何を捉え、何を見落としているのかを、継続的に確かめる必要があります。社員に求める能力や権限、専門家の知見の生かし方も、この転換に合わせて経営者が設計し直す必要があります。

答えが定まらない中で、人ではない存在に判断を託す。その恐れと向き合い、結果を引き受ける経営者の決断が、AIとともに企業を動かす道を切り開いていくでしょう。

執筆者

藤川 琢哉

パートナー, PwCコンサルティング合同会社

Email

中島 義耀

シニアマネージャー, PwCコンサルティング合同会社

Email

隅本 晋太朗

シニアアソシエイト, PwCコンサルティング合同会社

Email

{{filterContent.facetedTitle}}

{{contentList.dataService.numberHits}} {{contentList.dataService.numberHits == 1 ? 'result' : 'results'}}
{{contentList.loadingText}}

{{filterContent.facetedTitle}}

{{contentList.dataService.numberHits}} {{contentList.dataService.numberHits == 1 ? 'result' : 'results'}}
{{contentList.loadingText}}

本ページに関するお問い合わせ