AI関連プロジェクトで失敗に陥らないために

2021-06-16

PwCあらた有限責任監査法人(以下、PwCあらた)は、「デジタル社会に信頼を築くリーディングファーム」となることをビジョンとして掲げ、デジタルトランスフォーメーション(DX)の推進と個々のデジタルスキル向上に取り組んでいます。

ここでは私たちの監査業務変革の取り組みや、デジタル化の成功事例や失敗を通じて得た知見を紹介します。これからデジタル化に取り組まれる企業やDX推進に行き詰まっている企業の課題解決にお役立ていただければ幸いです。

※法人名、部門名、役職、コラムの内容などは掲載当時のものです。


PwCあらたは、先進的なテクノロジーを活用した監査を実現するために、人工知能(AI)や機械学習(ML)、データ分析を活用したさまざまなツールやソリューションの開発を続けています。そのうちの一つである監査業務の自動化・効率化の推進においては、これまで数々の失敗に直面してきました。本記事ではそうした失敗を類型化すると共に、開発プロセスにおいて特に重要なフェーズならびに、そこで何をやるべきかを紹介します。AIツールやデータ分析に関するプロジェクト(以下、AI関連プロジェクト)を推進する皆様のお役に立てば幸いです。

AI関連プロジェクトにおける失敗の類型

AI関連プロジェクトを通じて私たちが経験してきた数多くの失敗を類型化すると、3つに分類することができます。

3つの失敗のうち、「1. AIモデルの精度が目標値に到達しない」はAI活用ツールやソリューションの開発段階のものであり、「2. ツールをユーザーに使ってもらえない」および「3. 想定していた効果が出ない」は、ツールやソリューションを公開した後のユーザー体験(UX)および事業運営に関するものです。AIを活用するのであれば、有効なAIモデルを実現することは当然です。それを実現することが最も重要と考えていた時期もありましたが、ツールやソリューションは活用されて初めて意味を持ちます。ユーザーに利用されて、その結果として事業や組織の目的が達成されることこそ、AI関連プロジェクトを推進するメンバーがゴールとすべきところでしょう。

失敗の類型

失敗の事例

 

 

1.AIの精度が目標値に到達しない(精度不足)

 

  • 実データには欠損値が多く、精度を上げることができない。

  • 実運用時に収集可能なデータの質と量を担保するには至らず、目標とする精度を実現できない。

 

 

2.ツールをユーザーに使ってもらえない(低い訴求力)

 

  • 利用するベネフィットが明確でないため、ユーザーが使いたがらない。

  • 既存の業務プロセスに当てはまらないツールであるため、ユーザーが使い方をイメージできない。

 

 

3.想定していた効果が出ない(投資対効果)

 

  • インプットデータの準備に想定以上の時間が掛かり、期待していたほど業務の効率化が進まない。

  • AIツールの分析結果に説明力が不足していて、関係者を説得することができない。

 

事業目的・UX・AIを連動させたPoCこそ成功のカギ

図表1 AI関連プロジェクトの一般的な進め方

ではここからは、3つの失敗を繰り返さないために最も重要となる取り組みを紹介します。AI関連プロジェクトは、図表1のような流れで進めることが一般的です。

従来のシステム開発と比較すると、AI関連プロジェクトには2. 概念実証(PoC)のフェーズが組み込まれていることが特徴的です。従来型のシステムでは、あらかじめ入出力データを定義し、入力から出力へのルールを構築すれば、システムが想定どおりに動くことが期待できます。一方で、AIを搭載したシステムでは、入出力の対応付けを学習用のデータから自動で設定していくため、開発してみないとシステムの挙動は分かりません。PoCのフェーズで仮のAIモデルを試しに構築し、実際のデータを用いて想定どおりの精度が出るかどうかを確認することが必要になります。

図表2 PoCフェーズにおける事業目的とUX、AIの結び付き

同フェーズではAIやデータ分析に関する検証だけではなく、UXや事業運営に本当に資するかを検証することも必要となります。図表2のように、AI搭載システム利用時のUXが、同システムが事業や組織における目的を果たせるものなのかを決定付けます。そして、UXを左右するものこそAI搭載システムで必要となる入力データと、分析結果として出力されるデータの精度です。つまり、事業目的とUX、AIの精度は密接に結び付いていると言えます。

PoCフェーズでは、AIモデルを開発して精度の検証を進めると共に、UXを検証するためのプロトタイプも併せて開発し、ユーザーに使ってもらう際の障壁の有無や、事業上の目標(例えば、作業時間の削減など)の実現可能性を検証することが求められます。UXプロトタイプとしては、ラフな画面イメージをスケッチしたペーパープロトタイプや、実際に画面をクリックしてツールの使い方や画面遷移を試すことができるモックアップといったものがよく使われます。

AIモデルやUXプロトタイプを用いてテストを繰り返すことで、システムの設計や開発に進む前に、入手可能なデータやAIモデルの精度、ユーザーが利用する際の問題点を洗い出すことができます。AIの精度が想定よりも低かった場合には、その精度でもAIを導入する意味のあるユースケースが存在するかを検討します。また、AIの導入によってユーザーの手間が増える場合は、増えた手間を補うだけのユーザーメリットがあるかどうかを精査します。このように、PoCでの結果と事業における目的とを照らし合わせることで、AI搭載システムの開発に進むか否かを判断することができるようになります。

PwCあらたは、以上のような取り組みを通じてAIやデータ分析を活用したツールやソリューションの開発を日々進めています。「デジタル時代に信頼を築くリーディングファーム」を体現するべく、これからも広く役に立つソリューションの研究・開発に尽力していきたいと思います。

PwCあらたのシステム・ツール開発に関するインサイトについては以下もご覧ください。

未来デザインの手法を用いた監査変革の進め方

詳細はこちら

次世代監査をめぐるPwCの取り組み 第4回:機械学習がもたらす「異常検知」と「リアルタイム監査」

Tomorrow's audit, today――次世代監査への取り組み

詳細はこちら

執筆者

小岩 貴弘

シニアマネージャー, PwC Japan有限責任監査法人

Email

Tomorrow's audit, today――次世代監査への取り組み

PwCあらたは、市場をリードするプロフェッショナルのスキル、堅実な監査アプローチ、人工知能(AI)をはじめとするテクノロジーを融合した新時代の監査を通じて、デジタル社会に信頼を築くプロフェッショナルファームを目指します。

詳細はこちら

{{filterContent.facetedTitle}}

{{contentList.dataService.numberHits}} {{contentList.dataService.numberHits == 1 ? 'result' : 'results'}}
{{contentList.loadingText}}

{{filterContent.facetedTitle}}

{{contentList.dataService.numberHits}} {{contentList.dataService.numberHits == 1 ? 'result' : 'results'}}
{{contentList.loadingText}}