多岐にわたる審議会の議事録を要約し、制度対応の議論を整理、生成AIで実現する業務効率化の取組み

生成AIに立ちはだかった“ポンチ絵”

―― プロジェクトの内容を教えてください。

木村：作業の大枠は下図のとおりです。

最初に、生成AIに期待するタスクを、エネットの担当者の方々に洗い出していただきました。それを基にPwC側でタスクを完遂する生成AI推論ロジックの検討をはじめ、パブリッククラウド上への生成AIの実装、精度検証方法の設計など、アウトプットを創出するまでの仕組み作りを担当しました。

五郎丸：生成AIの活用で効率化が期待できるタスクとして挙げたのは、次の3項目です。

• 審議会・議事録の要約
• 複数の審議会を横断した課題の抽出と重要度評価
• 課題に対するエネットの見解への想定問答作成

これらのタスクに対して生成AIを当てはめ、どのようにすれば業務プロセスの中に組込めるのかを検証しました。そして制度を担当する荒木やエネット社員が協力し、これまでの電力事業制度における議論を踏まえてアウトプットの精度を検証しました。

根本：今回は「RAG（Retrieval Augmented Generation）」というLLMの推論アプローチを採用しました。RAGとは、関連文書をデータベースから検索し、プロンプトに混ぜることで、LLMが持たない専門的な情報を追加で与えて回答を生成する手法のことです。したがって過去の審議会議事録など、必要な情報を別途収集した上で、タスクの検証に取り組みました。

―― お話を伺っていると、タスクの洗い出しやデータ収集など、前準備段階でかなりの作業が必要なのですね。

根本：そのとおりです。生成AIを活用するにあたっては、学習データの整備と前処理が大きなカギを握ります。今回のプロジェクトでは、各審議会がWebに公開している議事録や投影資料など、過去10年分のデータをスクレイピング（※）で半自動的に収集しました。

※ Webサイトのコンテンツの中から特定の情報だけを抽出・取集する技術

多くの議事録はPDFなどの電子文書ですが、LLMに読み込ませるためにはテキストデータを抽出する必要があります。その際、改行の乱れや文字の歯抜けなど、文書構造の一部が乱れてしまった箇所があったため、前処理を施してLLMにきれいなテキストデータを読み込ませるようにしました。

木村：厄介だったのは、電子文書の中にある画像や概念図（通称ポンチ絵）をLLMに解釈させることです。表であればカンマ区切りのテキストに変換できます。しかし、画像の場合はOCR技術で文字を読み込ませなければなりません。また、ポンチ絵をOCRしてテキストだけ抽出すると、矢印などでグラフィカルに表現された内容を汲み取ることができません。「LLMに読み込ませやすいような資料作成」は、技術の進展と並行して改善していく課題であると感じました。

五郎丸：そうですね。今回の分析対象は、議事録などのドキュメント形式のファイルでした。しかし、対象としなかったスライド形式のファイルにも重要な情報は記載されています。将来的には図版などもインプット対象として拡張する必要があると考えています。

生成AIの活用を前提とした業務プロセスの検討を

―― 実際に生成AIが要約した文章をご覧になってどのような感想を持ちましたか。

五郎丸：今すぐ実業務に活用することは難しいものの、業務プロセスの見直しや機能の開発によって、活用可能な水準に到達できる可能性は高いと感じました。審議会資料は専門性が高い文章が多く、当初は要約にあたっては生成AIも苦労するのではないかと想定していましたが、精度の高い要約が出力されることが多くて驚きました。

―― 逆に「今後の課題」と感じた部分はありますか。

荒木：2つあります。1つは「抽象度の高い情報の粒度指定」です。分かりやすく言うと「どこまでを1つの論点として捉えるか」という課題です。議事録で討議されるさまざまな論点は、その多くが「論点」として明記されていません。ですから、「どこを論点とするか」が曖昧なのです。

例えば、Aという論点と、それに付随する論点A-1と論点A-2があるとしましょう。その場合、すべてをまとめて「論点A」とするのか、3つを個別の論点と捉えるかといった粒度の指定が困難でした。この課題を解決するには、「そもそも我々が論点をどのようなロジックで解釈しているか」を整理することから始めなければなりません。

もう1つは「チャンク分割によるコンテキストの分断」です。こちらも分かりやすく言うと「どこで文章を区切るか」という課題です。現状、LLMはプロンプトとして許容されるトークン数（LLMが解釈する単語数）に上限があり、テキストを途中で分割して与えなければなりません。

しかし、例えば、（議事録の）議論の半分で区切ってしまうと、LLMは与えられた内容が議事録のすべてと誤解して回答を作成します。これも検証中に気付いたことですが、質問が同じであっても3,000文字と5,000文字のテキストではアウトプットがまったく異なるのです。ですから「キリがよい箇所で分割する」ことが重要なのですが、そもそも「キリがよい箇所」を見つけるには議事の内容をある程度理解していないと難しいのですね。これも今後の課題だと感じました。

木村：ご指摘のとおりです。情報抽出粒度に関しては「One/Few Shot学習」と呼ばれるプロンプトエンジニアリングに倣い、事前に業務観点で望ましい粒度の論点サンプルを用意してLLMに読込ませる手法が有効だと考えます。あるいはLLMが得意な要約技術を用いて複数の論点を抽出し、その中から似通った論点を統合するといった手法もあるでしょう。

また普段の業務で担当者が「どのような思考のプロセスや業務観点で論点を定義するか」について今一度整理し、それをLLMの推論ロジックやプロンプトとして実装するといったアプローチも重要と考えます。

五郎丸：包括的な視点で課題を挙げると、「生成AIを活用することを前提とした業務プロセスの設定と検討」が必要だと強く感じました。具体的には生成AIを活用すべき業務の特定をはじめ、人間による生成AIのアウトプットの検証方法、フィードバックの仕組みづくり、アウトプットの精度を改善するための追加情報の提供などです。

―― 最後に今後の展望を教えてください。エネットでは今回の検証で得られた知見をどのように活用していく計画でしょうか。

五郎丸：今回の技術検証は約2カ月という短い期間でしたが、生成AIの技術精度は一定の水準に達していることを確認できました。同時に先述したような課題も詳らかになりました。今回の検証で得られた知見に基づき、業務プロセスの見直しを行い、電力事業制度に関連する業務の効率化・高度化に努めていきたいと考えています。

―― PwCは生成AIの活用を支援する立場ですよね。生成AIの導入を検討している企業に向けてメッセージをお願いします。

木村：今回の検証結果をベンチマークに、さまざまな業界業種の生成AI利活用促進を支援したいと考えています。ただし、そのアプローチは今回のような技術検証だけではなく、実業務への導入を見据えたビジネスモデル改革や、生成AI利活用を支える組織・人材の育成、生成AI活用基盤の整備も必要になります。さらに、ハルシネーション（AIが事実とは異なる情報を生成する現象）や情報漏洩といった、リスク管理やセキュリティ対策も不可欠です。

PwCは生成AIの台頭より以前から、最新技術の実装やそれらをユーザーに理解してもらうためのガイドライン整備など、幅広い分野で多岐にわたる支援をしています。

日本のデジタルトランスフォーメーション（DX）は各国の後塵を拝していると言われていますが、生成AIの利活用はその巻き返しを図れる大きなファクターになると考えます。本対談記事をご覧になった皆様には、生成AIの技術的可能性と、業務への活用のイメージを想起いただき、前向きに検討いただけると幸いです。