AI活用ケースとリスク

前編

私たちは、AIを「生産性の向上とイノベーションの有力なイネーブラー（Enabler）」と位置付け、企業が適切なリスクマネジメントの下でAIをセキュアに活用できるよう、セキュリティやAIガバナンスに関する支援を行っています。今回のコラムでは、国際文書の解説を通じて、OT環境（Operational technology：生産や研究のための設備や環境全体の制御・運用技術）におけるAI活用のリスクと、推奨される対策を紹介していきます。前編では、一般論としてのOT環境におけるAI活用のリスクと推奨される対策を解説しました。後編となる本稿では、一般にAIと呼んでいる統計モデルの詳細な定義とOT環境ごとの活用ケースの整理、そして、実際の活用ケースを題材としたリスクおよびリスクマネジメント施策の検討事例をご紹介します。

2. AI活用におけるユースケースのリスクと対策

2.1 AIによる予知保全とオペレーター支援システム

各種製造業では、機器の騒音・振動データや環境データをAIに分析させ、オペレーターに注意喚起や判断支援を行うケースが想定されます。

事例1：製鉄企業における製造ラインの温度データに基づく、機器のメンテナンス周期予想
事例2：自動車部品工場における、モーター／減速機の振動データに基づく異常兆候検知

• 想定されるリスク
  • データ改ざん／偽装による故障見逃しと誤判断
    • 攻撃者がOTネットワークに侵入し、制御装置とAIシステムの間の通信を不正に介在・操作する
    • 故障寸前の機器が発する異常なデータを、正常範囲内の値に改ざんしてAIに送信（データ偽装）
    • AIが偽装された正常データに基づき「問題なし」と判断し、本来発するべき警告を出さない
  • 学習データ汚染（データポイズニング）によるAIモデルの劣化
    • 攻撃者が長期にわたり偽のデータをAIに学習させ続け、予測精度が恒久的に低下
    • 汚染後の修正には、再学習や膨大なコスト・時間が必要になり得る
• 主な対策
  予知保全やオペレーター支援では、AIを「判断主体」ではなく、あくまで「判断を支援する部品」として位置付け、入力データの完全性（改ざん・偽装対策）と学習プロセスの統制を確保することが重要です。
  • 設計
    • Purdueモデルに基づきIT／OTネットワークを分離。OT内部も重要度に応じて区画化し、被害拡大を防ぐ
    • OT環境への通信は原則全て拒否し、AIへのデータ連携など業務に必須な通信だけを許可（ホワイトリスト方式）
    • データ経路における改ざん検知のため、データに電子署名やハッシュ値を付与する完全性検証を組み込む
  • 調達
    • 厳格なアクセス制御やログ機能を備え、通信の暗号化や認証が可能なセキュアな機器／プロトコルを優先
    • 脆弱性情報の開示やパッチ提供ポリシーを確認し、サプライチェーンリスクも踏まえ信頼できるベンダーの製品を選定
  • 実装
    • ファイアウォールルールを設計書どおりに実装し、許可リストにない通信が全て遮断されることをテストで確認
    • 導入する全機器の初期パスワードを強固なものへ変更、不要なサービスやポートを無効化し、攻撃の侵入口を削減
  • 運用・保守
    • SIEM（Security information and event management）でログを常時監視し、不審なアクセスやデータ異常などインシデントの兆候を早期検知、迅速な調査を可能とする
    • ファイアウォール設定の遵守状況などを定期的に監査。また、インシデントを想定した対応手順・確認訓練を反復

2.2 AIを活用した需要予測に基づく出力制御

電力・ガス・水道などの各種インフラ分野では、需要に基づく供給予測にAIを活用し、予測データをDCS（Distributed control system）などのIACS（Industrial automation and control systems）に連携・入力するケースが想定されます。

実例1：アメリカのエネルギー関連企業による、エネルギー出力・負荷配分へのAI活用
実例2：アメリカのベンチャー企業による、風力発電出力予測へのAI活用

• 想定されるリスク
  • 訓練データの品質の低さ、外れ値などの影響による予測への影響
  • 出力の確からしさ（妥当性）・説明性不足
  • AI過信による重要情報の見落とし
  • トラブルシューティングの複雑化
  • ハルシネーション（もっともらしい誤情報の出力）
• 主な対策
  需要予測を制御系へ連携する場合、予測誤差やハルシネーションなどが物理プロセスへ波及し得ます。したがって、AI出力を制御指令として直接採用しないことを基本方針としつつ、妥当性チェックや人間の承認点を設け、異常時は既定の運用や手動運転へ即時移行できるフェイルセーフを前提に、設計・運用することが重要です。

設計：

• セキュアコーディング・データ保護などをAIシステムの初期設計段階から組み込み
• フェイルセーフに基づく、AI異常時に備えた設計
• 人間の介在点の明確化

調達：

• セキュリティ基準を満たすベンダーを選定
• SLA（Service level agreement：サービス品質合意）の明確化
• SBOM（Software bill of materials：ソフトウェア部品表）の提出を要求するなど、モデルやサプライチェーンを可視化
• データ主権を考慮

実装：

• 試運転で安全性・性能・リアルタイム性などを十分に検証
• 既存システムとの対向試験
• DMZ（Demilitarized zone：外部と内部のネットワークの間に設ける中間領域）やジャンプサーバー経由で接続

運用・保守：

• 入力・出力・動作ログを取得・保管し、異常検知や監査証跡を確保
• 定期的な脆弱性の確認やパッチ適用
• 予測モデルの精度を定期的に検証し、必要に応じて調整実施
• オペレーターへのAI教育
• AI出力を、実際の物理量に置換して検証
• 既存の運用手順書やインシデント対応計画にAI障害時の対応を追加

4. まとめ

前編・後編を通じて見てきたとおり、OT環境におけるAI活用は生産性向上の機会である一方、処理の量・頻度・範囲の拡大や複雑化を通じて、従来のOTセキュリティや機能安全の課題を顕在化・増幅させる可能性があります。

AI活用を加速するには、ユースケースごとに脅威と影響を具体化し、AIを組み込むプロセス・装置・環境のリスクを把握し、実装可能な対策へ落とし込むことが重要です。

さらに、AIを用いた攻撃の自動化・大量化も見据え、防御側でも検知やインシデント対応の高度化を進める必要があります。

PwCコンサルティングでは、ビジネスプロセス、製造・制御、OTセキュリティ、AIガバナンスの知見を横断的に束ね、OTという事業の中枢でAI活用を前進させるための支援を提供します。