成熟度の高いバーチャルリアリティ（VR）システム構築理論の紹介

情報通信技術は近年急速に発展しており、グラフィック、インタラクションなどさまざまな領域において進化、革新が進んでいます。昨今注目されているXR(Extended Reality)もその1つであり、多様な顧客ニーズへの対応や、新しいサービスへの持続的な貢献が可能になっています。そしてXR技術は幅広い産業に適用されており、可能性は大きく広がっています。

本稿では、バーチャルリアリティ（VR）の技術成熟度評価モデルについて解説し、成熟したVRシステムを構築するための方法論とテクニックについて紹介します。

VRシステムの構成

VRシステムを構成するためには、備えておくべき基本要素が存在します（図表2参照）。

• レンダリング：ディスプレイや出力インタフェースに適した形式に、モデルを変換する処理。
• シミュレーション：時間経過やユーザーの動作・行動に応じてバーチャル世界を変化させる処理。

次に、上記の図に記載した各要素を詳細に説明します。

出力システム

まず必要な要素として、システムからユーザーへ情報を流すための装置である「出力システム」が挙げられます。これはその意味において、VR技術および人間の持つ五感に応じた情報技術と関係しています。

下記は人間の五感に基づく出力システムのインタフェース体系（図表3参照）です。感覚フィードバックをユーザーに与える出力システムの一部を紹介しています。

図表3：出力システムのインタフェース体系

このような出力システムによって感覚信号がユーザーに送信されることで、ユーザーはより没入感のある体験を得ることができます。

入力システム

人間とVRシステムが相互作用する際に、人間の動きをコンピュータに伝える「入力インタフェース」が必要です。下記のとおり、人間の特性の中で検出可能なものとして、「物理的状態」「生理的状態」「心理的状態」の3つがあります（図表4参照）。

「物理的状態」は、直観的に現実世界において目で見える対象を計測し、人間の身体形状や動き、あるいは顔の変化や目線も検出します。「生理的状態」は、センサにより生体電信号などを検出し、その指標を分析して体内の状態を推測します。「心理的状態」は、脳活動を直接の入力手段において、コンピュータに指示を伝えることで計測します。

上述の入力システムと出力システムにより、ユーザーとVRシステム間の基本的な循環を構成しています。

次は仮想空間の構築手法、すなわち「モデリング」「シミュレーション」「レンダリング」によってVRで用いる仮想空間をどのように構成するかを説明します。

モデリング

ユーザーに現実世界と同じような体験を提供するためには、必要な情報をモデリングする必要があります。「モデリング」とは、3D空間内にCGで立体物を計算して形成する処理であり、キャラクター、背景、質感などを的確に把握し、高い表現力が求められます。

3Dデータ形式

3Dモデルのデータ形式は主に「サーフェスモデル」「ソリッドモデル」「その他のモデル」の3つが挙げられます（図表5参照）。

VRシステムでよく使われているのはサーフェスモデルです、サーフェスは、オブジェクトの「表面（surface）」のみの形状を表現したモデルです。

一方で同じデバイスの場合、3Dデータの精細さ（ポリゴン数、テクスチャ解像度など）が高まると、処理スピードの低下などを招きます。テクスチャとは、モデリングにおいてモデルの質感を表現するために使われる画像のことです。

座標

ボックスの中心点（ゼロ）からの位置を表すのが、XYZの「座標」となります。
XYZで表す座標には、「グローバル座標」と「ローカル座標」の2種類があります（図表6参照）。

• グローバル座標（ワールド座標／世界座標）
  3D空間ボックスのXYZ座標は、空間そのものが持つ唯一の座標です。ワールド座標や世界座標とも言われ、地球上の経度・緯度と同様に、空間内のある1点を指し示します。例えば図表6の左側の立体において、黒い点は3D空間の「X＝10、Y=5、Z＝-2」の位置を表します。
• ローカル座標（モデル座標／オブジェクト座標／ボディ座標）
  グローバル座標を持つ3D空間ボックス内に作成されたオブジェクトは、それぞれ自分専用の座標を持っています。

テクスチャマッピング

3DCGのモデルに画像を貼り付けることをテクスチャマッピング（texture mapping）、3Dモデルの表面に貼り付けられる画像のことをテクスチャと言います。テクスチャを貼ることにより、モデリングやシェーダーのみでは表現の困難な、モデル表面の細かな色彩情報や質感などを設定することができます。

コンピュータゲームやVRシステムにおいては、リアルタイムで3DCGキャラクターを描画する必要があることから、極力少ないポリゴンで作成されたモデル（ローポリゴンモデル）に、ディテールや陰影などを描き込んだテクスチャを貼り付ける手法が行われています（図表7参照）。

シミュレーション

シミュレーションとは、入力や時間経過に応じて世界を変化させる処理のことを言います。VRシステムにおけるシミュレーションには、主に「空間シミュレーション」「物体シミュレーション」「人物シミュレーション」の3つがあります。

空間シミュレーション

VRシステムの開発において、最も重要な項目の1つはインタラクションです。体験者の意識や行動と直接関係なく、理論科学、数値計算、景観シミュレーションなどにより、時間経過も含め、空間内の座標移動、方向回転、サイズ変化に関わるインタラクションを実現します。例えば、車の動き、車輪の回転、昼夜の交替、光の強さ、色の変化などです。

物体シミュレーション

物体シミュレーションは、「剛体シミュレーション」「変形シミュレーション」「流体シミュレーション」の3つに分類できます。一般的に、コンピュータの計算力には上限があり、変形を支えるモデリングも限定されています。そのため、現在のVRシステム中に、剛体としてモデリングすることが多いことから、そして剛体シミュレーションを検討することが重要です。

人物シミュレーション

実世界の人体は非常に複雑な構造を持っています。そのため、現在よく使われているのは人体の構造を簡略化し、16の関節と40の自由度を持たせたボーンモデルです。このモデルは、剛体リンク系（articulated rigid bodies）の典型であり、計算アルゴリズムやモーションキャプチャーなどにより人体の大まかな運動を表現することができます。

レンダリング

レンダリングとは、出力インタフェースに適した形式に変換する処理のことを言います。出力インタフェースに応じて、「視覚レンダリング」「聴覚レンダリング」「力触覚レンダリング」の3つの形式があります。

視覚レンダリング

視覚レンダリングには、投影、陰面消去、輝度計算という3つの処理があります。投影処理は物体の頂点の座標を視線の座標系に変換して、図のようにスクリーン上の2次元座標を求めます。陰面消去処理は視点から見えない面を消去します。輝度計算処理はシェーディング計算（物体表面の材質や向きによる変化する輝度を計算）、シャドウイング計算（物体が他の物体に落とす影を計算）の2つ計算に分けられます（図表8参照）。

聴覚、力触覚レンダリング

人間は左右2つの耳で聞いた音をもとに、音源の3D位置がどこかを知覚することができます。この知覚を再現するため、現在、音場再現モデルと両耳伝達関数モデルの2つモデルが用いられています。

力触覚レンダリングとは、仮想空間において物体の形状、硬さ、重さ、粗さなどを表現するために、適切な感覚刺激を提供することを言います。

参考資料

[1] 舘 暲・佐藤 誠・廣瀬 通孝（2011）,『バーチャルリアリティ学』, 日本バーチャルリアリティ学会

[2] “バーチャルリアリティー(VR)に必要なデバイスと活用の具体例”[Online].https://www.seraku.co.jp/tectec-note/industry/about-vr-oculus/

[3] D. Zeltzer: "Autonomy", interaction and presence, Presence, 1, 1, pp.127-132（1992）