「motion capture」というと、大規模な映画スタジオやカメラ、マーカーを付けた俳優を思い浮かべることが多いでしょう。
しかし現在では、この技術をもっと手軽に、身近に利用できるようになっています。
Rokoko Smartsuit Pro IIを使えば、センサーを搭載したスーツで人の動きを記録し、そのまま3Dアニメーションに変換できます。
Metagateにとってこの技術が重要なのは、よりリアルなアバターを作れるからだけではありません。より大きな可能性があります。それは、人の動き方を記録し、再利用できるデジタルコンテンツへ変換することです。
Rokoko Smartsuit Pro IIの仕組み
Smartsuit Pro IIは慣性式モーションキャプチャースーツです。
スーツに配置された複数のセンサーが、体の各部位の向きと動きを継続的に検出します。ソフトウェアのRokoko Studioは、そのデータを使って人の動きを再現するデジタル骨格をリアルタイムに構築します。
着用者が歩く、走る、かがむ、跳ぶ、腕を動かすといった動作をすると、アバターも同じ動きを同時に行えます。
このシステムは最大で毎秒200回のデータを取得でき、素早くダイナミックな動きにも対応します。
従来の光学式モーションキャプチャーと異なり、周囲をカメラで囲んだスタジオが必須ではありません。オフィス、ジム、舞台、あるいは作業が実際に行われる場所で使用できます。
手と指の動きも記録できる
スーツにはSmartgloves IIを追加でき、手や指の動きも取得できます。
体全体だけでなく、細かな手の動きが重要な場合には特に役立ちます。
道具を使う技術者、楽器を演奏する音楽家、物を握るアスリートを考えてみてください。こうした場面では、手だけでなく指一本一本の正確な位置を把握する必要があります。
その結果、動作全体をより完全に再現できます。
実際の動きからアバターへ
Metagateが特に注目するのは、このデータを当社の体験開発に使用しているUnityに直接統合できる点です。
記録した動きは、retargetingと呼ばれる処理を通じて、さまざまな3Dアバターに適用できます。
つまり、動きを記録した人と最終的なキャラクターの外見が同じである必要はありません。俳優が歴史上の人物を動かしたり、アスリートがデジタルアバターになったり、技術者が仮想の指導員になったりできます。
同じ記録を保存し、別の体験で再利用することも可能です。
専門家の動きを記録する
モーションキャプチャーの魅力は、まさにここにあるのかもしれません。
先述のとおり、Rokokoの大きな可能性の一つは、専門家が特定の動作をどのように行うかを記録できることです。
プロのサッカー選手を例に考えましょう。
スーツは助走、上半身の回転、脚の動き、シュート時の姿勢まで記録できます。その一連の動作をXR体験内のアバターが忠実に再現できます。
同じ仕組みは、さまざまな分野に応用できます。
- 運動を行うアスリート
- 振り付けを記録するダンサー
- 演技を記録する俳優やパフォーマー
- 作業手順を説明する技術者
- 道具を使う職人
- 安全作業を正しく実演する作業者
これは一般的な動画とは異なります。
動画は一つの視点から動きを映します。一方、モーションキャプチャーでは動きを三次元で表したデータが作られ、あらゆる角度から観察できます。
Mixed Realityで活躍する仮想指導員
この可能性は、Metagateが取り組む没入型研修にも直結しています。
専門家の動きを記録してからMixed Reality体験に組み込む場面を想像してください。
ユーザーは、正しい手順を実演する等身大のアバターを目の前で見られます。周囲を歩いて確認したり、動作を遅くしたり、繰り返したり、別の角度から観察したりできます。
画面上のチュートリアルを見る代わりに、指導そのものが現実の空間に直接配置された三次元要素になるのです。
このモデルは、産業研修、安全教育、スポーツ、文化など、動きが知識の重要な一部となる多くの活動に応用できます。
OpenGate XRのアバターをさらにリアルに
RokokoはOpenGate XRの開発にも直接貢献できます。
デジタルアバターに違和感を覚える原因は、外見よりも動きにあることが少なくありません。
姿勢、身振り、体重移動、手の動きは、私たちがすぐに感じ取る要素です。実際の演技や動作を記録することで、より自然なアニメーションのライブラリを作れます。
同じアニメーションを別のキャラクターに適用し、異なる体験で使用することもできます。
リアルタイムにも対応
動きを事前に記録しておく必要はありません。
Rokokoでは、動作データをリアルタイムでUnityへ送信することもできます。
人が動くと同時にデジタルアバターがその動きを再現するため、イベント、博物館、舞台、インタラクティブな展示に新たな可能性が生まれます。
例えばパフォーマーが仮想キャラクターを操作し、来場者がMixed Reality空間の中でその姿を見ることができます。
この場合、アバターを動かしているのは事前収録のアニメーションや必ずしもAIではなく、実在する人間です。
デジタルコンテンツとしての動き
MetagateにとってRokokoは、単なるアニメーション制作ツールではありません。人間の動きをデジタル資産に変えることができます。
スポーツの動作、技術的な手順、芸術的な演技、専門職の所作など、
これらを記録・保存し、後からMixed Reality体験に組み込めるのです。