Rokoko: digitalizzare il movimento umano per portarlo nella Mixed Reality

Rokoko: Menschliche Bewegung für Mixed Reality digitalisieren

Wenn wir an motion capture, denken wir oft an große Filmstudios, Kameras und Schauspieler, die mit Markern bedeckt sind.

Heute kann diese Technologie jedoch deutlich einfacher und zugänglicher sein.

Mit Rokoko Smartsuit Pro II lassen sich die Bewegungen eines Menschen durch einen mit Sensoren ausgestatteten Anzug erfassen und direkt in eine dreidimensionale Animation umwandeln.

Für Metagate ist diese Technologie nicht nur für realistischere Avatare interessant, sondern vor allem für eine umfassendere Idee: die Bewegungsweise eines Menschen aufzeichnen und als wiederverwendbaren digitalen Inhalt verfügbar machen.

So funktioniert Rokoko Smartsuit Pro II

Die Smartsuit Pro II ist ein Anzug für inertiales Motion Capture.

Im Anzug sind verschiedene Sensoren verteilt, die fortlaufend Ausrichtung und Bewegung der einzelnen Körperteile erfassen. Die Software Rokoko Studio nutzt diese Daten, um in Echtzeit ein digitales Skelett zu rekonstruieren, das die Bewegungen der Person nachbildet.

Wenn jemand im Anzug geht, läuft, sich bückt, springt oder die Arme bewegt, kann ein Avatar dieselben Bewegungen gleichzeitig ausführen.

Das System kann Daten bis zu 200-mal pro Sekunde erfassen und eignet sich auch für schnelle, dynamische Bewegungen.

Anders als herkömmliche optische Motion-Capture-Systeme benötigt es nicht zwingend ein Studio mit Kameras rundherum. Dadurch ist der Einsatz auch im Büro, im Fitnessstudio, auf einer Bühne oder direkt am Ort der jeweiligen Tätigkeit möglich.

Auch Hände und Finger lassen sich erfassen

Der Anzug kann durch die Smartgloves II ergänzt werden, die auch Bewegungen der Hände und Finger aufzeichnen.

Das ist besonders wichtig, wenn eine Handlung nicht nur den Körper betrifft.

Man denke an eine Fachkraft mit einem Werkzeug, an einen Musiker oder an einen Sportler, der einen Gegenstand greifen muss. In solchen Fällen kommt es nicht nur auf die genaue Position der Hände an, sondern auch auf die der einzelnen Finger.

So entsteht eine wesentlich vollständigere Darstellung der Bewegung.

   

Von realen Bewegungen zum Avatar

Für Metagate ist besonders interessant, dass sich diese Daten direkt in Unity, die Entwicklungsumgebung unserer Erlebnisse, integrieren lassen.

Die erfasste Bewegung lässt sich mithilfe des sogenannten retargeting.

Das bedeutet, dass die aufgezeichnete Person und die endgültige Figur nicht gleich aussehen müssen. Ein Schauspieler kann eine historische Persönlichkeit animieren, ein Sportler zum digitalen Avatar werden und eine Fachkraft als virtueller Ausbilder auftreten.

Dieselbe Aufnahme kann gespeichert und später in anderen Erlebnissen erneut verwendet werden.

Bewegungen von Fachkräften aufzeichnen

Gerade hier wird Motion Capture besonders interessant.

Wie bereits erwähnt, zählt zu den wichtigsten Möglichkeiten von Rokoko, festzuhalten, wie eine Fachkraft eine bestimmte Handlung ausführt.

Nehmen wir einen Profifußballer als Beispiel.

Der Anzug kann den gesamten Anlauf, die Drehung des Oberkörpers, die Beinbewegung und die Körperhaltung beim Schuss erfassen. Diese Sequenz lässt sich anschließend von einem Avatar in einem XR-Erlebnis originalgetreu wiedergeben.

Dasselbe Prinzip ist auf viele weitere Bereiche übertragbar:

  • ein Sportler, der eine Übung ausführt;
  • eine Tänzerin, die eine Choreografie aufzeichnet;
  • ein Schauspieler oder Performer, der einen Auftritt erfasst;
  • eine Fachkraft, die einen Ablauf vorführt;
  • ein Handwerker, der ein Werkzeug benutzt;
  • eine Person, die einen sicherheitsrelevanten Vorgang korrekt durchführt.

Das Ergebnis unterscheidet sich von einem gewöhnlichen Video.

Ein Video zeigt Bewegungen aus einer einzigen Perspektive. Eine Motion-Capture-Aufnahme erzeugt dagegen eine dreidimensionale Darstellung der Bewegung, die aus jedem Blickwinkel betrachtet werden kann.

Ein virtueller Ausbilder in Mixed Reality

Diese Möglichkeit knüpft unmittelbar an Metagates Arbeit in der immersiven Weiterbildung an.

Stellen wir uns vor, die Bewegungen einer Fachkraft werden aufgezeichnet und anschließend in ein Mixed-Reality-Erlebnis eingebunden.

Nutzende könnten vor sich einen lebensgroßen Avatar sehen, der einen Ablauf korrekt vorführt. Sie könnten um ihn herumgehen, die Bewegung verlangsamen, wiederholen oder aus einer anderen Perspektive betrachten.

Statt einer Anleitung auf dem Bildschirm würde das Training zu einem dreidimensionalen Element direkt in der realen Umgebung.

Dieser Ansatz eignet sich für industrielle Weiterbildung, Arbeitssicherheit, Sport, Kultur und viele weitere Tätigkeiten, bei denen Bewegung ein wesentlicher Bestandteil des Wissens ist.

Realistischere Avatare für OpenGate XR

Rokoko kann außerdem direkt zur Weiterentwicklung von OpenGate XR.

Viele digitale Avatare wirken heute nicht wegen ihres Aussehens unglaubwürdig, sondern wegen der Art, wie sie sich bewegen.

Körperhaltung, Gestik, Gewichtsverlagerung und Handbewegungen nehmen wir sofort wahr. Die Aufzeichnung echter Bewegungsabläufe ermöglicht daher Bibliotheken deutlich natürlicherer Animationen.

Dieselbe Animation kann später verschiedenen Figuren zugewiesen und in unterschiedlichen Erlebnissen eingesetzt werden.

Auch in Echtzeit

Bewegungen müssen nicht zwingend vorher aufgezeichnet werden.

Mit Rokoko lassen sich auch Bewegungsdaten in Echtzeit an Unity übertragen.

Eine Person kann sich bewegen, während ein digitaler Avatar ihre Bewegungen unmittelbar nachbildet. Daraus ergeben sich neue Möglichkeiten für Veranstaltungen, Museen, Aufführungen und interaktive Installationen.

So könnte beispielsweise ein Performer eine virtuelle Figur steuern, während das Publikum sie in einer Mixed-Reality-Umgebung erlebt.

In diesem Fall steht hinter dem Avatar weder eine vorproduzierte Animation noch zwingend künstliche Intelligenz, sondern ein echter Mensch.

Bewegung als digitaler Inhalt

Für Metagate ist Rokoko somit weit mehr als ein Werkzeug zur Animationserstellung: Es ermöglicht, menschliche Bewegung in ein digitales Asset umzuwandeln.

Eine Sportbewegung, ein technischer Ablauf, eine künstlerische Darbietung, eine berufliche Tätigkeit …

All das kann aufgezeichnet, archiviert und später in ein Mixed-Reality-Erlebnis integriert werden.

Zurück zum Blog

Hinterlasse einen Kommentar

Bitte beachte, dass Kommentare vor der Veröffentlichung freigegeben werden müssen.