Rokoko: digitalizzare il movimento umano per portarlo nella Mixed Reality

Rokoko : numériser le mouvement humain pour la Mixed Reality

Quand nous pensons à la motion capture, nous imaginons souvent de grands studios de cinéma, des caméras et des acteurs couverts de marqueurs.

Aujourd’hui, pourtant, cette technologie peut être beaucoup plus simple et accessible.

Avec Rokoko Smartsuit Pro II, les mouvements d’une personne peuvent être enregistrés grâce à une combinaison équipée de capteurs, puis transformés directement en animation tridimensionnelle.

Pour Metagate, cette technologie est intéressante non seulement pour créer des avatars plus réalistes, mais surtout pour une idée plus large : enregistrer la façon dont une personne bouge et la transformer en contenu numérique réutilisable.

Comment fonctionne Rokoko Smartsuit Pro II

Smartsuit Pro II est une combinaison de capture de mouvement inertielle.

Plusieurs capteurs répartis dans la combinaison mesurent en permanence l’orientation et les mouvements des différentes parties du corps. Le logiciel Rokoko Studio utilise ces données pour reconstruire en temps réel un squelette numérique reproduisant les mouvements de la personne.

Lorsque la personne qui porte la combinaison marche, court, se penche, saute ou bouge les bras, un avatar peut reproduire simultanément les mêmes mouvements.

Le système peut recueillir des données jusqu’à 200 fois par seconde et convient également aux mouvements rapides et dynamiques.

Contrairement aux systèmes traditionnels de capture de mouvement optique, il ne nécessite pas forcément un studio entouré de caméras. Il peut ainsi être utilisé au bureau, dans une salle de sport, sur scène ou directement dans l’environnement où se déroule l’activité.

Les mouvements des mains et des doigts peuvent aussi être enregistrés

La combinaison peut être complétée par les Smartgloves II, conçus pour capturer également les mouvements des mains et des doigts.

C’est particulièrement important lorsque le geste ne concerne pas uniquement le corps.

Pensons à un technicien qui utilise un outil, à un musicien ou à un sportif qui doit saisir un objet. Dans ces situations, il est essentiel de connaître avec précision la position des mains, mais aussi celle des doigts.

Il devient ainsi possible d’obtenir une représentation beaucoup plus complète de la performance.

   

Du mouvement réel à l’avatar

Pour Metagate, l’un des aspects les plus intéressants réside dans la possibilité d’intégrer directement ces données dans Unity, le moteur utilisé pour développer nos expériences.

Les mouvements enregistrés peuvent être appliqués à différents avatars 3D grâce à un procédé appelé retargeting.

Cela signifie que la personne enregistrée et le personnage final ne doivent pas nécessairement se ressembler. Un acteur peut animer un personnage historique. Un sportif peut devenir un avatar numérique. Un technicien peut se transformer en instructeur virtuel.

Le même enregistrement peut aussi être sauvegardé et réutilisé dans d’autres expériences.

Enregistrer les gestes des professionnels

C’est probablement là que la capture de mouvement devient la plus intéressante.

Comme nous l’avons vu, l’une des grandes possibilités offertes par Rokoko est d’enregistrer la manière dont un professionnel réalise une action donnée.

Prenons l’exemple d’un footballeur professionnel.

La combinaison peut enregistrer l’ensemble du mouvement d’élan, la rotation du buste, le mouvement des jambes et la posture adoptée lors d’un tir. Cette séquence peut ensuite être reproduite fidèlement par un avatar au sein d’une expérience XR.

Le même principe s’applique à de nombreux autres domaines :

  • un sportif qui effectue un exercice ;
  • un danseur qui enregistre une chorégraphie ;
  • un acteur ou un interprète qui enregistre une prestation ;
  • un technicien qui présente une procédure ;
  • un artisan qui utilise un outil ;
  • un opérateur qui exécute correctement une procédure de sécurité.

Le résultat est différent d’une vidéo classique.

Une vidéo montre le mouvement depuis un seul point de vue. La capture de mouvement produit au contraire une représentation tridimensionnelle du mouvement, qui peut être observée sous n’importe quel angle.

Un instructeur virtuel en Mixed Reality

Cette possibilité est directement liée au travail de Metagate dans la formation immersive.

Imaginons que l’on enregistre les mouvements d’un professionnel pour les intégrer ensuite à une expérience de Mixed Reality.

L’utilisateur pourrait voir devant lui un avatar grandeur nature exécutant correctement une procédure : il pourrait tourner autour de lui, ralentir le mouvement, le répéter ou simplement l’observer depuis un autre angle.

Au lieu de regarder un tutoriel sur un écran, la formation deviendrait un élément tridimensionnel directement intégré à l’environnement réel.

Ce modèle pourrait servir à la formation industrielle, à la sécurité, au sport, à la culture et à bien d’autres activités où le mouvement est une composante essentielle du savoir.

Des avatars plus réalistes pour OpenGate XR

Rokoko peut également contribuer directement au développement d’OpenGate XR.

Aujourd’hui, de nombreux avatars numériques manquent de crédibilité non pas tant par leur apparence que par leurs mouvements.

La posture, les gestes, la répartition du poids et les mouvements des mains sont des éléments que nous percevons immédiatement. Capturer des performances réelles permet donc de créer des bibliothèques d’animations bien plus naturelles.

Une même animation peut ensuite être appliquée à différents personnages et réutilisée dans plusieurs expériences.

Également en temps réel

Les mouvements ne doivent pas nécessairement être enregistrés au préalable.

Rokoko permet également de transmettre les données en temps réel vers Unity.

Une personne peut ainsi bouger tandis qu’un avatar numérique reproduit simultanément sa performance, ouvrant des perspectives pour les événements, les musées, les spectacles et les installations interactives.

Par exemple, un artiste pourrait piloter un personnage virtuel tandis que les visiteurs le voient dans un environnement de Mixed Reality.

Dans ce cas, l’avatar n’est pas animé par une séquence préenregistrée ni nécessairement par une intelligence artificielle, mais par une personne réelle.

Le mouvement comme contenu numérique

Pour Metagate, Rokoko n’est donc pas simplement un outil de création d’animations : il permet de transformer le mouvement humain en ressource numérique.

Un geste sportif, une procédure technique, une performance artistique, un mouvement professionnel…

Tout cela peut être enregistré, archivé et ensuite intégré à une expérience de Mixed Reality.

Retour au blog

Laisser un commentaire

Veuillez noter que les commentaires doivent être approuvés avant d'être publiés.