Rokoko: digitalizzare il movimento umano per portarlo nella Mixed Reality

Rokoko: digitalizar el movimiento humano para Mixed Reality

Cuando pensamos en la motion capture, solemos imaginar grandes estudios cinematográficos, cámaras y actores cubiertos de marcadores.

Sin embargo, hoy esta tecnología puede ser mucho más sencilla y accesible.

Con Rokoko Smartsuit Pro II, es posible registrar los movimientos de una persona mediante un traje equipado con sensores y transformarlos directamente en una animación tridimensional.

Para Metagate, esta tecnología no solo resulta interesante para crear avatares más realistas, sino, sobre todo, por una idea más amplia: registrar cómo se mueve una persona y convertir ese movimiento en contenido digital reutilizable.

Cómo funciona Rokoko Smartsuit Pro II

Smartsuit Pro II es un traje de captura de movimiento inercial.

El traje incorpora varios sensores que detectan continuamente la orientación y el movimiento de las distintas partes del cuerpo. El software Rokoko Studio utiliza estos datos para reconstruir en tiempo real un esqueleto digital que reproduce los movimientos de la persona.

Si quien lleva el traje camina, corre, se agacha, salta o mueve los brazos, un avatar puede ejecutar simultáneamente los mismos movimientos.

El sistema puede capturar datos hasta 200 veces por segundo y está pensado también para movimientos rápidos y dinámicos.

A diferencia de los sistemas tradicionales de captura de movimiento óptica, no necesita necesariamente un estudio rodeado de cámaras. Esto permite utilizarlo en una oficina, un gimnasio, un escenario o directamente en el entorno donde se lleva a cabo una actividad.

También se pueden registrar las manos y los dedos

Al traje se le pueden añadir los Smartgloves II, diseñados para captar también los movimientos de las manos y los dedos.

Esto es especialmente importante cuando un gesto no implica únicamente al cuerpo.

Pensemos en un técnico que utiliza una herramienta, un músico o un deportista que necesita sujetar un objeto. En estos casos es esencial conocer con precisión la posición de las manos y también de los dedos.

Así se obtiene una representación mucho más completa de la actuación.

   

Del movimiento real a un avatar

Para Metagate, uno de los aspectos más interesantes es poder integrar estos datos directamente en Unity, el motor con el que desarrollamos nuestras experiencias.

El movimiento grabado se puede aplicar a distintos avatares 3D mediante un proceso llamado retargeting.

Esto significa que la persona registrada y el personaje final no tienen por qué tener el mismo aspecto. Un actor puede animar a un personaje histórico, un deportista convertirse en un avatar digital y un técnico actuar como instructor virtual.

La misma grabación también puede guardarse y reutilizarse en otras experiencias.

Registrar los movimientos de profesionales

Es precisamente aquí donde la captura de movimiento resulta más interesante.

Como hemos señalado, una de las principales posibilidades de Rokoko es registrar cómo realiza un profesional una acción determinada.

Pensemos en un futbolista profesional.

El traje puede capturar toda la carrera previa, la rotación del torso, el movimiento de las piernas y la postura durante un disparo. Después, un avatar puede reproducir fielmente esa secuencia dentro de una experiencia XR.

El mismo principio se puede aplicar a muchos otros sectores:

  • un deportista que realiza un ejercicio;
  • un bailarín que registra una coreografía;
  • un actor o intérprete que graba una actuación;
  • un técnico que muestra un procedimiento;
  • un artesano que utiliza una herramienta;
  • un operario que ejecuta correctamente una tarea de seguridad.

Y el resultado es diferente al de un vídeo convencional.

Un vídeo muestra el movimiento desde una única perspectiva. Una grabación de captura de movimiento crea, en cambio, una representación tridimensional del movimiento, que se puede observar desde cualquier ángulo.

Un instructor virtual en Mixed Reality

Esta posibilidad conecta directamente con el trabajo de Metagate en formación inmersiva.

Imaginemos que registramos los movimientos de un profesional y los incorporamos después a una experiencia de Mixed Reality.

El usuario podría ver ante sí un avatar a tamaño real que realiza correctamente un procedimiento: podría rodearlo, ralentizar el movimiento, repetirlo u observarlo desde otro punto de vista.

En lugar de ver un tutorial en una pantalla, la formación pasaría a ser un elemento tridimensional integrado directamente en el entorno real.

Este modelo puede aplicarse a la formación industrial, la seguridad, el deporte, la cultura y otras muchas actividades en las que el movimiento es una parte esencial del conocimiento.

Avatares más realistas para OpenGate XR

Rokoko también puede contribuir directamente al desarrollo de OpenGate XR.

Hoy muchos avatares digitales parecen poco creíbles no tanto por su aspecto como por su manera de moverse.

La postura, los gestos, el reparto del peso y el movimiento de las manos son elementos que percibimos de inmediato. Registrar actuaciones reales permite crear bibliotecas de animaciones mucho más naturales.

Una misma animación puede aplicarse después a diferentes personajes y utilizarse en distintas experiencias.

También en tiempo real

El movimiento no tiene por qué grabarse previamente.

Rokoko también permite transmitir datos en tiempo real a Unity.

Una persona puede moverse mientras un avatar digital reproduce su actuación simultáneamente, abriendo posibilidades para eventos, museos, espectáculos e instalaciones interactivas.

Por ejemplo, un artista podría controlar un personaje virtual mientras los visitantes lo ven en un entorno de Mixed Reality.

En este caso, detrás del avatar no hay una animación pregrabada ni necesariamente inteligencia artificial, sino una persona real.

El movimiento como contenido digital

Por tanto, para Metagate, Rokoko no es solo una herramienta para crear animaciones: permite transformar el movimiento humano en un recurso digital.

Un gesto deportivo, un procedimiento técnico, una actuación artística, un movimiento profesional…

Todo ello puede registrarse, archivarse e incorporarse posteriormente a una experiencia de Mixed Reality.

Regresar al blog

Deja un comentario

Ten en cuenta que los comentarios deben aprobarse antes de que se publiquen.