Quando pensiamo alla motion capture, immaginiamo spesso grandi studi cinematografici, telecamere e attori ricoperti di marker.
Oggi, però, questa tecnologia può essere molto più semplice e accessibile.
Con Rokoko Smartsuit Pro II, il movimento di una persona può essere registrato attraverso una tuta dotata di sensori e trasformato direttamente in un'animazione tridimensionale.
Per Metagate questa tecnologia è interessante non soltanto per creare avatar più realistici, ma soprattutto per un concetto più ampio: registrare il modo in cui una persona si muove e trasformarlo in un contenuto digitale riutilizzabile.
Come funziona Rokoko Smartsuit Pro II
Smartsuit Pro II è una tuta per motion capture inerziale.
All'interno sono distribuiti diversi sensori che rilevano continuamente orientamento e movimento delle varie parti del corpo. Il software Rokoko Studio utilizza questi dati per ricostruire in tempo reale uno scheletro digitale che replica i movimenti della persona.
Se chi indossa la tuta cammina, corre, si piega, salta o muove le braccia, un avatar può eseguire contemporaneamente gli stessi movimenti.
Il sistema può acquisire dati fino a 200 volte al secondo ed è pensato anche per movimenti rapidi e dinamici.
A differenza dei tradizionali sistemi di motion capture ottica, inoltre, non richiede necessariamente uno studio circondato da telecamere. Questo permette di utilizzarlo anche in ufficio, in palestra, su un palco o direttamente nell'ambiente nel quale viene svolta una determinata attività.
Anche mani e dita possono essere registrate
Alla tuta possono essere aggiunti gli Smartgloves II, progettati per acquisire anche i movimenti delle mani e delle dita.
Questo diventa particolarmente importante quando il gesto non coinvolge soltanto il corpo.
Pensiamo a un tecnico che utilizza uno strumento, a un musicista oppure a un atleta che deve impugnare un oggetto. In questi casi è necessario sapere esattamente qual è la posizione precisa non solo delle mani, ma anche delle dita del soggetto.
Diventa, quindi, possibile ottenere una rappresentazione molto più completa della performance.
Dal movimento reale a un avatar
Per Metagate uno degli aspetti più interessanti è la possibilità di integrare questi dati direttamente all'interno di Unity, il motore sul quale vengono sviluppate le nostre esperienze.
Il movimento registrato può essere applicato a differenti avatar 3D attraverso un processo chiamato retargeting.
Questo significa che la persona registrata e il personaggio finale non devono avere necessariamente lo stesso aspetto. Un attore può animare un personaggio storico. Un atleta può diventare un avatar digitale. Un tecnico può trasformarsi in un istruttore virtuale.
La stessa registrazione può inoltre essere salvata e utilizzata nuovamente in altre esperienze.
Registrare il movimento dei professionisti
Ed è probabilmente qui che il motion capture diventa più interessante.
Come abbiamo già detto, tra le potenzialità più interessanti di Rokoko c'è la possibilità di registrare il modo in cui un professionista svolge una determinata azione.
Pensiamo a un calciatore professionista.
La tuta può acquisire il movimento completo di una rincorsa, la rotazione del busto, il movimento delle gambe e la postura utilizzata durante un tiro. Quella sequenza può poi essere riprodotta fedelmente da un avatar all'interno di un'esperienza XR.
Lo stesso principio può essere applicato a moltissimi altri settori:
- un atleta che esegue un esercizio;
- un ballerino che registra una coreografia;
- un attore o un interprete che registra una performance;
- un tecnico che mostra una procedura;
- un artigiano che utilizza uno strumento;
- un operatore che esegue correttamente un'attività di sicurezza.
E il risultato è diverso da un normale video.
Un video mostra il movimento da un'unica prospettiva. Una registrazione motion capture crea invece una rappresentazione tridimensionale del movimento, che può essere osservata da qualsiasi angolazione.
Un istruttore virtuale in Mixed Reality
Questa possibilità si collega direttamente al lavoro di Metagate nella formazione immersiva.
Immaginiamo di registrare il movimento di un professionista e inserirlo successivamente in un'esperienza Mixed Reality.
L'utente potrebbe vedere davanti a sé un avatar a grandezza naturale che esegue correttamente una determinata procedura: potrebbe girargli intorno, rallentare il movimento, ripeterlo o semplicemente osservarlo da una prospettiva differente.
Invece di guardare un tutorial su uno schermo, l'istruzione diventerebbe un elemento tridimensionale inserito direttamente nell'ambiente reale.
Questo modello potrebbe essere applicato alla formazione industriale, alla sicurezza, allo sport, alla cultura e a molte altre attività nelle quali il movimento è parte fondamentale della conoscenza.
Avatar più realistici per OpenGate XR
Rokoko può inoltre contribuire direttamente allo sviluppo di OpenGate XR.
Oggi molti avatar digitali risultano poco credibili non tanto per il loro aspetto, quanto per il modo in cui si muovono.
Postura, gestualità, distribuzione del peso e movimento delle mani sono elementi che percepiamo immediatamente, quindi la possibilità di registrare performance reali permette di creare librerie di animazioni molto più naturali.
Una stessa animazione può essere applicata successivamente a personaggi differenti e utilizzata in esperienze diverse.
Anche in tempo reale
Il movimento non deve necessariamente essere registrato prima.
Rokoko permette anche di trasmettere i dati in tempo reale verso Unity.
Una persona può quindi muoversi mentre un avatar digitale replica contemporaneamente la sua performance, aprendo scenari interessanti per eventi, musei, spettacoli e installazioni interattive.
Un performer, per esempio, potrebbe controllare un personaggio virtuale mentre gli utenti lo vedono all'interno di un ambiente Mixed Reality.
In questo caso dietro l'avatar non c'è un'animazione preregistrata né necessariamente un'Intelligenza Artificiale, ma una persona reale.
Il movimento come contenuto digitale
Per Metagate, quindi, Rokoko non rappresenta semplicemente uno strumento per creare animazioni: permette di trasformare il movimento umano in un asset digitale.
Un gesto sportivo, una procedura tecnica, una performance artistica, un movimento professionale...
Tutto questo può essere registrato, archiviato e successivamente inserito all'interno di un'esperienza Mixed Reality.