Quando pensamos em motion capture, imaginamos muitas vezes grandes estúdios de cinema, câmaras e atores cobertos de marcadores.
Hoje, porém, esta tecnologia pode ser muito mais simples e acessível.
Com o Rokoko Smartsuit Pro II, é possível registar os movimentos de uma pessoa através de um fato equipado com sensores e transformá-los diretamente numa animação tridimensional.
Para a Metagate, esta tecnologia interessa não só pela criação de avatares mais realistas, mas sobretudo por uma ideia mais abrangente: registar a forma como uma pessoa se movimenta e transformá-la em conteúdo digital reutilizável.
Como funciona o Rokoko Smartsuit Pro II
O Smartsuit Pro II é um fato de captura de movimento inercial.
O fato incorpora vários sensores que detetam continuamente a orientação e o movimento das diferentes partes do corpo. O software Rokoko Studio utiliza esses dados para reconstruir, em tempo real, um esqueleto digital que reproduz os movimentos da pessoa.
Se a pessoa que veste o fato andar, correr, se baixar, saltar ou mover os braços, um avatar pode executar simultaneamente os mesmos movimentos.
O sistema consegue captar dados até 200 vezes por segundo e foi concebido também para movimentos rápidos e dinâmicos.
Ao contrário dos sistemas tradicionais de captura de movimento ótica, não exige necessariamente um estúdio rodeado de câmaras. Isto permite utilizá-lo num escritório, ginásio, palco ou diretamente no ambiente onde decorre uma atividade.
Também é possível registar os movimentos das mãos e dos dedos
Ao fato podem acrescentar-se as Smartgloves II, concebidas para captar também os movimentos das mãos e dos dedos.
Isto é particularmente importante quando o gesto não envolve apenas o corpo.
Pensemos num técnico que utiliza uma ferramenta, num músico ou num atleta que precisa de segurar um objeto. Nestes casos, é essencial conhecer com precisão a posição não apenas das mãos, mas também dos dedos.
É assim possível obter uma representação muito mais completa do desempenho.

Do movimento real ao avatar
Para a Metagate, um dos aspetos mais interessantes é poder integrar estes dados diretamente no Unity, o motor usado para desenvolver as nossas experiências.
O movimento registado pode ser aplicado a diferentes avatares 3D através de um processo chamado retargeting.
Isto significa que a pessoa registada e a personagem final não precisam de ter o mesmo aspeto. Um ator pode dar movimento a uma figura histórica. Um atleta pode tornar-se um avatar digital. Um técnico pode assumir o papel de instrutor virtual.
A mesma gravação também pode ser guardada e reutilizada noutras experiências.
Registar os movimentos dos profissionais
É provavelmente aqui que a captura de movimento se torna mais interessante.
Como já referimos, uma das maiores potencialidades da Rokoko é poder registar a forma como um profissional executa uma determinada ação.
Pensemos num futebolista profissional.
O fato consegue captar toda a corrida de aproximação, a rotação do tronco, o movimento das pernas e a postura adotada durante um remate. Esta sequência pode depois ser reproduzida fielmente por um avatar numa experiência XR.
O mesmo princípio pode aplicar-se a muitos outros setores:
- um atleta que realiza um exercício;
- um bailarino que regista uma coreografia;
- um ator ou intérprete que regista uma atuação;
- um técnico que demonstra um procedimento;
- um artesão que utiliza uma ferramenta;
- um operador que executa corretamente uma tarefa de segurança.
O resultado é diferente de um vídeo comum.
Um vídeo mostra o movimento de uma única perspetiva. Uma gravação de captura de movimento cria, pelo contrário, uma representação tridimensional do movimento, que pode ser observada de qualquer ângulo.
Um instrutor virtual em Mixed Reality
Esta possibilidade está diretamente ligada ao trabalho da Metagate na formação imersiva.
Imaginemos que registamos o movimento de um profissional para o integrar posteriormente numa experiência de Mixed Reality.
O utilizador poderia ver à sua frente um avatar à escala real a executar corretamente um procedimento: poderia circular à sua volta, abrandar o movimento, repeti-lo ou simplesmente observá-lo de outra perspetiva.
Em vez de assistir a um tutorial num ecrã, a instrução passaria a ser um elemento tridimensional integrado diretamente no ambiente real.
Este modelo pode ser aplicado à formação industrial, à segurança, ao desporto, à cultura e a muitas outras atividades em que o movimento é uma parte fundamental do conhecimento.

Avatares mais realistas para o OpenGate XR
A Rokoko também pode contribuir diretamente para o desenvolvimento do OpenGate XR.
Atualmente, muitos avatares digitais parecem pouco credíveis não tanto pela sua aparência, mas pela forma como se movimentam.
A postura, os gestos, a distribuição do peso e os movimentos das mãos são aspetos que percecionamos de imediato. A captura de movimentos reais permite, por isso, criar bibliotecas de animações muito mais naturais.
Uma mesma animação pode depois ser aplicada a personagens diferentes e utilizada em várias experiências.
Também em tempo real
Os movimentos não têm necessariamente de ser gravados com antecedência.
A Rokoko também permite transmitir os dados em tempo real para o Unity.
Assim, uma pessoa pode mover-se enquanto um avatar digital reproduz simultaneamente o seu desempenho, abrindo possibilidades interessantes para eventos, museus, espetáculos e instalações interativas.
Por exemplo, um artista poderia controlar uma personagem virtual enquanto os visitantes a observam num ambiente de Mixed Reality.
Neste caso, por trás do avatar não está uma animação pré-gravada nem necessariamente uma inteligência artificial, mas uma pessoa real.
O movimento como conteúdo digital
Para a Metagate, a Rokoko não é simplesmente uma ferramenta de criação de animações: permite transformar o movimento humano num recurso digital.
Um gesto desportivo, um procedimento técnico, uma atuação artística, um movimento profissional…
Tudo isto pode ser registado, arquivado e posteriormente integrado numa experiência de Mixed Reality.