Hareket yakalama, yani motion capture denildiğinde akla genellikle büyük film stüdyoları, kameralar ve üzerlerinde işaretleyiciler bulunan oyuncular gelir.
Oysa günümüzde bu teknoloji çok daha basit ve erişilebilir olabilir.
Rokoko Smartsuit Pro II sayesinde bir kişinin hareketleri sensörlü bir kıyafetle kaydedilip doğrudan üç boyutlu animasyona dönüştürülebilir.
Metagate için bu teknolojinin önemi yalnızca daha gerçekçi avatarlar oluşturmak değildir; daha geniş bir imkân da sunar: bir kişinin nasıl hareket ettiğini kaydedip yeniden kullanılabilir dijital içeriğe dönüştürmek.
Rokoko Smartsuit Pro II nasıl çalışır?
Smartsuit Pro II, atalet sensörleri kullanan bir hareket yakalama kıyafetidir.
Kıyafetin farklı bölgelerindeki sensörler vücudun çeşitli parçalarının yönelimini ve hareketini sürekli ölçer. Rokoko Studio yazılımı bu verileri kullanarak kişinin hareketlerini taklit eden dijital bir iskeleti gerçek zamanlı oluşturur.
Kıyafeti giyen kişi yürüdüğünde, koştuğunda, eğildiğinde, sıçradığında veya kollarını hareket ettirdiğinde bir avatar aynı hareketleri eşzamanlı yapabilir.
Sistem, saniyede 200 defaya kadar veri yakalayabilir ve hızlı, dinamik hareketler için de tasarlanmıştır.
Geleneksel optik hareket yakalama sistemlerinden farklı olarak kameralarla çevrili bir stüdyo zorunlu değildir. Bu sayede sistem ofiste, spor salonunda, sahnede veya bir faaliyetin gerçekleştiği ortamda kullanılabilir.
El ve parmak hareketleri de kaydedilebilir
Kıyafete Smartgloves II eklenerek el ve parmak hareketleri de yakalanabilir.
Hareket yalnızca vücutla sınırlı olmadığında bu özellik özellikle önem kazanır.
Bir alet kullanan teknisyeni, bir müzisyeni veya bir nesneyi kavraması gereken sporcuyu düşünelim. Bu durumlarda yalnızca ellerin değil, parmakların da tam konumunun bilinmesi gerekir.
Böylece performansın çok daha eksiksiz bir temsili elde edilir.
Gerçek hareketten avatara
Metagate açısından en ilgi çekici olanaklardan biri, bu verileri deneyimlerimizin geliştirildiği Unity oyun motoruna doğrudan entegre edebilmektir.
Kaydedilen hareketler farklı 3D avatarlara retargeting adı verilen bir işlemle aktarılabilir.
Bu, hareketi kaydedilen kişi ile nihai karakterin aynı görünüme sahip olmasının gerekmediği anlamına gelir. Bir oyuncu tarihî bir karakteri canlandırabilir. Bir sporcu dijital avatara dönüşebilir. Bir teknisyen sanal eğitmen olabilir.
Aynı kayıt saklanıp başka deneyimlerde yeniden kullanılabilir.
Profesyonellerin hareketlerini kaydetmek
Hareket yakalamanın belki de en ilgi çekici yönü burada ortaya çıkar.
Daha önce belirttiğimiz gibi Rokoko'nun önemli imkânlarından biri, bir uzmanın belirli bir eylemi nasıl gerçekleştirdiğini kaydedebilmektir.
Profesyonel bir futbolcuyu düşünelim.
Kıyafet, şuta hazırlık koşusunu, gövdenin dönüşünü, bacak hareketlerini ve şut anındaki duruşu bütünüyle kaydedebilir. Bu hareket dizisi daha sonra bir XR deneyiminde avatar tarafından doğru biçimde yeniden canlandırılabilir.
Aynı ilke birçok farklı alanda kullanılabilir:
- egzersiz yapan bir sporcu;
- koreografisini kaydeden bir dansçı;
- performansını kaydeden bir oyuncu veya sahne sanatçısı;
- bir prosedürü gösteren teknisyen;
- bir alet kullanan zanaatkâr;
- bir güvenlik görevini doğru uygulayan çalışan.
Sonuç sıradan bir videodan farklıdır.
Video hareketi yalnızca tek açıdan gösterir. Hareket yakalama kaydı ise hareketin üç boyutlu bir temsilini oluşturur; bu temsil her açıdan incelenebilir.
Karma Gerçeklikte sanal eğitmen
Bu özellik, Metagate'in sürükleyici eğitim çalışmalarına doğrudan bağlanır.
Bir uzmanın hareketlerinin kaydedilip ardından Karma Gerçeklik deneyimine aktarıldığını düşünelim.
Kullanıcı, bir prosedürü doğru biçimde uygulayan gerçek boyutlu bir avatarı karşısında görebilir; avatarın çevresinde dolaşabilir, hareketi yavaşlatabilir, tekrarlayabilir veya farklı bir açıdan inceleyebilir.
Ekrandan eğitim videosu izlemek yerine öğrenme deneyimi, gerçek ortama doğrudan yerleştirilen üç boyutlu bir öğeye dönüşür.
Bu model endüstriyel eğitim, iş güvenliği, spor, kültür ve hareketin bilginin temel bir parçası olduğu pek çok alana uygulanabilir.
OpenGate XR için daha gerçekçi avatarlar
Rokoko, OpenGate XR platformunun geliştirilmesine de doğrudan katkıda bulunabilir.
Günümüzde birçok dijital avatar görünüşünden çok hareket biçimi nedeniyle inandırıcı gelmez.
Duruş, beden dili, ağırlık dağılımı ve el hareketleri hemen fark ettiğimiz ayrıntılardır. Gerçek performansları kaydetmek çok daha doğal animasyon kütüphaneleri oluşturmayı sağlar.
Aynı animasyon daha sonra farklı karakterlerde ve deneyimlerde kullanılabilir.
Gerçek zamanlı kullanım
Hareketlerin önceden kaydedilmesi şart değildir.
Rokoko ayrıca hareket verilerini gerçek zamanlı olarak Unity'ye aktarabilir.
Bir kişi hareket ederken dijital avatarı aynı performansı eşzamanlı canlandırabilir. Bu da etkinlikler, müzeler, gösteriler ve etkileşimli kurulumlar için yeni olanaklar yaratır.
Örneğin bir performans sanatçısı, ziyaretçilerin Karma Gerçeklik ortamında gördüğü sanal bir karakteri canlı olarak kontrol edebilir.
Bu durumda avatarın arkasında önceden hazırlanmış bir animasyon veya mutlaka yapay zekâ değil, gerçek bir insan vardır.
Dijital içerik olarak hareket
Metagate açısından Rokoko yalnızca animasyon üretme aracı değildir; insan hareketini dijital bir varlığa dönüştürmeyi sağlar.
Bir spor hareketi, teknik bir prosedür, sanatsal bir performans veya mesleki bir hareket…
Bunların hepsi kaydedilebilir, arşivlenebilir ve daha sonra Karma Gerçeklik deneyimine dâhil edilebilir.