Epic'in yeni hareket yakalama animasyon teknolojisine inanılması için görülmesi gerekiyor

 "MetaHuman Animator", iPhone videosundan dakikalar içinde yüksek kaliteli 3D harekete geçer.

Bu performansı oluşturmanın yalnızca birkaç dakikalık video işleme ve insan müdahalesi gerektirmediğine inanır mısınız?

SAN FRANCISCO—Her yıl Oyun Geliştiricileri Konferansı'nda bir avuç rakip şirket, insan performanslarını oyun içi modellerde kullanılabilecek 3D animasyonlara dönüştüren en son hareket yakalama teknolojilerini sergiliyor. Genellikle, bu teknik gösteriler, performans yakalama için çok sayıda özel donanım ve elde edilen verileri oyuna hazır bir duruma getirmek için çok sayıda bilgisayar işleme ve manuel sanatçı ince ayarı içerir.

Epic'in yaklaşan MetaHuman yüz animasyonu aracı, bu tür emek ve zaman yoğun iş akışında devrim yaratacak gibi görünüyor. Çarşamba günkü State of Unreal sahne sunumunda etkileyici bir gösteride Epic, basit bir kafa kafaya videodan etkileyici derecede gerçek, tekinsiz vadiden sıçrayan yüz animasyonu oluşturmak için sadece birkaç dakikaya ihtiyaç duyan yeni makine öğrenimi destekli sistemi gösterdi. bir iPhone'da.

Dijital İnsan Teknolojisinden sorumlu Epic Başkan Yardımcısı Vladimir Mastilovic Çarşamba günü bir panel tartışmasında, bu tür temel girdilerden hızlı ve üst düzey sonuçlar alma potansiyelinin "[test uzmanlarının] nasıl çalıştığını veya üstlenebilecekleri iş türünü tam anlamıyla değiştirdiğini" söyledi. öğleden sonra.

Çarpıcı bir demo

Yeni otomatik animasyon teknolojisi, Unreal Engine 5'te son derece ayrıntılı insan modellerini manuel olarak oluşturmanın bir yolu olarak 2021'de piyasaya sürülen Epic'in MetaHuman modelleme aracına dayanıyor. Epic, bu lansmandan bu yana 1 milyondan fazla kullanıcının milyonlarca MetaHuman yarattığını söyledi. bir insan yüzünün üç fotoğrafını işlemek için sadece birkaç dakika.

Mastiloviç'in Çarşamba sabahı sahneye koyduğu gibi, bu Metaİnsanlarla ilgili temel sorun, "onları canlandırmanın hâlâ kolay olmamasıydı." Yetenekli stüdyoların bile, oyunda kullanılabilir animasyon elde etmek için genellikle özel donanımdan ayrıntılı bir "4D yakalama" ve "haftalar veya aylar süren işlem süresi" ve insan ince ayarını kullanması gerekeceğini söyledi.

MetaHuman Animator, bu süreci büyük ölçüde kolaylaştırmak için tasarlanmıştır. Epic, bunu kanıtlamak için 2017 yapımı Hellblade: Senua's Sacrifice'daki Senua rolüyle tanınan Ninja Theory Performans Sanatçısı Melina Juergens'e güvendi.

Juergens'in 15 saniyelik sahne performansı, önündeki bir tripoda monte edilmiş bir stok iPhone'a kaydedildi. Bu performansın ortaya çıkan videosu daha sonra üst düzey bir AMD makinesinde bir dakikadan daha kısa sürede işlendi ve pratik olarak orijinal videodan ayırt edilemeyen bir 3D animasyon oluşturuldu.

Sonucun hızı ve aslına uygunluğu, Yerba Buena Sanat Merkezi'nde toplanan geliştiricilerden büyük bir alkış topladı ve inanılması için gerçekten görülmesi gerekiyor. Juergens'in performansındaki küçük dokunuşlar - çıplak dişlerden minik ağız titremelerine ve yan bakışlara kadar - tümü, onu orijinal videodan neredeyse ayırt edilemez kılacak şekilde animasyona dahil edilmiştir. Mastilovic, gerçekçi dil hareketlerinin bile "sesten dile" algoritması kullanılarak yakalanan sesten tahmin edildiğini söyledi.

Dahası Epic, tüm bu yüz tiklerinin yalnızca Juergens'in kendi MetaHuman modeline değil, aynı MetaHuman standardı üzerine inşa edilmiş herhangi bir modele nasıl uygulanabileceğini de gösterdi. Juergens'in hareketlerini ve sözlerinin son derece stilize bir çizgi film karakterinin ağzından, bunları yaptıktan birkaç dakika sonra çıktığını görmek, en hafif tabirle çarpıcıydı.

Sunum, yaklaşan Senua's Saga: Hellblade II için performans odaklı bir fragmanın çıkışıyla sona erdi. Bu fragman, Mastilovic'in Juergens'in içindeki tüm vücut hareket yakalama performansının "hiçbir şekilde cilalanmadığını veya düzenlenmediğini ve bir MetaHuman animatörünün baştan sona işlemesinin sadece birkaç dakika sürdüğünü" söylemesi tarafından daha da etkileyici hale getirildi.

makineler öğreniyor

Günün ilerleyen saatlerinde düzenlenen bir panelde Mastilovic, MetaHuman Animator'ın kısmen Epic'in yıllar boyunca (3Lateral gibi satın almaların yardımıyla) topladığı ayrıntılı yüz yakalama verilerinden oluşan "büyük, çeşitli, yüksek oranda derlenmiş bir veritabanından" nasıl güç aldığını tartıştı. , Kübik Hareket ve Hiprsense). Bu geniş kapsamlı yüzler dizisi daha sonra "n-boyutlu insan alanı" olarak adlandırdığı şeye işlenir - esasen farklı kafa morfolojilerinin farklı bölümlerinin hareket edip esneyebildiği tüm yolların büyük bir veritabanı.

İlk olarak, Epic'in kendi "yüz çözücü ve yer işareti algılayıcısı", videoya kaydedilen yüzdeki temel "donanım" noktalarını tanımlar. Daha sonra, bu noktaları kullanarak, bir makine öğrenimi algoritması esasen her video karesini, yakalanan yüzlerden oluşan devasa n boyutlu veritabanındaki en yakın komşusuyla eşler. Algoritma, Mastilovic'in söylediği gibi bir "anlamsal uzay çözümü" kullanıyor ve sonuçta ortaya çıkan animasyonun "herhangi bir yüz mantığında her zaman aynı şekilde çalışacağını... başka bir şeye taşıdığınızda bozulmadığını" garanti ediyor.

Epic, gerekirse MetaHuman Animator algoritmasının sonuçlarının nasıl değiştirilebileceğini gösteriyor.

Diğer bazı makine öğrenimi modellerinden farklı olarak Mastilovic, MetaHuman Animator'ın "hiçbir ayrıntıyı halüsinasyon görmediğini" söyledi. Odak noktası, içine konulan performansla tam olarak eşleşen animasyon oluşturmaktır. Ve Mastilovic, modelin çekimdeki düşük ışık ve arka plandaki dikkat dağıtıcı unsurlara karşı oldukça dirençli olduğunu söyledi.

Kısa bir zaman ölçeğinde kullanılabilir hareket yakalama animasyonu verileri oluşturmaya yönelik araçlar tamamen yeni değil; Epic, 2016'da Hellblade'in ilk kesim sahnesinin gerçek zamanlı performansını kullanarak benzer bir şey gösterdi. Ancak o zamanlar performans, Juergens'in özel makyaj ve izleme noktaları ile donatılmasını ve başa takılan bir aydınlatma ve kamera teçhizatı takmasını gerektiriyordu. Ortaya çıkan "gerçek zamanlı" model, o dönem için etkileyici olsa da, nihai, ara sahneye hazır işleme performans verilerinden ziyade hızlı bir "ön görselleştirme" için daha uygundu.

Öte yandan Epic'in yeni MetaHuman Animator'ı, küçük geliştiriciler tarafından bile normal zaman ve emek yatırımı olmadan son derece ikna edici 3D animasyon oluşturmak için kullanılabilir gibi görünüyor. Mastiloviç, aracın bu yaz daha geniş lansmanının "daha hızlı çalışmanıza ve sonuçları hemen görmenize izin vererek" "karmaşık karakter teknolojilerinin demokratikleşmesine" yol açmasını umduğunu söyledi.

Bu hafta GDC'de gördüğümüz demoya dayanarak, bu hedefe oldukça yakın göründüğünü söyleyebiliriz.