MetaHuman bazat pe AI cu noul plugin ACE și Microservicii

Unreal Fest Seattle 2024 a început aseara, iar NVIDIA a anunțat lansarea de noi plugin-uri pentru NVIDIA ACE în Unreal Engine 5 care vor facilita crearea și lansarea MetaHuman bazat pe AI pe PC-urile Windows.

 

Noi plugin-uri ACE pentru Unreal Engine 5:

• Audio2Face – 3D Plugin: Permite sincronizarea buzelor și a animațiilor faciale cu discursul prin intermediul inteligenței artificiale direct în Unreal Engine 5
• Nemotron-Mini 4B Instruct Plugin: Oferă generare de răspunsuri pentru dialoguri interactive cu personaje
• Retrieval Augmented Generation (RAG) Plugin: Oferă informații contextuale pentru a îmbunătăți interacțiunile cu personaje

 

Plugin Audio2Face pentru Autodesk Maya:

• Facilitează animații faciale de înaltă calitate și bazate pe audio în Maya
• Include codul sursă pentru customizarea și integrarea cu alte unelte digitale pentru creare de conținut
• Facilitează fluxul de lucru între Maya și Unreal Engine 5

 

Microserviciul Unreal Engine 5 Renderer cu Pixel Streaming:

• Folosește tehnologia Unreal Pixel Streaming de la Epic
• Are acum suport pentru microserviciul NVIDIA ACE Animation Graph și Linux OS în early access
• Permite dezvoltatorilor să facă streaming de înaltă calitate a personajelor MetaHuman către orice dispozitiv prin intermediul Web Real-Time Communication (WebRTC)

 

Beneficii pentru dezvoltatori:

• Simplifică integrarea de persoane digitale alimentate de AI în jocuri și aplicații
• Optimizează microserviciile pentru latență scăzută și utilizare minima de memorie pe PC-urile Windows.
• Îmbunătățește scalabilitatea pentru lansare în cloud a persoanelor digitale.
• Oferă unelte de personalizare și codul sursă pentru nevoile specializate de dezvoltare.

 

Dezvoltatorii vor putea să aplice pentru early access astfel încât să descarce microserviciul Unreal Engine 5 renderer cu suport pentru microserviciul Animation Graph și Linux OS. Plugin-un Maya ACE este disponibil pentru descărcare pe GitHub.

Views: 12