NVIDIA เปิดให้ใช้งาน Audio2Face แบบ Open Source — แปลงเสียงเป็นแอนิเมชันใบหน้าฟรี

NVIDIA ได้ประกาศเปิดสิทธิ์ Open Source สำหรับเทคโนโลยี Audio2Face — โมเดล AI ที่แปลงเสียง (audio input) ให้กลายเป็นแอนิเมชันใบหน้า (facial animation) แบบรีลไทม์ เช่น การขยับริมฝีปาก, การแสดงสีหน้า และการแสดงอารมณ์ต่าง ๆ บนตัวละคร 3 มิติ

Audio2Face จะวิเคราะห์ลักษณะเสียง เช่น โฟนีม (phoneme), โทนเสียง, ระดับอารมณ์ แล้วแปลงเป็นชุดข้อมูล animation ที่เชื่อมกับการเคลื่อนไหวของใบหน้า (แสดงริมฝีปาก เคลื่อนแก้ม ตาปรับ)

สิ่งที่เปิดให้ใช้งานในแบบ Open Source ได้แก่:

โมเดล Audio2Face และ Audio2Emotion ที่ช่วยประเมินอารมณ์จากเสียง
SDK / ไลบรารี สำหรับ runtime และ authoring แอนิเมชันใบหน้า
framework สำหรับการฝึกโมเดล (training framework) เพื่อให้ผู้พัฒนาสามารถปรับจูนโมเดลให้เหมาะกับสไตล์ / ภาษา / งานของตนเองได้
ปลั๊กอินสำหรับ Unreal Engine 5 และ Autodesk Maya เพื่อให้การใช้งานสะดวกใน pipeline งานสร้างภาพยนตร์ / เกม / 3D เหมือนตัวอย่าง

ตัวอย่างการใช้งานจริง:
มีการนำ Audio2Face ไปใช้แล้วในโปรเจกต์เกม เช่น Chernobylite 2: Exclusion Zone The Verge และ Alien: Rogue Incursion Evolved Edition

แหล่งข้อมูล tweaktown