Nvidia открыла исходный код Audio2Face — AI-модели, которая генерирует мимику и синхронные движения губ для 3D-персонажей на основе аудиозаписей.
Компания предоставила в открытом доступе модели, SDK и фреймворк для обучения, что позволит разработчикам адаптировать систему для различных языков, стилей анимации и специфических задач — от игр до приложений с виртуальными собеседниками.
Читайте также: Бесплатные нейросети для озвучивания текста голосом
Что умеет нейросеть Audio2Face и где скачать исходный код
Модель анализирует «акустические характеристики» речи — фонемы, интонации, акценты — и преобразует их в анимационные данные. Эти данные автоматически сопоставляются с параметрами лица (blendshapes) аватара, обеспечивая реалистичный липсинк и базовую мимику.
Nvidia подчеркивает, что инструмент подходит как для заранее записанного контента (видео, катсцены), так и для живых выступлений и стримов.
В комплект входят:
- SDK и плагины для интеграции в игровые движки, включая Unreal Engine 5 и работу с MetaHumans;
- фреймворк для обучения, позволяющий дообучать модель, например, для поддержки специфических языков или уникального стиля артикуляции;
- дополнительные модули, такие как Audio2Emotion, которые анализируют эмоциональную окраску голоса и добавляют выразительность лицу персонажа.
Кто уже использует
Audio2Face применяется в реальных проектах: например, разработчики внедрили его в игру Alien: Rogue Incursion Evolved Edition. Технология способствует ускорению подготовки катсцен и делает речь персонажей более естественной.
Audio2Face — составная часть платформы ACE (Avatar Cloud Engine), которую Nvidia развивает для игр, приложений и сервисов с виртуальными персонажами. Компания надеется, что открытие кода привлечет больше разработчиков и укрепит экосистему. Тем не менее, важно отметить, что хотя проект доступен всем, оптимальная производительность достигается на GPU Nvidia, что сохраняет «привязку» к их оборудованию.
Исходные коды и примеры уже опубликованы на GitHub и доступны разработчикам по всему миру. Инструмент можно использовать бесплатно, модифицировать под свои задачи и интегрировать в существующие пайплайны.
Ранее Nvidia объявила о намерении инвестировать до $100 миллиардов в OpenAI.
