Tencent открыла исходный код и веса модели AuK — системы для генерации и редактирования речи. Она интерпретирует текстовую инструкцию: по ней можно создать голосовую запись или изменить уже существующее аудио.
AuK обладает способностью воспроизводить голос по образцу, генерировать речь на основе текстового описания голоса и редактировать фразы в уже имеющейся записи. Модель была выпущена 9 сентября 2026 года и распространяется под лицензией MIT.
Читайте также: Нейросети для повышения качества звука
Возможности AuK
Для работы со звуком используется единый интерфейс: пользователь указывает, что необходимо изменить, и при необходимости прикрепляет исходную или референсную запись. AuK может заменить, добавить или удалить слова в речи, сохраняя голос оригинального говорящего.
Кроме того, модель может изменять высоту, скорость и громкость голоса, передавать заданные эмоции или тембр, удалять региональные акценты, добавлять или убирать дыхание, смех и кашель. Также доступны функции преобразования обычной речи в шёпот и обратно, очистка аудио от шумов и реверберации, а также разделение голосов и вокала в записи.
AuK также позволяет редактировать текст в вокальной записи, сохраняя мелодию и голос, а также извлекать голос целевого говорящего из записи на основе содержания его реплики.
Для синтеза речи по образцу AuK принимает короткую референсную запись и произносит новый текст тем же голосом. Второй режим создает речь по описанию — без аудиопримера.
Две версии модели
Основная версия AuK ориентирована на качество генерации. AuK-Flash — её упрощённый вариант, предназначенный для быстрого вывода с четырьмя фиксированными шагами генерации. Код, веса и инструкции опубликованы в репозитории GitHub и на Hugging Face.
В репозитории доступны запуск через командную строку и Python, локальный интерфейс Gradio и узлы для ComfyUI. Tencent также открыла демонстрационные площадки на Hugging Face и ModelScope, где можно опробовать модель в браузере.
Ранее Tencent представила Hy4 Preview — открытую MoE-модель с 770 млрд параметров.
Источник / изображения: github.com/Tencent-Hunyuan/AuK
