Компания ElevenLabs представила Dubbing v2 — новую модель ИИ, предназначенную для автоматизированного дубляжа видео и аудио. Она обрабатывает не только текст, но и исходные звуки: система принимает во внимание интонацию, эмоции, темп и стиль оригинального выступления.
Dubbing v2 уже доступна в ElevenCreative и через ElevenProductions. Модель поддерживает дубляж более чем на 90 языках. На протяжении 7 дней ElevenLabs предлагает бесплатные лимиты: 1 минута на Free, 15 минут на Starter и 30 минут на Creator+. Более подробная информация представлена в материале Postium.
Читайте также: Лучшие нейросети для озвучивания текста голосом
Что умеет Dubbing v2 и как она функционирует
Dubbing v2 ориентируется на оригинальное аудио, а не только на транскрипцию речи. Поэтому при переводе она стремится сохранить не только смысл выражений, но и стиль говорящего: тон, эмоции, подачу, высоту и характер голоса.
ElevenLabs утверждает, что модель также адаптирует формулировки для естественного звучания на другом языке. Это критически важно для дубляжа: дословный перевод часто нарушает ритм речи, делает фразы длиннее или короче и приводит к несоответствию с видео.
В Dubbing v2 реализована логика синхронизации. Она подбирает перевод так, чтобы начало и конец реплик совпадали с исходной дорожкой. Весь процесс — перевод, клонирование голоса, дубляж и синхронизация — осуществляется автоматически.
К примеру, это позволяет выполнять дубляж YouTube-видео в ElevenCreative всего в один клик и локализовывать рекламные материалы под различные рынки. Для студий ElevenLabs предлагает ElevenProductions, где к Dubbing v2 добавляются переводчики, выбор голосов и профессиональное сведение.
Как пользоваться
Зайдите на сайт ElevenLabs и перейдите в ElevenCreative. Затем загрузите видео или аудио, выберите языки для дубляжа и начните обработку. Сервис самостоятельно переводит речь, клонирует голос и синхронизирует результат с оригиналом.
Для проектов с высокими требованиями к качеству ElevenLabs предлагает ElevenProductions. Здесь дубляж создается как производственный заказ с участием специалистов, а модель отвечает за аудиочасть.
Почему это имеет значение? Dubbing v2 сохраняет исходный стиль речи, благодаря чему автоматический дубляж становится ближе к полноценной локализации, а не к простой озвучке поверх перевода. Ранее речь могла быть корректной по смыслу, но звучала плоско: перевод передавал слова, но утрачивал актёрскую подачу, паузы, напряжение, шутку или эмоциональный акцент. Теперь дубляж звучит гораздо более естественно.
Итог: Dubbing v2 — новая модель ИИ от ElevenLabs для автоматического дубляжа. Она переводит речь более чем на 90 языков, сохраняя голос и подачу оригинала.
