ElevenLabs представила Music v2 — обновлённую модель для генерации музыкального контента. Она более эффективно обрабатывает вокал, инструменты и аранжировки в различных жанрах, поддерживает многоязычные тексты и предоставляет больше возможностей для контроля структуры композиции.
Music v2 уже доступна в ElevenMusic и ElevenCreative. В ElevenAPI модель появится позже — предварительный доступ можно запросить через отдел продаж. В связи с запуском ElevenLabs также снизила цены на Music v1 и Music v2 — до 50%. Подробности можно найти в материале Postium.
Смотрите также: 5 нейросетей для создания музыки
Что может Music v2 и как она функционирует
Music v2 создаёт треки на основе описания, но основное нововведение — управление итоговым результатом. Пользователь может не только сгенерировать песню, но и доработать её по частям.
Модель формирует композицию по секциям: интро, куплет, припев и другим элементам. Это позволяет создавать не просто короткие фрагменты, а полноценные песни с общей структурой и связями между частями.
ElevenLabs также усовершенствовала inpainting. Теперь возможно выделить любой участок трека и перегенерировать только его — например, заменить бридж, оставив неизменными припев и остальную часть песни.
Music v2 успешно справляется со сложной подачей: стремительным рэпом, плотным текстом, резкими изменениями жанров и немелодичными звуковыми эффектами внутри трека. По данным ElevenLabs, песня может переходить от оперы к хэви-металу и обратно, сохраняя целостность звучания.
Модель является основой для трёх продуктов ElevenLabs. В ElevenMusic авторы могут слушать, ремиксовать и создавать треки. В ElevenCreative бренды и контент-команды получают музыку для рекламы, видео и брендированного контента. Через ElevenAPI разработчики смогут интегрировать генерацию музыки, inpainting и подбор звучания по референсу в свои приложения.
Как использовать
В ElevenMusic можно ввести текст и настроение или загрузить референсный трек — сервис сгенерирует песню, которую затем можно доработать или превратить в ремикс.
В ElevenCreative пользователь задаёт жанр, темп, настроение и голос бренда, после чего Music v2 создаёт трек для рекламы, видео или другого контента.
Доступ к Music v2 через ElevenAPI ElevenLabs предоставляется по запросу.
Почему это имеет значение? Для ElevenLabs музыка становится отдельным направлением наряду с голосовыми продуктами. Компания разделяет сценарии по платформам: ElevenMusic — для авторов, ElevenCreative — для брендов и контент-команд, ElevenAPI — для разработчиков.
Кроме того, компания утверждает, что обучила модель исключительно на лицензированных данных, а созданные треки можно использовать в коммерческих целях — без sync fees, задержек с clearance и ограничений на использование.
Ранее ElevenLabs уже расширила свою платформу за пределы генерации голоса. В сентябре прошлого года компания представила Studio 3.0 — ИИ-редактор для работы со звуком и видео. В ноябре в ElevenLabs появился раздел «Image & Video» с возможностью генерации изображений и видеороликов прямо в интерфейсе сервиса.
Итог: ElevenLabs выпустила Music v2 и добавила больше инструментов для управления генерацией: треки можно строить по секциям и редактировать отдельные фрагменты.
