Kling AI представила новую модель ИИ под названием Kling O1 (Omni One). Это нейросеть, способная рассуждать, генерировать видео на основе текстовых описаний и редактировать уже существующие ролики с помощью простых команд: вы можете изменять объекты, добавлять новые элементы, удалять ненужное и полностью преобразовывать стиль сцены без необходимости пересъемки или применения ручных масок.
Эта модель уже доступна на сайте Kling, а также на различных платформах, таких как Fal AI, VEED, Wavespeed и других. Более подробная информация представлена в статье на Postium.
Также читайте: 5 бесплатных нейросетей для генерации видео
Что такое нейросеть Kling O1 и как она функционирует
Kling O1 — это мультимодальная модель, которая одновременно обрабатывает текст, изображения и видео. Она использует метод Chain of Thought: сначала анализирует запрос на смысловые компоненты — что изображено в кадре, как движется камера, какой тип освещения используется — и только затем генерирует или перерабатывает видео. Это улучшает точность движений, стабильность объектов и соответствие запросу.
В основе модели лежит Multi-Modal Video Engine — движок, который анализирует исходное видео или кадры, сопоставляет их с текстовым описанием и (при необходимости) с эталонными изображениями, а затем осуществляет изменения так, чтобы видео оставалось целостным на протяжении всего времени.
У этой модели есть три рабочих режима:
- Multi-Elements (video-to-video) — точечное редактирование уже записанного видео по текстовому запросу;
- text-to-video — полная генерация видео на основе описания;
- frame mode — создание видео между заданными начальным и финальным кадрами.
Главное отличие от Kling 1.6 — более точное следование запросам при генерации видео и стабильность объектов. Персонажи реже «ломаются» между кадрами, движения камеры становятся более предсказуемыми, а движения выглядят более естественно.
Что именно изменилось? Теперь можно с помощью текстовых команд менять элементы в уже снятых видео — заменять предметы, добавлять эффекты, удалять ненужные детали или изменять стиль ролика. Ранее подобные задачи требовали пересъемки или полноценного VFX-процесса.
Кроме того, в генерации O1 лучше сохраняет детали и реже уходит в «творческое самоуправление». Режим frame mode предоставляет почти операторский контроль — можно задать начальные и конечные кадры, и получить видео, которое плавно развивается между ними в нужном направлении.
Как работать с Kling O1?
Перейдите на сайт Kling (или на любую платформу, где доступна нейросеть) и выберите модель Kling O1. В режиме text-to-video нужно написать детальный запрос с описанием объектов, действий, освещения и поведения камеры.
В режиме Multi-Elements загрузите исходное видео (до 10 секунд) и максимум 4 изображения, либо до 7 изображений в качестве референса. Затем в запросе укажите, что необходимо заменить, что удалить или как изменить стиль.
В режиме frame mode загружаются два изображения, а текстом описывается динамика между ними. Модель самостоятельно строит движение и сцену.
Прошлые модели Kling делали акцент на генерацию коротких видео по текстовым и визуальным запросам, но с редактированием реального видео справлялись не очень хорошо. Мультимодальность O1 и новый движок расширили эти возможности.
В итоге: Kling O1 превращает генератор видео в инструмент для постпродакшена: теперь можно редактировать уже снятые ролики на основе текстового описания и обрабатывать материалы.
Ранее была выпущена модель ИИ для генерации видео HunyuanVideo 1.5.
