Компания Tencent раскрыла исходный код и параметры Hunyuan World 1.1, также известной как WorldMirror. Это универсальная модель с прямой подачей, которая создает трехмерные сцены практически из любых источников — от видео и фотографий до объединения снимков с различных углов.
В отличие от Hunyuan World 1.0, ориентированной на генерацию 3D-миров из текстового описания или одного изображения, новая модель акцентирует внимание на точной реконструкции реальной геометрии и поддержке видео. Это, по сути, переход от создания «фантастических миров» к воспроизведению действительности.
Читайте также: Как создавать видео с помощью нейросети WAN 2.5
Возможности нейросети Hunyuan World 1.1
1. Любые источники данных.
WorldMirror принимает в качестве входных данных видео, серию фотографий или отдельные изображения. Пользователь также может добавить геометрические приоритеты — позиции камер, фокусные расстояния, карты глубины — для повышения точности и устранения неоднозначностей в структуре сцены.
2. Разнообразные выходные данные.
Модель генерирует несколько 3D-представлений за один проход:
- плотные облака точек (dense point clouds);
- карты глубины с различных ракурсов;
- параметры камер;
- нормали поверхностей;
- 3D Gaussian Splatting — формат, подходящий для современных рендеров и движков.
3. Быстро и просто.
Hunyuan World 1.1 — это архитектура с прямой подачей без итеративных шагов оптимизации. Весь процесс реконструкции осуществляется на одной видеокарте и занимает всего несколько секунд. Это делает модель удобной для использования в реальном времени и в производственных цепочках.
Почему это важно? Ранее для восстановления 3D-сцены из видео или фотографий требовались мощные серверы и длительное время — иногда десятки минут на один объект. WorldMirror выполняет ту же задачу за считанные секунды и на одной видеокарте.
Модель не требует длительной настройки для каждого набора данных — она функционирует «из коробки». Благодаря этому 3D-реконструкция теперь может применяться более широко: быстро генерировать объекты и сцены для игр или VR, создавать цифровые копии зданий и помещений, а также визуализировать сцены для фильмов.
Tencent утверждает, что WorldMirror демонстрирует результаты на уровне лучших мировых моделей (SOTA) на популярных наборах данных — и особенно эффективно работает при добавлении подсказок, таких как позиции камер или карты глубины.
Статья в тему: Промты для создания 3D-фигурок и кукол в коробке
Как использовать Hunyuan World 1.1?
Модель Hunyuan World 1.1 (WorldMirror) доступна по лицензии Tencent Hunyuan World Mirror Community License — она допускает исследовательское и ограниченное коммерческое использование.
Использовать её можно двумя способами:
- Скачать и запустить локально. Репозиторий HunyuanWorld-Mirror на GitHub предлагает код инференса, примеры и детальные инструкции по установке.
- Попробовать онлайн. На Hugging Face доступны веса модели и демо-интерфейс: можно загрузить видео или набор снимков и получить готовую 3D-сцену прямо в браузере.
Летом 2024 года Tencent представила Hunyuan World 1.0, модель для генерации 3D-миров из текста или одиночного изображения. Позже вышла Hunyuan World Lite — версия для обычных видеокарт. Теперь компания делает следующий шаг — универсальную 3D-реконструкцию из реальных данных, объединяющую разные направления (текст → 3D, фото → 3D, видео → 3D) в одном решении.
Итог: Tencent сместила акцент с создания вымышленных 3D-миров на реконструкцию реальных сцен. Hunyuan World 1.1 (WorldMirror) демонстрирует переход индустрии от «творческих» моделей, создающих фантазии на основе текста, к практическим инструментам, которые точно восстанавливают геометрию и физику окружающего мира.
По сути, Tencent предлагает универсальный пайплайн для цифрового копирования реальности — шаг к «реальному» 3D-интеллекту, где модели не просто создают, а понимают и воспроизводят мир.
Ранее Lightricks представила нейросеть LTX-2, которая нативно генерирует видео в 4K.
