Создатели Netflix представили VOID – фреймворк, отвечающий за редактирование видео, в частности, за инновационное удаление объектов из кадра. В отличие от традиционных методов, которые часто полагаются на «заплаточный» подход, VOID использует механизм декомпозиции сцены.
Таким образом, ИИ-модель разделяет видеопоток на слои фона и динамические маски, что позволяет ИИ не только закрашивать пиксели, но и восстанавливать структуру сцены с учетом глубинных и перспективных характеристик.
По словам разработчиков, благодаря специфическим механизмам внимания (attention) и анализу межкадровых связей, нейросеть минимизирует артефакты мерцания и «плавающих» текстур. В сравнительных испытаниях VOID показывает превосходство над существующим SOTA-решением в лице ProPainter, обеспечивая более надежное заполнение областей за маской даже при быстром движении камеры или наложении объектов.
Архитектурно VOID разработан как адаптивный пайплайн, способный работать с масками различной сложности: от удаления мелких проводов до полной замены крупных объектов в кадре. Одной из ключевых особенностей стала поддержка поэтапного инференса, что позволяет модели сохранять детализацию текстур без утраты общего контекста сцены.
Исходный код уже доступен на GitHub, что открывает возможности для создания инструментов голливудского уровня для всех разработчиков.
Аналогичные решения разрабатываются и в России. В «Яндексе» сообщили, что теперь всем пользователям «Алисы AI» доступен ИИ-агент «Исследовать». Нейросеть проведет комплексный анализ: от финансового планирования до оценки эффективности алгоритмов обработки данных. Пользователи с подпиской «Алиса Плюс» получат приоритет в очереди и расширенный лимит.
В России создан первый ИИ-кассир для ресторанов
