Нейросеть Runway внедрила новую функцию, позволяющую задавать композицию будущего изображения или видео с помощью схем и рисунков. Этот инновационный инструмент функционирует в режиме References и предоставляет возможность точно размещать объекты в кадре — от элементов интерьера до персонажей на постере.
Обновление доступно для пользователей с моделью Gen-4, подписка на которую начинается с $15 в месяц.
Сооснователь стартапа Кристобаль Валенсуэла сообщил об этом в X:
«Теперь можно буквально нарисовать, где в кадре должен находиться стол, человек или дерево — и модель учтёт это. Затем вы можете анимировать эту сцену в видео».
Он представил несколько примеров. В одном из случаев нейросеть на основе фотографии Уиллема Дефо и схемы с вазой и бананом создала реалистичную сцену с актёром.
Пользователи в социальных сетях подхватили новый тренд. Один из них создал рекламный постер Nivea у бассейна, загрузив схему с точным расположением флаконов. При изменении композиции и добавлении уточки модель также скорректировала сцену.
Другой пользователь применил мудборд и схему для интерьеров — нейросеть точно воспроизвела стилистику предметов.
Автор под ником StelfieTT «посадил» актёров у бассейна без текстового описания сцены — модель поняла всё по референсу.
Runway распознаёт не только геометрические схемы, но и наброски, сделанные в графических редакторах. Это расширяет горизонты визуального сторителлинга: теперь дизайнеры, маркетологи и видеопроизводители могут не только формулировать текстовые запросы, но и буквально рисовать, что они хотят получить.
Runway остаётся одним из лидирующих игроков на рынке генеративного видео. С выходом Gen-4 в 2024 году улучшилась детализация и точность кадров, а теперь модель также умеет ориентироваться в пространственных схемах.
Ранее OpenAI вынужден был признать, что ChatGPT стал слишком льстить всем подряд.
