Компания «Сбер» представила новое семейство генеративных моделей Kandinsky WM 1.0, которые способны создавать видео, соответствующие законам физики. Эти модели будут применяться для обучения систем Physical AI, которые могут воспринимать физический мир, осваивать его динамику и управлять реальными устройствами. Об этом сообщила редакции IT Speaker команда компании.
В основе этих моделей лежит нейросеть Kandinsky 5.0 Video Lite, которая была дообучена на миллионах реальных видеозаписей, полученных с камер роботов, беспилотных автомобилей и записей производственных процессов. Кроме того, специальные модели оценивали видео на предмет сохранения форм объектов, геометрии и естественности движений. Благодаря этому искусственный интеллект сможет создавать видео редких, сложных или опасных сценариев, которые затем будут использоваться для обучения роботов и беспилотного транспорта.
Особенность Physical AI заключается в том, что в открытом доступе недостаточно видеоматериалов, которые можно было бы использовать для обучения ИИ, поскольку сбор необходимых данных является дорогостоящим и сложным процессом. Чтобы обучить модель, требуется миллионы часов записей, тогда как автомобиль с камерами и датчиками за год может собрать около 5000 часов. Более того, в случае редких и сложных ситуаций, таких как ДТП или экстремальные погодные условия, воспроизвести эти условия невозможно.
Видео, создаваемые моделями Kandinsky WM, имеют продолжительность около пяти секунд и демонстрируют отдельные действия, такие как поднятие или укладка предмета, проезд перекрестка или смена полосы. Подчеркивается, что это первые ИИ, способные моделировать развитие событий во времени и функционировать как симуляторы для обучения и тестирования роботов.
«Чтобы предсказать, как поведет себя коробка на мокром конвейере, нужно учитывать огромное количество параметров, которые у нас отсутствуют. Есть ситуации, которые вовсе не описываются уравнениями, например, поведение пешехода перед беспилотным автомобилем. Человек решает эту задачу не вычислением, а интуицией, основанной на опыте. Наши модели обучаются аналогичным образом – на видео из реального мира – и позволяют “прожить” виртуально даже те сценарии, которые опасно или невозможно воспроизвести», – заявил CTO Kandinsky, управляющий директор по исследованию данных «Сбера» Денис Димитров.
Kandinsky WM может быть использован для разработки беспилотного транспорта, включая легковые автомобили, грузовики и роботакси. Также ИИ окажется полезным для компаний в области промышленной автоматизации, исследователей, университетов и стартапов.
Ранее «Сбер» внедрил в «ГигаЧат» новые функции для редактирования изображений. Например, пользователи теперь могут создавать изображение на основе нескольких фотографий (до трех). Также доступно детальное редактирование полученного контента.
«Сбер» открыл доступ к библиотеке SIRIN
