Команда разработчиков из ML-подразделения Apple представила нейросеть LiTo. Она способна восстанавливать 3D-объекты на основе одной фотографии и сохраняет сложные визуальные эффекты, такие как блики, отражения и изменения текстуры материала при различных углах обзора.
По словам разработчиков, большинство аналогичных ИИ-моделей ориентированы на точное воспроизведение геометрии. Даже если модель способна создавать текстуры, она работает лишь с «плоскими» цветами поверхности и не всегда адекватно воспринимает, как внешний вид объекта меняется в зависимости от освещения и угла наблюдения.
LiTo, в свою очередь, кодирует одновременно геометрию и изменения внешнего вида объекта в латентном пространстве. ИИ сначала обучили генерировать 3D-объекты, а затем с помощью сжатия случайных выборок светового поля поверхности в компактный набор латентных векторов – восстанавливать визуальные эффекты.
Работу LiTo сравнили с нейросетью TRELLIS. Apple подчеркивает, что LiTo создает более качественные 3D-объекты с высоким уровнем точности относительно исходного изображения. Нейросеть планируется использовать для создания ассетов и более быстрого переноса реальных объектов в цифровые 3D-модели.
Ранее Apple начала внутренние тесты складного смартфона в формате «раскладушки». На данный момент устройство неофициально именуют iPhone Flip.
Apple выпустит AirPods с камерами
