Группа разработчиков из США представила LegoGPT — ИИ-систему, способную создавать физически устойчивые конструкции из кубиков Lego на основе текстовых описаний на естественном языке. В отличие от стандартных генеративных нейросетей, она учитывает физические законы и реальные ограничения сборки.
LegoGPT построена на измененной версии Llama-3.2-1B-Instruct. Модель была обучена на специально подготовленном наборе данных StableText2Lego, содержащем 47 тысяч примеров реальных конструкций.
После ввода текстового описания, система:
- создает 3D-модель, пригодную для сборки;
- ограничивается рабочей «сценой» размером 20×20×20 кубиков;
- использует 8 основных типов деталей (например, 1×2, 2×4 и другие);
- проверяет физическую стабильность конструкции;
- формирует пошаговую инструкцию и визуализацию.
Примеры, представленные на сайте команды, включают стол, диван и корабль — их можно собрать из доступных компонентов.
Кроме того, один из прототипов роботизированной руки уже успешно воспроизвел созданную модель.
Пользоваться LegoGPT можно без оплаты — она доступна по ссылке. Вы можете ввести текстовое описание фигурки, и нейросеть ответит, сгенерировав изображение и инструкцию по сборке.
По словам исследовательницы Авы Пан, идея заключается в том, чтобы выйти за пределы генерации изображений и создать ИИ, который может проектировать реальные объекты, а не просто «рисовать фантазии»:
«Современные модели не понимают, как сделать объект устойчивым. Мы стремимся к тому, чтобы пользователь мог ввести описание — и получить рабочий, персонализированный продукт, который можно изготовить и собрать».
В будущем, по мнению авторов, LegoGPT можно будет использовать не только для игр, но и в промышленном дизайне — например, для разработки мебели по индивидуальным заказам или создания прототипов из модульных элементов.
Также модель была обучена добавлять текстуры и узоры к наборам, а демоверсию уже можно попробовать: она принимает текстовые описания и возвращает визуализацию с инструкцией (пока работает нестабильно).
Пресс-служба Lego сообщила, что не может комментировать проект на текущем этапе. Официального сотрудничества между исследователями и производителем конструктора пока не существует.
Ранее пользователи ChatGPT получили возможность загружать данные исследований в формате PDF.
