Компания DeepSeek объявила о запуске новой линейки моделей DeepSeek-VL2, способных выявлять объекты на изображениях, анализировать схемы и даже интерпретировать мемы.
Эта нейросеть разработана с использованием архитектуры Mixture of Experts (MoE), что предполагает объединение нескольких нейросетей для решения сложных задач.
Читайте также: Как работать с нейросетью Qwen AI
Возможности DeepSeek-VL2 и инструкция по использованию
Модель распознаёт текст на изображениях, включая рукописные записи, таблицы и диаграммы, а также может конвертировать его в цифровой формат. Кроме того, она анализирует фотографии, предоставляя объяснения их содержания: например, на основе изображений с продуктами предлагает рецепты.
VL2 имеет возможность обнаруживать схожие объекты на различных снимках, но пока не всегда точно интерпретирует сцену — к примеру, на изображении с нарушением правил дорожного движения она упомянула автомобиль, но не указала, что он проехал на красный свет.
DeepSeek-VL2 доступна в трёх версиях: Tiny (1 миллиард параметров), Small (2,8 миллиарда) и VL2 (4,5 миллиарда). Они «опережают» предыдущую модель DeepSeek-VL. Одна из версий, VL2-Small, уже доступна без оплаты на Hugging Face.
Недавно DeepSeek также представила серию мультимодальных моделей под названием Janus Pro. Стартап утверждает, что эти модели превосходят такие аналоги, как Stable Diffusion 3 Medium и DALL-E 3 от OpenAI.
Ранее мы также сообщали, что Яндекс внедрил генератор изображений от DeepSeek в «Шедеврум».
