Компания Moondream представила Photon 1.3.0, сделав локальный запуск ИИ-моделей через Photon совершенно бесплатным. В рамках этого обновления разработчики также ускорили работу Moondream на Windows, Mac и графических процессорах NVIDIA.
Для обычного локального запуска теперь не требуется API-ключ. Однако он по-прежнему необходим для finetuned-моделей и телеметрии инференса, чтобы связать активность с аккаунтом. Согласно информации от Moondream, эти сценарии также остаются бесплатными. Более подробно об этом можно узнать в материале Postium.
Также читайте: 25 лучших нейросетей для генерации изображений
Что нового в Photon 1.3.0
Photon — это движок, позволяющий локально запускать ИИ-модели Moondream для работы с изображениями. С версии 1.3.0 разработчик может установить пакет, загрузить модель и отправлять запросы локально без необходимости использования MOONDREAM_API_KEY, если не применяется finetuned-модель и не активируется телеметрия.
Обновление также повышает скорость инференса на всех поддерживаемых платформах: Windows, Mac и NVIDIA GPU. По данным Moondream, наиболее заметные улучшения наблюдаются на старых видеокартах NVIDIA.
На A100 пропускная способность в стандартных запросах увеличилась примерно на 25–44%, а в задачах с пошаговым рассуждением — до 70%. Задержка ответов уменьшилась примерно на 30%. На A10 прирост составляет около 30–45%, а Jetson Thor стал быстрее до 50% при малых размерах пакетов.
На Apple Silicon улучшилось декодирование, что должно ускорить локальную разработку на Mac.
Moondream также оптимизировала запуск finetuned-моделей в Lens — сервисе для настройки Moondream под конкретные задачи. Большой finetune, который ранее добавлял около 140 мс к запросу, теперь добавляет менее 1 мс.
Теперь finetuned-модели поддерживаются на Apple Silicon и Windows, в дополнение к NVIDIA. Ранее Windows и Mac не могли запускать такие модели.
В этом релизе была устранена проблема с точностью на некоторых старых GPU, включая A100, A10 и RTX 3090. Ошибка была связана с округлением при подготовке данных для модели: значения немного занижались. По словам Moondream, на новых GPU данная проблема не наблюдалась.
Как начать работу
Чтобы установить пакет, выполните команду pip install moondream. Документация доступна на docs.moondream.ai.
После установки Photon можно запускать локально без API-ключа, если не используются finetuned-модели и не требуется телеметрия инференса.
Почему это важно? Ранее локальный запуск Moondream через Photon требовал API-ключ, а finetuned-модели были недоступны на всех платформах. Теперь разработчики могут более удобно тестировать Moondream локально, запускать модели на edge-устройствах или on-prem, а также получать больше запросов с того же оборудования.
Итог: Photon 1.3.0 убирает необходимость в API-ключе для локального запуска Moondream, ускоряет инференс и расширяет поддержку finetuned-моделей на Mac и Windows.
