Perplexity представила исходный код Lily — легковесного движка инференса для локального взаимодействия с моделями в Perplexity Computer. Он предназначен для компьютеров Mac с Apple Silicon и специально оптимизирован под модель Qwen3.6-35B-A3B.
Lily написан на языке Rust и использует собственные Metal-ядра. В опубликованном описании Perplexity связывает движок с гибридным режимом работы: часть задач обрабатывается локально на Mac, в то время как облачные модели применяются для исследований и сложных рассуждений.
Читайте также: ТОП-6 чат-ботов на базе ИИ — как выбрать?
Что известно о Lily
Perplexity адаптировала Lily для Qwen3.6-35B-A3B — разреженной модели с 35 миллиардами параметров, которая активирует примерно 3 миллиарда параметров на токен. Движок нацелен именно на этот контрольный пункт в формате MLX affine 4-bit и не является универсальным сервером для других моделей Qwen. Lily также предлагает совместимый с OpenAI API интерфейс.
Lily не превращает Perplexity Computer в полностью оффлайн-сервис. Согласно данным компании, гибридный режим распределяет задачи между локальной моделью и облачными моделями: облако используется для исследований и рассуждений, тогда как локальная модель может работать с приватными файлами и приложениями на Mac.
Как пользоваться
Опубликованный Lily можно собрать и запустить независимо от Perplexity Computer. Для этого требуется Mac с Apple GPU Family 10 или новее — это соответствует Apple Silicon поколения M5 и выше — и macOS 26 или более поздней версии. В репозитории доступны инструкции по загрузке контрольного пункта, сборке с помощью Rust и запуску сервера.
Проект распространяется под лицензией Apache-2.0.
Почему это важно? Код Lily можно изучать и модифицировать вне зависимости от Perplexity Computer. При этом движок остается специализированным решением для Qwen3.6-35B-A3B, а стандартный пользовательский режим Perplexity Computer по-прежнему сочетает локальную обработку с облачными возможностями сервиса.
Ранее Perplexity Computer внедрила гибридные вычисления на Mac — сервис распределяет задачи между облачными ИИ-моделями и локальной моделью на компьютере пользователя.
Итог. Lily предоставляет Perplexity собственный открытый движок для локального запуска Qwen3.6-35B-A3B на Mac с Apple Silicon. Компания оптимизировала его непосредственно под архитектуру модели и достигла повышения производительности по сравнению с MLX-LM в своих тестах.
