Tencent представила Hy4 Preview — открытую модель MoE с 770 миллиардами параметров, из которых 49 миллиардов активируются при обработке каждого токена.
Модель поддерживает контекст до 1 миллиона токенов. Tencent выпустила обычные и FP8 веса на Hugging Face, ModelScope, GitCode и CNB, а также предоставила инструкции по запуску через vLLM и SGLang.
Читайте также: 20 лучших ИИ-агентов — для работы и бизнеса, написания кода, создания видео/изображений.
Hy4 Preview — возможности и характеристики
Hy4 Preview основана на архитектуре Mixture of Experts. В модели 78 слоев, 256 маршрутизируемых экспертов и один общий эксперт; для каждого токена активируются восемь маршрутизируемых экспертов и общий.
Кроме основной части модели, Tencent интегрировала один MTP-слой на 10 миллиардов параметров, из которых 0,7 миллиарда активируются для спекулятивного декодирования. Указанные 770 миллиардов общих и 49 миллиардов активных параметров относятся к основной части модели без учета MTP-слоя.
Tencent также внедрила поддержку Gated DeepSeek Sparse Attention (Gated DSA) и механизма IndexCache для повторного использования разреженных индексов между слоями. Компания ориентирует модель на программирование, офисную работу и анализ данных, разработку игр и научные задачи. В частности, модель предназначена для работы с документами, таблицами и презентациями.
В репозитории Tencent предупреждает, что версия Preview может затрачивать слишком много времени на решение сложных задач и проверку собственных ответов.
Как использовать Hy4 Preview
Скачайте веса Hy4 Preview или FP8-версию из официального репозитория. Для запуска Tencent предлагает vLLM или SGLang; после развертывания модель взаимодействует через совместимый с OpenAI API. В примерах запуска используется конфигурация с тензорным параллелизмом на 8 GPU.
Hy4 Preview также доступна через Tencent Cloud TokenHub и OpenRouter, а интеграции с моделью реализованы в продуктах Tencent WorkBuddy и CodeBuddy.
API модели стоит $0,834 за 1 миллион входных токенов, $2,501 за 1 миллион выходных токенов и $0,042 за 1 миллион токенов при попадании в кэш.
Hy4 Preview распространяется по лицензии Apache 2.0.
Почему это важно? Tencent открыла веса модели с контекстом в 1 миллион токенов и опубликовала инструкции для самостоятельного развертывания через распространённые инференс-движки. В то же время модель доступна через облачные API и продукты Tencent.
Ранее Tencent Hunyuan представила WorldClaw — агентный ИИ-фреймворк, который создает обширные 3D-миры с ландшафтами и отдельными объектами по текстовому описанию.
Итог: Hy4 Preview — открытая модель MoE от Tencent с 770 миллиардами параметров в основной части, 49 миллиардами активных параметров на токен, контекстом до 1 миллиона токенов и поддержкой vLLM и SGLang.
