Российский облачный провайдер «Турбо Облако», входящий в ИТ-кластер «Ростелекома», представил Inference Platform – сервис для развертывания и эксплуатации моделей искусственного интеллекта. Как сообщили IT Speaker, новый продукт уже доступен для тестирования: компании могут использовать его на своих моделях.
Inference Platform освобождает бизнес от необходимости самостоятельно настраивать инфраструктуру для проектов в области ИИ. Платформа поддерживает различные типы моделей, включая решения с открытым исходным кодом. Пользователи могут загружать свои модели или применять контейнерные образы, разворачивая их в облачной среде без дополнительных настроек.
Сервис автоматически подстраивает ресурсы в зависимости от нагрузки. При увеличении числа запросов мощности наращиваются, при уменьшении – снижаются вплоть до полной остановки вычислений. Это позволяет оптимизировать использование GPU и снизить затраты. Дополнительным преимуществом является поминутная тарификация, обеспечивающая более точный контроль расходов по сравнению с почасовой оплатой.
Платформа поддерживает распределенный инференс, позволяя запускать модели с объемом до триллиона параметров на нескольких узлах. Для связи между узлами используется высокоскоростная сеть InfiniBand с минимальной задержкой. Также доступно деление GPU-ресурсов для задач меньшего объема. В основе платформы лежат ускорители NVIDIA H200 SXM.
«Спрос на применение ИИ-моделей в бизнесе увеличивается, но для многих компаний основным препятствием остаются не только развертывание, сопровождение и масштабирование инфраструктуры, но и высокая стоимость вычислительного оборудования. Наш новый сервис Inference Platform снимает эту нагрузку и позволяет сосредоточиться на прикладных задачах. Мы предоставляем возможность работать с моделями как с сервисом – быстро запускать, масштабировать и интегрировать их в бизнес-процессы без необходимости построения собственной инфраструктуры», – отметил директор по продуктам «Турбо Облака».
Ранее в Урале «Ростелеком» совместно с «Турбо Облаком» завершил важный этап цифровизации документооборота в Уральском федеральном университете (УрФУ). Сервис «Электронное личное дело» запущен в опытную эксплуатацию на облачных мощностях провайдера. Теперь сотрудники университета могут в онлайн-режиме и в защищенном контуре получать полную информацию о студентах – с момента зачисления до выпуска.
«Яндекс Практикум» объявил о запуске премии «Сделано с ИИ»
