Компания «Е-Флопс» и ее партнер «АМДтехнологии» создали высокопроизводительный вычислительный комплекс (суперкомпьютер) для решения ИИ-задач. Его архитектура предусматривает дальнейшее расширение вычислительных узлов и сетевой инфраструктуры. Об этом IT Speaker рассказали в «Е-Флопс».
«Созданный суперкомпьютер – это не просто мощное оборудование, а интегрированное решение, учитывающее специфику ИИ-задач для финансовой сферы. Главный вызов проекта – эффективно совместить требования крупного бизнеса к высокой производительности, масштабируемости и информационной безопасности в одном решении. Мы готовы и далее наращивать вычислительные мощности комплекса», – прокомментировала генеральный директор «Е-Флопс» Елена Дорошенко.
Суперкомпьютер ориентирован на ресурсоемкие прикладные задачи бизнеса: обучение больших языковых моделей (LLM) в рамках MLOps-конвейера, запуск и сопровождение LLM-сервисов для внутреннего использования, а также предоставление пользователям системы доступа к LLM и инструментам вайбкодинга. Вычислительный комплекс обладает возможностью параллельного выполнения сложных вычислений с высокой производительностью.
Основные технические параметры вычислительного комплекса: 22 узла на базе графических ускорителей NVIDIA H100 80GB и x86-центральных процессоров обеспечивают пиковую мощность свыше 11 Пфлопс (FP64) для научных расчётов и более 700 Пфлопс (FP8/INT8) для задач ИИ. Суперкомпьютер включает более 4200 процессорных ядер, почти 34 ТБ оперативной памяти вычислительных узлов и около 14 ТБ памяти GPU, а также почти 3 млн ядер CUDA и свыше 92 тыс. тензорных ядер.
Вычислительный комплекс отличает гибридная кластерная архитектура. Была поставлена задача создать два физически изолированных сегмента: внутренний, размещённый внутри безопасного периметра без выхода в интернет, и внешний, доступный для сторонних пользователей. Оба сегмента используют одинаковые серверные платформы, что позволяет при необходимости физически переключать вычислительные узлы между сегментами для балансировки нагрузки.
Внутренний сегмент оптимизирован исключительно под ИИ‑задачи и активно применяет контейнеризацию (Kubernetes), тогда как внешний сегмент универсален – поддерживает как ИИ‑нагрузки, так и классические HPC-расчеты с двойной точностью. При этом внутренний сегмент реализован по гиперконвергентной модели, где каждый узел одновременно выполняет вычислительные функции и функции хранения данных. Внешний сегмент, напротив, содержит три выделенных сервера управления и две выделенные системы хранения данных.
Сетевая инфраструктура построена на трех физически разделённых сетях. Для высокоскоростного обмена между узлами и подключения системы хранения данных (СХД) внешнего сегмента используется InfiniBand HDR с пропускной способностью 200 Гбит/с от каждого GPU, что дает суммарно не менее 1600 Гбит/с на узел в одном направлении с неблокируемым доступом в топологии Fat Tree. Для связи с локальной сетью заказчика применяется 25‑гигабитный Ethernet, а для управления – 10‑гигабитный Ethernet. Дополнительно во внутреннем сегменте развёрнута сеть хранения данных на базе Fibre Channel 32 Гбит/с для подключения к объектному хранилищу.
Подсистема хранения данных организована следующим образом. Во внешнем контуре установлена выделенная СХД с поддержкой иерархического хранения: «горячие» данные размещаются на SSD‑накопителях общим сырым объемом 61 ТБ, а «холодные» – на массивах HDD емкостью 2 ПБ. Во внутреннем сегменте используется распределенное гиперконвергентное хранилище, которое масштабируется линейно вместе с ростом числа вычислительных узлов.
Программное обеспечение включает средства мониторинга и управления (в том числе NVIDIA DCGM для контроля GPU), систему визуализации и анализа данных на базе открытых пакетов, а также платформу оркестрации Kubernetes с модулями Multus и Cilium. Внешний сегмент дополнительно поддерживает планировщик задач Slurm. Управляющие серверы работают в виртуальной среде Proxmox.
Особое внимание уделено информационной безопасности – оба сегмента соответствуют строгим требованиям крупного бизнеса к защите данных, особенно внутренний, работающий в изолированном контуре. Все стойки размещены в сертифицированном ЦОДе с контролем доступа и разделением холодных и горячих коридоров. Суперкомпьютер уже введён в эксплуатацию в одном из российских банков из топ-10.
Ранее на факультете искусственного интеллекта МГУ имени М. В. Ломоносова 65 студентов и аспирантов, объединенных в 16 команд, разработали 16 практических проектов в сфере ИИ по заказу 10 компаний-партнеров. Работа велась по трем ключевым направлениям: машинное зрение, прогнозные модели и автоматизация процессов. Об этом IT Speaker сообщили в МГУ.
Эксперты назвали причины регулирования суперкомпьютеров в РФ
