VK Tech стала первым в России поставщиком, который предлагает корпоративный Data Lakehouse на управляемых облачных сервисах. Это стало возможным благодаря новому сервису Cloud Trino, предназначенному для обработки больших данных на платформе VK Cloud.
Data Lakehouse объединяет характеристики «озер данных» и корпоративного хранилища, уменьшая нагрузку на системы хранения и снижая стоимость хранения неструктурированных данных. Он основан на S3-совместимом объектном хранилище и высокопроизводительном SQL-движке Cloud Trino, работающем на Kubernetes, что позволяет компаниям применять современный стек для реализации крупных проектов, оплачивая только используемые ресурсы.
Cloud Trino предоставляет возможность параллельного подключения к нескольким источникам данных, ускоряя процессы ETL и позволяя пользователям быстро получать доступ к данным для самообслуживаемой аналитики. Хранение данных в облаке стало в 10 раз более экономичным – до 3 рублей за 1 ГБ вместо 35 рублей для Data Warehouse. Облачный Kubernetes обеспечивает гибкость и возможность масштабирования инфраструктуры.
«В 2024 г. ежедневно создавалось около 402,89 млн терабайт данных – это 147 зеттабайт данных в год. Ожидается, что в 2025 г. этот показатель вырастет до 181 зеттабайта. У наших клиентов данные также увеличиваются в геометрической прогрессии, а полнота данных и скорость их обработки обеспечивают конкурентоспособность бизнеса. Мы разрабатываем инструменты, которые позволяют работать с данными быстрее и дешевле, чтобы больше компаний могли повышать эффективность за счет Data Driven-подхода. С запуском нового сервиса Cloud Trino и ранее созданных инструментов у нас появился первый в России стек технологий по модели as a service для создания современных архитектур Data Lakehouse. В планах сделать его невероятно быстрым, а хранение данных – крайне доступным», – подчеркнул директор по продукту VK Cloud Дмитрий Лазаренко.
Data Lakehouse доступен как на облачной платформе, так и на собственной инфраструктуре на базе Private Cloud и VK Data Platform. Инфраструктура VK Cloud прошла аттестацию по требованиям 152-ФЗ (УЗ-1).
Ранее компания VK разработала новую платформу OpenVK, которая позволит публиковать программное обеспечение с открытым исходным кодом. На ней будут представлены различные проекты, включая ИТ-системы и продукты, инструменты и библиотеки для разработчиков, а также модели искусственного интеллекта.
M1Cloud: тренды 2024 года на российском облачном рынке
