Один из драйверов развития DNS — цифровизация бизнес-процессов и применение результатов аналитики данных для формирования стратегии и решений, которые ежедневно принимают подразделения компании.

В компании выстроена практика сбора данных на разных этапах бизнес-процессов. Для сбора, хранения и обработки данных требовалась мощная система аналитики и, конечно, хранилище данных.

Раньше использовали отдельные базы данных, MySQL Server и OLAP-кубы как инструмент обработки данных. Но OLAP-кубы можно масштабировать только за счет роста вычислительных мощностей. По мере роста объема данных стек стал нерентабельным — приходилось регулярно докупать оборудование.

В DNS решили построить хранилище на базе Greenplum: он легко масштабируется, позволяет проводить анализ данных в реальном времени с последующим прогнозированием. Но вариант On-Premise все равно бы требовал докупать оборудование, поэтому хранилище решили строить в облаке.

Выбрали облачного провайдера VK Cloud, ориентируясь на несколько критериев:

­– Экспертиза. Важно, чтобы провайдер не просто предоставлял инструменты, но и мог поделиться экспертизой о том, как построить дата-решения

– Ресурсы. Выбирали поставщика, у которого можно в пару кликов получить нужные ресурсы и масштабировать их

– Доступность. Важна доступность хранилища, поэтому искали провайдера с высокими гарантиями по SLA

– Техническая поддержка. В компании хотели сфокусироваться на задачах бизнеса, а обслуживание инфраструктуры, обеспечение сетевых и серверных элементов делегировать провайдеру

В DNS построили систему аналитики, которой смогут пользоваться все бизнес-подразделения. Для этого при миграции в облако изменили алгоритм получения данных. Теперь они выгружаются в Greenplum в необработанном виде — и уже в нем формируются витрины для бизнес-подразделений.

Для построения системы в облаке использовали инструменты для работы с большими массивами данных:

– Greenplum для создания консолидированного хранилища

– Apache NiFi для ETL от источников к Greenplum

– ClickHouse aaS для размещения продуктовых витрин данных

– S3 Minio, развернутый самостоятельно, для хранения сопутствующих данных и файлов, резервных копий, а также в качестве хранилища для ETL

– Apache Kafka в качестве брокера сообщений

– Cloud Backup для создания резервных копий данных

Благодаря новой системе, в DNS решили сразу несколько задач:

– Горизонтальное масштабирование. В облаке можно добавлять новые ноды к Greenplum и получать нужные ресурсы без больших инвестиций

– Упростили доступ к данным. В хранилище собраны данные из всех источников, аналитикам не надо искать сведения в разных базах

– Разделили зоны ответственности. Преднастроенные облачные сервисы (IaaS, PaaS) администрируют специалисты VK Cloud

– Обеспечили доступность данных. Доступность инфраструктуры и сервисов гарантирована VK Cloud по SLA