У сети Fix Price почти 6000 магазинов и 22 миллиона участников программы лояльности. Где хранить и как обрабатывать данные обо всех клиентах? Компания построила систему аналитики данных на облачных технологиях.
В последние годы Fix Price активно развивался: росло количество новых точек, увеличивалось число участников программы лояльности. Чем более активно компания работала на рынке, тем больше данных приходилось загружать и обрабатывать в информационных системах. В В 2021 году возможностей существующей системы аналитики компании стало не хватать. Росло время подготовки и актуализации витрин данных, необходимых для анализа продаж. Это сдерживало развитие бизнеса.
Прежнее решение строилось на ассоциативной архитектуре и обрабатывало данные в оперативной памяти, поэтому постоянно приходилось увеличивать ее объём. Необходимо было оптимизировать решение и уменьшить нагрузку на серверы.
Как за два месяца перейти на cloud native-решение
Для ускорения обработки данных компания решила перейти на облачную платформу аналитики данных, которую в дальнейшем будет легко масштабировать под другие задачи и площадки магазина. Компании была нужна система, которая сможет обрабатывать первичные XML-файлы с данными и их синхронизировать их в СУБД максимум за полчаса.
В качестве СУБД Fix Price выбрала сервис ClickHouse, так как это продукт с открытым исходным кодом, с его помощью можно быстро загружать данные и легко генерировать аналитические отчёты, а за счёт сильного сжатия данных можно сберечь место в хранилище. Для экономии средств на покупку и обслуживание серверов компания использовала Yandex Managed Service for ClickHouse, а для анализа и визуализации данных — Yandex DataLens. Проект разрабатывался в сервисе Yandex Cloud Functions, который позволяет запускать код в безопасном и автоматически масштабируемом окружении без создания виртуальных машин.
Так как компания работает с персональными данными, при выборе провайдера свою роль сыграло и то, что инфраструктура Yandex Cloud позволяет хранить данные в соответствии с российскими и международными требованиями безопасности.
Как работает новый сервис
Все XML-файлы, в которых содержится информация о продажах продукта, стоимости, скидках и движении товара, хранятся в Yandex Object Storage. В них содержится информация о продажах продукта, стоимости, скидках и движении товара. Потом они обрабатываются в Yandex Cloud Functions и передаются в Yandex Managed Service for ClickHouse для формирования витрин данных.
Служебная же информация и данные для отправки в мониторинг хранятся в Yandex Managed Service for YDB, а для ее обработки используются Yandex Cloud Monitoring и Yandex Cloud Logging.
Результаты
— Сейчас Fix Price ежедневно может загружать в ClickHouse 10 ГБ данных и более
— Витрины обновляются в 10 раз быстрее, чем раньше, а построение одного аналитического отчёта занимает не более двух секунд. Раньше на эту задачу могло уходить до трех часов
— Время запуска проектов и масштабирования рекламных кампаний сократилось до одного дня
