USmall — маркетплейс зарубежных брендов. В каталоге товары 130 крупных ритейлеров: более 6 млн позиций и 10-12 млн вариантов. Каталог, цены и скидки обновляются почти в реальном времени: за это отвечает собственная ИТ-система. Если она останавливается на час, обновление задерживается на шесть — покупатели видят устаревшую информацию.
Что требовалось от инфраструктуры
• Много оперативной памяти. Обработка каталога и цен — memory-intensive нагрузка. Нужны серверы с десятками гигабайт памяти, чтобы запускать сотни задач параллельно.
• Быстрый рост. Команда расширяет каталог на тысячи товарных позиций каждую неделю. Инфраструктура должна масштабироваться за минуты без остановки работы.
• Удобные интерфейсы. Команда работает без DevOps-инженеров — нужен понятный self-service, чтобы команда могла сама настраивать и контролировать ресурсы.
• Скорость поддержки. У предыдущего провайдера ответ на тикет занимал 3-4 дня. Для бизнеса USmall это слишком долго.
Как построено решение
Сервисы обработки данных работают в облачном Managed Kubernetes. Для каждой торговой площадки создан отдельный контур — релизы идут независимо, без влияния друг на друга.
В кластере 13 серверов. В каждом — 32 ядра процессора и 64 ГБ оперативной памяти, отдельные машины масштабируются до 128 ГБ. В пиковые периоды кластер выдает до 450 ядер и около 1 ТБ памяти. Это позволяет стабильно обрабатывать сотни параллельных задач.
Оркестратор работает на мощном выделенном сервере с нестандартной конфигурацией — два процессора по 32 ядра.
Виртуальные серверы используются для тестов, а DBaaS — при разработке новых проектов. Это обеспечивает совместимость с Managed Kubernetes провайдера и позволяет быстро разворачивать прототипы.
Результаты: маркетплейс гибко выдерживает пики нагрузки
• 50 млн HTTP-запросов в день, в период распродаж — до 70 млн. Аптайм ИТ-системы — 99,98%.
• Кластер вырос в два раза. Каждое масштабирование занимает пару минут в панели управления и не требует DevOps-специалистов.
• Затраты на инфраструктуру ниже на 35% при том же объеме и качестве услуг.
В планах расширение Kubernetes-кластера и увеличение ресурсов для оркестратора. Еще один шаг — AI на GPU-инфраструктуре: обучение моделей, интеллектуальный поиск и развитие чат-бота.
«В ИТ нет выходных», — отмечает руководитель отдела Python-разработки USmall Станислав Наумов. По его словам, облачный провайдер должен сочетать надежную инфраструктуру с быстрой поддержкой и удобным интерфейсом, и это напрямую влияет на стабильность бизнеса.
