Кейс · Ритейл · BI
Разработка BI-платформы для маркетплейсов
Комплексная платформа бизнес-аналитики для продавцов на маркетплейсах: анализ данных и интерактивные отчёты — миграция с PostgreSQL на ClickHouse с CDC-репликацией без простоев, оптимизация ETL и отчёты с низкой задержкой обновления (до 30 минут).
- Отрасль
- Ритейл · BI
- Наша роль
- Дата-инженер
- Команда проекта
- 2 человек
Технологии
- dbt
- Apache Airflow
- PostgreSQL
- ClickHouse
- GitLab CI/CD
- SQL
- Python
- DataLens
- Grafana
Контекст
Комплексная платформа бизнес-аналитики для анализа данных из различных маркетплейсов и построения интерактивных отчётов.
Проект включал миграцию с Postgres на ClickHouse с одновременной оптимизацией этапов ETL-процессов.
Роль и команда
Роль на проекте — дата-инженер.
Команда: 1 дата-инженер, 1 инженер аналитики.
Что сделали
Оптимизация процессов ETL и оркестрации
- Оптимизация dbt-моделей — добавлены отчёты с низкой задержкой обновления данных (до 30 минут) для оперативного мониторинга показателей маркетплейсов.
- Настройка CDC-репликации из PostgreSQL в ClickHouse с помощью Data Transfer — непрерывная синхронизация данных без простоев в рамках миграции.
- Проектирование и внедрение универсальных сущностей в dbt-моделях для унификации данных с различных маркетплейсов — ускорена разработка новых отчётов и упрощено подключение дополнительных источников.
Миграция BI-системы и оптимизация расходов
- Миграция ключевых отчётов по заказам из DataLens в Grafana — сокращены издержки на лицензии при сохранении интерактивности дашбордов.
Команда на проекте
1 дата-инженер1 инженер аналитики
Нужна такая же экспертиза в команде?
Подберём инженеров под ваш стек и задачи — обсудим за день.