Специалисты

Система автоматического проектирования жилых комплексов по стандартам строительной компании

Роль в проекте: Data Engineer Задачи: • Поддержка и оптимизация архитектуры Master Data Management (MDM) системы на базе Pimcore, что позволило достичь 90% uptime для системы с 100,000+ объектами данных, критически важных для бизнес-процесса; • Разработка унифицированной онтологии корпоративных данных: создание более 120 связанных классов объектов с атрибутами и связями, позволивших сократить время поиска данных на 40% и устранить повторяющиеся записи; • Автоматизация рабочих процессов с использованием GraphQL API, что позволило сократить время выполнения массовых правок и обновлений в БД в 3 раза, снизив ручной труд с 7 до 1 рабочего дня; • Реализация кастомных ETL-решения на Python: написание скриптов обработки и импорта более 50 Excel-файлов ежедневно с валидацией и трансформацией данных, что позволило снизить количество ошибок на 98%; • Настройка оркестрации ETL-процессов с помощью Apache Airflow, обеспечение автоматизации и мониторинга ежедневных задач обработки данных; • Использование Kafka и RabbitMQ для реализации масштабируемой и отказоустойчивой системы обмена сообщениями, что сократило задержки в обработке данных на 25%; • Управление полным циклом интеграции данных: анализ требований, проектирование структуры, разработка и внедрение — успешное добавление 45 новых типов объектов без простоев системы (0% downtime); • Внедрение Clickhouse для высокоскоростной обработки аналитических запросов, ускорение выполнения сложных аналитических операций на 60%. Команда: 11 человек.

Python, GraphQL, SQL, Pimcore, Excel, JSON, ETL, Data Modeling, Data Integration, REST API, ClickHouse, Apache Airflow, Kafka, RabbitMQ.

Май 2020 — Июнь 2025 месяцев