Специалисты

Оркестрация, разработка и мониторинг пайплайнов для загрузки и трансформации данных в центральное хранилище

Сфера деятельности: Gas & Oil Роль: Azure Data Engineer О проекте:. Участник команды, которая ответственная за оркестрацию, разработку и мониторинг пайплайнов для загрузки и трансформации данных в центральное хранилище. В Chevron, на позиции Azure Data Engineer, занимаюсь проектированием и разработкой облачной инфраструктуры для дата-платформы, включая построение и оптимизацию data pipelines в Azure и Databricks, интеграцию различных источников данных, настройку хранилищ (Data Lake, Synapse), а также обеспечение безопасности, отказоустойчивости и автоматизации процессов обработки и аналитики данных. Обязанности: 1. Разрабатывал конвейеры обработки данных с использованием Azure Data Factory (ADF). 2. Разрабатывал и внедрял решения для обработки и аналитики данных на Azure Databricks. 3. Проектировал и создавал хранилища данных на базе Azure Synapse Analytics. 4. Разрабатывал и настраивал системы потоковой обработки данных с использованием Apache Spark и Azure Stream Analytics. 5. Проектировал и управлял дата-озерами на платформе Azure Data Lake Storage. 6. Разрабатывал и внедрял решения для визуализации данных с помощью Power BI.

Azure Data Factory, Azure Databricks, Azure Data Lake, Azure Synapse, Azure Streaming Analytics, Azure DevOps, Spark, Python, SQL, Git, PowerBI

ноябрь 2024 – настоящее время месяцев

Стартап на стадии pre-seed, занимающийся внедрением AI в видеоаналитику

Сфера деятельности: Video Analytics Роль: Data Engineer О проекте: стартап на стадии pre-seed, занимающийся внедрением AI в видеоаналитику. Был единственным Data Engineer в команде, отвечал за весь data pipeline, начиная от data ingestion, заканчивая трансформацией данных исходя из бизнес требований и их визуализацией. Обязанности: 1. Разрабатывал и оптимизировал ETL/ELT-пайплайны с использованием AWS Glue и Kinesis Data Streams. 2. Проектировал и настраивал хранилища данных в AWS RedShift и Athena, оптимизируя производительность запросов. 3. Работал с потоковыми данными, обеспечивая преобразование неструктурированных данных в аналитически полезные форматы. 4. Разрабатывал и внедрял облачную инфраструктуру для обработки данных на AWS. 5. Создавал дашборды и аналитические отчеты для визуализации данных и принятия бизнес-решений. 6. Руководил миграцией с AWS RedShift на Athena для выполнения запросов к данным, что снизило операционные затраты на 40% и улучшило производительность запросов.

Python, AWS RedShift, AWS EC2, AWS Lambda, AWS Athena, AWS QuickSight, SQL, AWS KDS, AWS DynamoDB

Май 2024 – Ноябрь 2024 месяцев

Канадский стартап, занимающийся внедрением AI в здравохранение

Сфера деятельности: HealthTech Startup Роль: Data Engineer О проекте: канадский стартап, занимающийся внедрением AI в здравохранение. Разрабатывал и оптимизировал дата пайплайны, проектировал и внедрял ETL/ELT-процессы. Участвовал в миграции с legacy schema на Databricks Unity Catalog Обязанности: 1. Разрабатывал end-to-end конвейеры обработки медицинских данных с использованием Azure Data Factory для передачи данных внутри инфраструктуры компании. 2. Проектировал и создавал масштабируемые batch-пайплайны в Databricks с использованием Asset Bundles, внедряя CI/CD для автоматизированного тестирования, развертывания и контроля версий. 3. Оптимизировал процессы трансформации данных, создавал и настраивал таблицы Gold Layer в соответствии с бизнес-требованиями. 4. Выполнял миграцию схем данных на Unity Catalog, улучшая управление данными и доступность для команд. 5. Разрабатывал и оптимизировал ETL/ELT-процессы, проектировал архитектуру хранилищ данных в соответствии с принципами Data Warehouse и Data Lake. 6. Работал с оркестраторами (Azure Data Factory), настраивая автоматизированные пайплайны обработки данных.

Azure Data Factory, Azure Databricks, Python, Spark, SQL, DWH, DataLake, CI/CD

декабрь 2022 – июнь 2024 месяцев

Анализ данных клиентов, выявление инсайтов и подготовкой аналитических отчетов.

Сфера деятельности: Marketplaces, E-comm Роль: Data analyst Обязанности: 1. Проводил анализ данных клиентов, выявлял инсайты и формировал аналитические отчеты. 2. Разрабатывал модели машинного обучения (классификация, регрессия) для прогнозирования поведения клиентов. 3. Оптимизировал бизнес-процессы с помощью аналитики 4. Разрабатывал и настраивал дашборды для визуализации данных и поддержки принятия решений. 5. Подготавливал презентации и отчеты для руководства на основе полученных аналитических данных.

Python, SQL, Excel, PowerBI, ML.

маи? 2022 – октябрь 2023 месяцев