Специалисты

NDA

Роль: Middle+ Data Engineer Стадия разработки: поддержка для старой + разработка и интеграция новой Описание: Проект АО «Альфа-Банк» — Альфа-Банк, являясь одним из инновационных лидеров на рынке финансовых услуг, предлагает своим клиентам доступ к новым финансовым инструментам – цифровым активам, которые имеют доходность выше, чем у депозитов и отвечают всем современным требованиям безопасности и удобства. Команда: 10 человек (2 backend, 1 architect, 3 dwh, 1 qa, 3 analyst) Обязанности: • Загрузка сырых из систем источников на базе Единой Интеграционной системы в хранилище S3. • Сбор и анализ требований к витринам данных в области Регуляторной и Управленческой отчетности.. • Создание и оптимизация витрин данных в СУБД Oracle и Greenplum • Построение, автоматизация и оптимизация ETLELT-пайплайнов на базе Apache Airflow/Informatica • Консультации и код-ревью младших разработчиков. Интересное: • Перенос регуляторной отчетности на новый стек • Разработал новые управленческие отчеты для бизнес заказчиков • Оптимизировал перегрузку данных. Ускорил перегрузку данных от источника до хранили на 40%. Рефакторинг / разработка нового функционала: 70/100, Архитектурные / фичевые задачи: 40/100

Python, PostgreSQL, Greenplum, Oracle, Apache Airflow, Informatica, Git, Linux, CI/CD, Bash, Jira, Hadoop, Confluence, Docker Compose,JupyterHub,Dataset API, Kafka,Trino, Scala,

январь 2025-по н.в. месяцев

Банковский проект

Роль: Middle+ Data Engineer Стадия разработки: Миграция хранилища на новый стек Описание: Миграция корпоративного хранилища данных с MS SQL/Oracle на стек Arenadata (Greenplum, Clickhouse) Команда: 20 человек (15 разработчики БД, 5 аналитики) Обязанности: · Миграция кода с Microsoft SQL (T-SQL)/ Oracle (PL/SQL) на Arenadata DB (PL/pgSQL). · Оптимизация перенесенных процедур под особенности Greenplum. · Доработка функционала перенесенных процедур. · Конвертация SSIS-пакетов в DAGs Apache Airflow. · Построение и автоматизация ETLELT-пайплайнов на базе Apache Airflow · Постановка целей для команды, участие в планировании и распределении задач. · Сбор и анализ требований к витринам данных в области Управленческой отчетности. · Загрузка сырых данных из систем источников в области Административно-хозяйственных расходов. Интересное: · Осуществил миграцию управленческой отчетности банка на новый импортозамещенный стек. Рефакторинг / разработка нового функционала: 70/100, Архитектурные / Фичевые задачи: 80/100

MS SQL, Oracle, PostgreSQL, Greenplum, SSIS-пакеты, Informatica, Apache Airflow, Python, Jira, Confluence, CI/CD, Docker Compose

январь 2024 – январь 2025 месяцев

Сеть ресторанов быстрого питания,

Роль: Middle Data Engineer Стадия разработки: Миграция на новый стек Описание: Проектирование и разработка корпоративного хранилища данных на базе Greenplum. Команда: 8 человек (1 teamlead, 1 architector, 2 analyst, 2 dwh developer, 2 data-engineer Обязанности: · Сбор и анализ требований бизнес заказчика · Загрузка и обработка данных из различных источников. · Разработка витрин данных · Контроль качества данных. · Построение и автоматизация ETLELT-пайплайнов на базе Apache Airflow. Написание etl процессов на базе Apache Ni-Fi и Apache Flink. · Построение дашбордов на базе PIX BI. Интересное: · Создал новое для заказчика хранилище данных на open-source стеке · Разработал 10 основных дашбордов на российской BI-системе PIX BI Рефакторинг / разработка нового функционала: 90/100, Архитектурные/Фичевые задачи: 70/100

MS SQL, Greenplum, Power BI, PIX BI, SSIS-пакеты, Apache Airflow, Python, Jira, Confluence, GIT, Apache NiFi, Apache Flink,Docker Compose, Apache Spark version 3.+, MongoDB, Spark,Spark Streaming.

сентябрь 2023 – январь 2024 месяцев

Образовательная платформа

Роль: Middle Data Engineer Стадия разработки: поддержка, оптимизация Описание: Российская образовательная платформа, основанная в 2011 году. Специализируется на переподготовке, высшем образовании (совместно с вузами) и дополнительном обучении специалистов в сферах интернет-маркетинга, управления проектами, дизайна и UX, программирования, аналитики и data science и других. Написание, поддержка и оптимизация текущего кода для внутренних бизнес заказчиков платформы. Команда: 4 человек (1 teamlead, 1 analyst, 2 data engineer) Обязанности: · Построение и автоматизация ETLELT-пайплайнов на базе Apache Airflow. · Работа с реляционными базами данных PostgreSQL и MySQL. · Наполнение хранилища данных. · Парсинг информации со сторонних источников. · Рефакторинг кода. Интересное: · Разработал парсер информации о конкурентах. · Автоматизировал загрузку данных в хранилище из внутренних и внешних источников. Рефакторинг / разработка нового функционала: 30/100, Архитектурные/Фичевые задачи: 40/100

PostgreSQL, MySQL, Vertica, Apache Airflow, Python, Selenium, JSON, GIT, Jira (Agile), SLACK.

апрель 2023 – февраль 2024 месяца

Атомная промышленность

Роль: Junior Data Engineer Стадия разработки: Миграция внутреннего ПО на импортозамещенный стек Команда: 10 человек ( 5 dwh-developer, 3 analyst, 1 teamlead) Обязанности: · Работа с реляционной базой данных PostgreSQL. · Автоматизация процессов проектирования. · Разработка проектной и рабочей документации в сфере физической защиты отечественных и зарубежных атомных электростанций. Интересное: · Мигрировал с зарубежного ПО в области документооборота на open-source БД PostgreSQL Рефакторинг / разработка нового функционала: 60/100, Архитектурные/Фичевые задачи: 20/100 Стек: PosthreSQL, Git, Python, Pandas.

PosthreSQL, Git, Python, Pandas.

Июнь 2022 – сентябрь 2023 месяцев

Государственный научно-исследовательский институт

Роль: Лаборант Стадия разработки: Разработка радиоэлектронной системы для БПЛА. Команда: 5 человек ( 3 developer, 2 analyst, 1 teamlead) Обязанности: · Работа с реляционной базой данных PostgreSQL. · Разметка и очистка данных для построения моделей NLP и CV. · Разработка радиоэлектронной системы для БПЛА Интересное: · Разработал опытно-конструкторскую документацию радиоэлектронной системы для БПЛА Рефакторинг / разработка нового функционала: 30/100, Архитектурные/Фичевые задачи: 60/100

PosthreSQL, Git, Python, Pandas.

октябрь 2020 – май 2022 месяцев