Специалисты

Описание

Языки программирования
Основные (специализация) SQL
Python

Фреймворки
Основные Apache Airflow
Apache Kafka
Apache Spark
Debezium

Технологический стек
Разработка PostgreSQL
Greenplum
ClickHouse
Docker
PyCharm
VSCode
Базы данных
Workflow Работа с большими данными и потоковыми процессами
Разработка и настройка ETL/ELT процессов
Образование
2021
Оконченное высшее образование Государственная морская академия им. адмирала С.О. Макарова, Санкт-Петербург
Экономика предприятии? и организации?, Экономика предприятии? и организации?

Опыт
Проект

Проект компании, занимающейся техническим обслуживанием очистных сооружений

Описание

Роль в проекте Data Engineer Команда проекта Data Engineer (2) Описание проекта Занимался автоматизациеи? рабочих процессов Обязанности на проекте Собирать отчеты для представления руководству Следить за работои? коннекторов, дагов Оптимизировать и автоматизировать рабочие процессы Личные результаты Внедрил и настроил kafka и debezium, чем сократил время реакции на аварии?ные ошибки в несколько раз Автоматизировал составление ежемесячных отчетов на airflow, ускорив их составление в 6 раз Спроектировал и настроил streaming загрузку данных из postgres в clickhouse Освободил от лишнеи? рутиннои? работы 12 человек

Технологии

Debezium (Kafka connect), Kafka ? Airflow, Python, Clickhouse, Postgres, Superset, Docker, Docker Compose, Git

Длительность

Декабрь 2021 — Настоящее время месяцев