Специалисты

Социальная сеть

Роль в проекте: Data Engineer (Старший) Задачи: • Участие в проекте построения AWS Data LakeHouse решения на основе технологий AWS EMR, AWS Glue, AWS S3, Apache Iceberg, Apache Avro, Apache Parquet и Apache Thrift; • Разработка Apache Airflow DAGs различного уровня сложности в том числе для обогащения данных с помощью библиотеки LangChain и LLM; • Создание пайплайнов данных для Kafka в ClickHouse используя различные движки и возможности Clickhouse; • Лидирование введения инструмента dbt в организации, используя dbt, dbt-clickhouse, Astronomer Cosmos и Apache Airflow. Команда: 5 человек.

Python, AWS, Apache Spark, ClickHouse, Apache Kafka, SQL, Высоконагруженные системы, Apache Airflow, DWH, ETL

Июль 2024 — Май 2025 месяцев

Интернет магазин техники

Роль в проекте: Data Engineer (Старший) Задачи: • Работа с OpenAPI SDK Generator - Разработка системы генерации OpenAPI с нуля используя FastAPI, Google Kubernetes Engine, GCP, что уменьшило время генерации с часов до мгновенной генерации; • Работа с Google Dataflow Pipeline - Разработка Google Dataflow pipeline используя Apache BEAM для парсинга XML CDA файлов и Google BigQuery как DWH storage; • Работа с Apache Airflow - Ведение разработки Apache Airflow новой системы ДАГов, операторов, сенсоров для увеличения скорости разработки - Выполнение миграции 100 Apache Airflow ДАГов с MS SQL и ClickHouse на Greenplum и ClickHouse в заданный срок и бюджет; • LLM, RAG FastAPI ЧатБот - Создание FastAPI бэкенд с LLM RAG для получения информации по патентам и связанных данных из кэшированных, augmented запросов из ElasticSearch. Команда: 2 человека.

LLM, RAG FastAPI

Март 2022 — Февраль 2024 месяцев

Игровые технологии (Крупная игровая компания в России)

Роль в проекте: Data Engineer (Старший) Задачи: • Ведение разработки ДАГов в ETL системе на основе Apache Airflow, Kubernetes, Clickhouse, Minio; • Ведение разработки Big Data / HighLoad пайплайнов, используя Flink, pyFlink, Faust, Apache Kafka, Google Protobufs, GRPC, и ClickHouse; • Разработка 2 сложных парсеров данных в качестве Kubernetes CronJobs; • Разработка от 10 новых ДАГов плюс библиотеки и функции для работы с ними. Команда: 5 человек.

Apache Airflow, Apache Flink, Apache Kafka, Kubernetes, ClickHouse, Python, Pandas, Protobuf

Декабрь 2020 — Март 2022 месяцев

Веб сайт Московской юридическая компании, предоставляющей патенты

Роль в проекте: Фулстек разработчик Задачи: • Обновление legacy сайта, используя Django, DjangoCMS, AngularJS, JQuery, JavaScript, Celery, ElasticSearch, Redis и MySQL; • Повышение производительности путем добавления кэширования, что увеличило доступность сайта в два-три раза по метрикам Google Page Speed (попадение в зеленую зону); • Значительное увеличение скорости поиска путем партиционирования таблиц баз данных; • Автоматизация процесса деплоя путем ввода DevOps практик, в частности создания пайплайна GitLab, Docker образов, что уменьшило время деплоя в десятки раз и устранило ошибки при деплое; • Увеличение скорости получения логов и метрик при ошибках с дней до минут путем ввода ELK стека и мониторинга проблем; • Разработка backend, используя Flask, Celery, Redis, MongoDB, и ElasticSearch; • Добавление CI/CD пайплайнов и ведение метрик и мониторинга. Команда: 4 человека.

Django, REST, Redis, MySQL, Angular, MongoDB, JavaScript, Ansible, Docker, Flask

Апрель 2018 — Ноябрь 2020 месяцев

Разработка программного обеспечения (BCM системы)

Роль в проекте: Фулстек разработчик Задачи: • Перевод версию Python 2 на 3; • Переведение версии Django c 1 на 2; • Создание нескольких фукций, используя Python, Django, JavaScript, Angular, pyTest, Test-Driven Development (TDD), Amazon Web Services (AWS), и CircleCI Команда: 4 человека.

Django, REST, Python, Docker, JavaScript, Angular, Scrum, Agile, Jira, PostgreSQL, Celery, Redis

Январь 2017 — Март 2018 месяцев

Интернет-магазин электрооборудования

Роль в проекте: Фулстек разработчик Задачи: • Разработка, деплой и сопровождение нескольких приложений web и scraping Команда: 1 человек.

Python, Django, Scrapy, SQL и JavaScript

Январь 2016 — Декабрь 2017 месяцев

Авиационный завод

Роль в проекте: Разработчик приложений Задачи: • Разработка SCADA проекта для управления технологическими процессом прогрева деталей; • Завершение несколько приложений для передачи УП (управляющих программ) с компьютеров на станки посредством LPT/COM портов используя Pascal и Assembler; • Написание программы управления станком с помощью платы расширения ISA шины с записью результатов в VESA видео память используя Pascal и Assembler Команда: 5 человека.

Scada, Assembler, Pascal, VESA

Август 2005 — Декабрь 2015 месяцев