Специалисты
Технические компетенции
• Разработка и оптимизация распределенных систем обработки данных (Apache Flink, Spark, Hudi).
• Интеграция с Apache Kafka для потоковой обработки данных.
• Настройка CI/CD пайплайнов и обеспечение тестового покрытия до 80%.
• Оптимизация логических планов и функциональности state backend (Flink, RocksDB).
• Разработка архитектуры сервисов для банковских и облачных платформ.
• Реализация механизмов безопасности (Kerberos) и аудита (log4j2).
• Интеграция с Databricks Delta Lake для облачных решений.
• Разработка и поддержка REST API, работа с СУБД (PostgreSQL, Redis).
• Написание юнит-тестов и оптимизация использования ресурсов.
• Управление командой, распределение задач.
Технические навыки
Языки программирования Java, SQL, Scala, Python (базовый), Groovy (базовый)
Фреймворки и библиотеки Apache Flink, Apache Spark, Apache Hudi, Apache Kafka, Spring Framework, Apache Maven, log4j2
Базы данных PostgreSQL, Redis, HBase, Apache Cassandra, RocksDB
Инструменты Git, IntelliJ IDEA, Jira, Jenkins, Gerrit, Grafana, Prometheus, Swagger/OpenAPI, Hibernate, Unix-системы, LiquiBase
Протоколы и технологии REST API, Hadoop, JDBC, RabbitMQ
Методологии Agile, Scrum
Дополнительно Unit Testing, CI/CD, Big Data, Software Development
Образование 2024: Новосибирский национальный исследовательский государственный университет,
Факультет информационных технологий (аспирантура)
Сбербанк
Роль: Разработчик ПО / Tech Lead (70% разработка, 30% управление командой) Разработка и интеграция сервисов для обработки больших данных с использованием Apache Flink и Kafka. Обязанности: • Проведение сравнительных тестов производительности Spark и Flink на распределенном кластере, определение сценариев использования и необходимых интеграций для Flink. • Интеграция Flink с Kafka для обеспечения потокового источника данных. • Реализация механизма Kerberos для соответствия требованиям безопасности. • Разработка архитектуры решения для предоставления Flink как банковского сервиса. • Реализация плагина log4j2 для Flink для создания формата логов, необходимого для аудита. • Разработка сервиса для подключения аналитиков данных к вычислительным ресурсам (Flink/Trino). • Оптимизация процессов обработки данных и интеграций. • Документирование архитектуры и процессов разработки. • Участие в тестировании и отладке решений. • Управление командой разработчиков, менторство, распределение задач, код ревью. Результаты: • Успешно интегрировал Flink с Kafka, обеспечив стабильную потоковую обработку данных. • Разработал архитектуру сервиса, повысив доступность вычислительных ресурсов для аналитиков. • Реализовал механизм аудита логов, обеспечив соответствие требованиям безопасности.
Java 17/21, HBase, PostgreSQL, Spring Data, Sprint Boot, Spring GPA, Minio, Hadoop, Apache Hadoop, Jenkins, Git, Maven, Gradle, Kubernetes, Grafana, Prometheus, LiquiBase, OpenShift, Docker, Testcontainers, Mockito, JUnit, Swagger/OpenAPI, Hibernate, Unix-системы, Groovy, Apache Flink, Apache Kafka, Java, log4j2, Trino, Kerberos
Ноябрь 2023 — настоящее время месяцев
HUAWEI
Роль: Разработчик ПО Разработка и оптимизация решений для обработки больших данных на платформах Apache Hudi и Apache Flink. Обязанности: • Настройка CI/CD пайплайна и тестового окружения для обеспечения отказоустойчивости, увеличение тестового покрытия до 80%. • Реализация вторичного индекса, ускорившего обработку данных на 31%. • Интеграция Databricks Delta Lake в облачную платформу Huawei для удовлетворения потребностей клиентов. • Оптимизация логического плана Apache Flink, что увеличило производительность заданий с несколькими источниками на 13%. • Реализация механизма приближенной обработки запросов для сокращения использования пространства. • Расширение функциональности state backend Apache Flink для получения дополнительных данных из RocksDB. • Взаимодействие с командами аналитиков и заказчиков для уточнения требований. • Документирование процессов и технических решений. • Проведение код-ревью и тестирование функционала. Результаты: • Ускорил обработку данных на 31% за счет вторичного индекса в Apache Hudi. • Повысил производительность Flink на 13% и сократил затраты на обработку данных. • Успешно интегрировал Delta Lake, обеспечив поддержку клиентских сценариев.
Apache Hudi, Apache Flink, Java, Scala, Databricks Delta Lake, RocksDB, CI/CD, Maven, Git, Redis
Апрель 2019 — Ноябрь 2023 месяца
