Каталог специалистов направления Разработка и ИТ

Ведущий Data Engineer с опытом работы в проектировании ETL-процессов, построении хранилищ данных и реализации CDC-решений. Основные достижения: автоматизация отчетности (ускорение в 6 раз), декомпозиция Hadoop-стека для НЛМК, внедрение real-time загрузки данных и оптимизация рабочих процессов (повышение эффективности в 5 раз). Владеет полным циклом работы с данными: от разработки DAG'ов и витрин до настройки мониторинга. Имеет опыт интеграции с 1С и промышленными системами.

В декабре 2023 закончил курс повышения квалификации (530 часов) в Яндекс.Практикуме на Data-инженера и получил знания по проектированию пайплайнов с помощью методов батчевой и стриминговой обработки данных, и получил опыт работы с инструментами: -Spark Streaming -Apache Spark -Hadoop -Kafka -Docker -MongoDb -Clickhouse На курсе немного не хватало знаний Питона, с января 2024 начал 14 месячное обучение на курсе Python-разрабочик Hard-skills: - экспертный уровень в Power BI (DAX, "M", интеграции с API, 1С) - хороший SQL (DDL, DML, вложенные запросы, оконные функции, CTE и т.п.); - ETL разработка - знание Pentaho DI, Apache Airflow - проектирование, моделирование, построение и администрирование DWH (MSSQL, PostgreSQL, BigQuery, ClickHouse, MongoDB); - базовый уровень Python (Pandas, Numpy, Matplotlib, Scikit-Learn и т.п.); - небольшой опыт работы с Hadoop (HDFS, YARN, MapReduce); - небольшой опыт стриминговой и батчевой обработки данных (Spark, SparkStreaming, Kafka, PySpark, SparkSQL) - визуализация данных в Power BI, Metabase, Grafana - опыт работы с Docker, Git, Jira - хорошие знания в области интернет-маркетинга; - описание бизнес-процессов (нотификация IDF0); Soft-skills: - data-lover, data-driven; - точность в цифрах; - чуткость к инсайдам; - коммуникативность; - дружелюбность; - порядочность; - cамостоятельность; - ответственность; Женат, дочке 12 лет, сыну 4 года. Свободное время стараюсь тратить на семью и на получение новых знаний.

Главное о специалисте Старший инженер-программист и архитектор решений с более чем 20-летним опытом в разработке корпоративных систем, построении аналитических платформ, обработке данных и управлении проектами. Специализация в интеграции больших данных (Big Data), облачных решениях AWS и архитектуре высоконагруженных систем. Ведет разработку от проектирования архитектуры до промышленной эксплуатации. Имеет опыт управления командами разработки и данными, успешно реализовывал проекты в финансовом секторе, телекоммуникациях и системной интеграции. Ключевые навыки Языки: Python, SQL, Java, Scala, Bash Big Data: Hadoop, Spark, Hive, Impala Потоковые данные: Kafka, Spark Streaming Оркестрация: Airflow, Oozie, Kestra Облачные технологии: AWS (S3, Lambda, Redshift, DynamoDB, CDK, boto3) Инфраструктура: Terraform, Docker, Linux Базы данных: PostgreSQL, Snowflake, Neo4j BI-системы: Oracle BI EE DevOps: Mlflow, DBT Портальные решения: MS SharePoint, IBM WebSphere Portal Администрирование кластеров: Hortonworks, Cloudera CDH (установка, настройка, поддержка)

Data Engineer с 3-летним опытом работы и 4-летним стажем в IT. Начинал как веб-разработчик на Python/Django/Rest. За это время я успел поработать в 4 компаниях, получив разносторонний опыт в проектировании баз данных, разработке ETL/ELT пайплайнов, управлении и трансформации данных. Привык разбираться в сложных задачах и находить эффективные решения. Я постоянно стремлюсь расширять свои знания и навыки, слежу за новыми тенденциями в области Data Engineering. Умею находить информацию, систематизировать ее и применять на практике. Буду рад достичь новых высот в этой сфере и внести вклад в развитие компании.

Java-разработчик c 5-летним коммерческим опытом, специализирующийся на разработке высокоуровневых решений, превосходящих ожидания клиентов. Имеет подтвержденный опыт решения сложных задач с применением надежных принципов разработки программного обеспечения. Стремится предоставлять эффективные и надежные решения: от оптимизации производительности кода до обеспечения бесперебойной интеграции. Умеет работать как самостоятельно, так и в составе команды. Обладает сильными коммуникативными навыками.

Роман — Java-разработчик уровня Senior из Санкт-Петербурга. Специализируется на разработке веб- и мобильных приложений. Имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки: Apache, Avro, Bouncy Castle, CI/CD, Confluence, Docker, Erwin, Flink, GitLab, Gradle, GreenPlum, Hibernate, IntelliJ IDEA, Jasper reports, Java, Java 11, JDBC, Jira, JUnit, JWT, Kafka, Kafka Streams, Kubernetes, Linux, Liquibase, Lombok, macOS, Maven, Mockito, MS Windows, OpenAPI, OpenShift, Oracle, PostgreSQL, Postman, REST API, schema registry, SOAP, Spark Streaming, Spring, Spring Boot, SQL, Swagger, Tapestry, Thymeleaf. Имеет опыт работы на следующих проектах: - Разработка веб- и мобильных приложений для юридических лиц в FinTech & Banking. Задачи включали рефакторинг кода, репликацию данных с использованием Kafka, разработку микросервисов, расширение функциональности JWT, формирование PDF-документов, проектирование структуры БД с использованием Liquibase и другие. Достижения: сокращение времени обработки запросов на 30% за счёт оптимизации кода и перехода на микросервисную архитектуру, успешное завершение миграции данных. - Интеграция систем терминалов сбора данных с учётными системами 1С в E-commerce & Retail. Задачи включали поддержку ПО, внедрение CI/CD процессов, unit-тестирование, автоматизацию формирования отчётности, разработку и тестирование веб-сервисов, оптимизацию производительности веб-сервисов и другие. Достижения: успешная интеграция терминалов сбора данных в срок, снижение времени обработки складских операций на 40% после автоматизации процессов.

Гавенко — Java-разработчик уровня Senior из России, имеет высшее образование по специальности кафедры теории упругости и вычислительной математики Донецкого Национального Университета. Специализируется на разработке на Java, обладает глубокими знаниями в области современных технологий и инструментов разработки. Обладает опытом работы на различных проектах в отраслях E-commerce & Retail, HRTech, Manufacturing, AgroTech, GameDev. Участвовал в проектировании и развитии архитектуры приложений, оптимизации запросов к базе данных, разработке интеграций с внешними сервисами, реализации функционала для обработки данных и формирования отчётов. Среди проектов, над которыми работал специалист, можно выделить: - систему управления сотрудниками; - систему проверки навыков соискателей; - платёжную систему; - систему для сопровождения процесса производства металлоконструкций и труб; - backend для биржи игровых ценностей; - приложение для эмуляции ручных действий пользователя в антидетект-браузере; - сервис для анализа уровня синхронизации данных между SAP ERP и IBM Tririga.

Карпунина — Java-разработчик уровня Senior из Ульяновска. Имеет высшее образование по специальности «Прикладные математика и физика» Московского физико-технического института. Владеет английским и немецким языками на уровне C1. Обладает опытом работы на проектах в отраслях Manufacturing, E-commerce & Retail, Telecom. Участвовала в разработке системы для сталелитейной компании, направленной на оптимизацию производственных процессов и управление остатками материалов. Реализовала новые функциональные возможности для улучшения пользовательского опыта в проекте ELO ECM Suite. Разрабатывала backend микросервисы для коммерческого клиентского портала Volkswagen. Участвовала в создании системы sales force automation (SFA) с интеграцией продуктов Outlook. Работала над поддержкой и развитием BSS и OSS систем телекоммуникаций. Ключевые навыки: Avro, CI/CD, Docker, Flink, Git, GreenPlum, Hibernate, IntelliJ IDEA, Java 11, Java 17, JDBC, JPA, JUnit, Kafka, Kafka Streams, Kubernetes, MapStruct, Maven, OpenShift, Oracle, PostgreSQL, REST, schema registry, Spark Streaming, Spring Boot, Spring Core, Spring Data, Spring Web, Swagger. От специалиста: Могу самостоятельно декомпозировать крупную задачу и оценить все в адекватные сроки – не больше 2-3 дней на задачу Могу самостоятельно разработать и защитить архитектуру приложения

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Алексей — Data инженер уровня Middle+ из Москвы. Специализируется на разработке и поддержке систем обработки данных. Имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки: Apache, BPMN, Data Vault 2.0, DWH, ETL/ELT, Kafka, S3, ClickHouse, PySpark, Spark Streaming, построение дашбордов. Участвовал в следующих проектах: - Создание корпоративного хранилища данных (S3 + Apache Iceberg) в FinTech & Banking. Разработал ingest-конвейер Oracle → Kafka → S3 (raw) → Iceberg (curated), реализовал schema evolution и partition pruning в Iceberg, подготовил техническую документацию. - ETL-процессы, DWH и аналитика продаж в E-commerce & Retail. Переписал сложные ETL-процессы, разработал витрины данных в ClickHouse, настроил CI/CD, развернул Docker-окружение, реализовал обработку Kafka-топиков, оркестрировал загрузку данных из различных источников. - Аналитика и автоматизация финансовых процессов в FinTech & Banking. Увеличил конверсию CTR SMS-предложений по кредитам, оптимизировал баннер в мобильном приложении, автоматизировал формирование финансовых отчётов, разработал Power BI-дашборд и realtime Grafana-дашборды. Ключевые навыки: • Хранилища данных (DWH, ODS): опыт построения с нуля, разработка стейджинг-, core- и витринных таблиц, работа с Data Vault 2.0. • S3, Apache Iceberg – работа с данными и хранилищами. • Kafka – интеграция источников, передача данных, обеспечение идемпотентности и надежности доставки. • CDC (Change Data Capture) – настройка на логах БД. • Построение архитектурных схем, проектирование процессов передачи и хранения данных. • Описание архитектурных решений и протоколов работы в случае сбоев (резервные БД, отказоустойчивость). • Подготовка технической документации, включая требования Центробанка. • Схемы взаимодействия таблиц (BPMN, ER-диаграммы).

Имею опыт решения задач с неполным описанием и legacy проектами. Имею опыт проектирования монолитной, микросервисной архитектуры. Имею опыт работы с бизнес движками, проектировал Bpmn-схемами и интеграциями смежных внешних систем. Пишу быстрый, понятный, тестируемый и легко поддерживаемый код. НАВЫКИ И УМЕНИЯ ___________________________ Навыки: Разрабатываю архитектуру микросервисов from scratch Опыт интегрирования с внешними сервисами посредством REST API, Matrix, голосового помощника, сервисами отправки СМС. Опыт работы с инструментами генерации документов, CSV. Участие в декомпозиции и распределении задач внутри команды. Проведение performance, unit, integration, end-to-end тестирования. Проведение код-ревью. Инструментарий: Spring Boot (MVC, Data, Security, State Machine, Cloud) Hibernate, JOOQ, JPA, JDBC, Querydsl, Blazebit PostgreSQL, MySQL, BigQuery Flyway, Liquibase Kafka, RabbitMQ, Redis Docker TestContainers, Kubernetes, Jenkins Lombok, Jackson Firebase, Matrix, Camunda Maven, Gradle Swagger JUnit, Mockito, WireMock, Testcontainers REST, gRPC Прочее: Kotlin Python Linux ___________________________ Самое большое достижение в работе? Развитие продукта и команды в качестве Тимлида. Перевод Backend части продукта на актуальные архитектурные решения. Разработка архитектуры приложений с нуля, постановка и распределение задач, выстраивание бизнес-процессов. ___________________________ Что было бы интересно изучить в перспективе? Реактивные приложения Заинтересован в интересных задачах и проектах Изучение DevOps сферы Изучение high-load projects Изучение Hadoop Реактивное программирование

Андрей — Data инженер уровня Senior из Минска, Беларусь. Специализируется на разработке и оптимизации аналитических платформ и хранилищ данных (DWH). Имеет опыт работы с ETL/ELT-процессами, облачными сервисами AWS, инструментами Apache Airflow, Apache Kafka, Apache Spark, а также с базами данных PostgreSQL, MySQL, Oracle и Snowflake. Участвовал в проектах для отраслей E-commerce & Retail, IoT и Telecom. Среди проектов — разработка аналитической платформы для розничной сети, интеграция данных из CRM, ERP и POS-систем, автоматизация обновления данных и улучшение доступа к аналитике через BI-панели. Также занимался разработкой DWH для IT-компании, преобразованием сырых данных из Data Lake и их интеграцией в DWH для решения ML-задач. Обладает навыками работы с системами контроля версий Git, GitLab, Bitbucket, а также опытом настройки CI/CD-конвейеров. Создавал техническую документацию и сотрудничал с командами аналитиков для согласования решений по обработке данных.