Глеб К. Data инженер, Senior

ID 30056
ГК
Глеб К.
Мужчина, 26 лет
Россия, Москва, UTC+3
Ставка
4 285,71 Р/час
НДС не облагается
Специалист доступен с 16 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache
Apache AirFlow
apache hive
Apache Spark
BI
Big Data
CI/CD
ClickHouse
Confluence
core
Data
Data Analysis
Docker
DWH
ETL
Git
GreenPlum
Hadoop
Iceberg
Jira
JSON
Kafka
Oracle
Parquet
PostgreSQL
Pytest
Python
quality
S3
SAS
SQL
Testing
Trino
XML
Системный анализ
HDFS
Hive
Yarn
dataframe
Spark
Spark SQL
DBT
GitLab
Kubernetes
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B1
Главное о специалисте
В Data с 2021 года, коммерческий опыт Data Engineer более 4 лет. Занимался тестированием ETL процессов, написанием автотестов и инструментов для тестирования в команде из 6 ETL QA инженеров. Занимался разработкой и внедрением фреймворка DQ для проверки качества данных в команде из 13 DQ инженеров. Также разрабатывал ETL процессы для построения витрин для дальнейшего анализа и выявления аномалий при сравнении данных из разных источников. Ключевые навыки: SQL, Python, Apache Spark, Hadoop, S3, Apache Airflow, Parquet, Kafka, ETL, ClickHouse, Trino, Git, CI/CD, Системный анализ, Тестирование (Data Quality), РСУБД (ClickHouse, Greenplum, Oracle, PostgreSQL), XML, JSON, Data Analysis, Big Data, DWH, Docker, Apache Hive, Apache Iceberg, Soda Core, Pytest, BI, SAS, Git, CI/CD, BI, Jira, Confluence
Проекты   (4 года 6 месяцев)
Вайлдберриз, ООО
Роль
Data Engineer
Обязанности
Обязанности: - Сбор требований, анализ данных и написание DQ-тестов - Написание пайплайнов для запуска DQ-тестов, отправки алертов, автосоздания багов и логирования результатов проверок - Написание ETL-процессов для построения витрин - Построение DQ-дашбордов с общими метриками, с метриками для бизнес-направлений на основе результатов тестов - Ведение и заполнение каталога данных - Проведение собеседований на позицию DQ Engineer - Миграция с mongoDB на hdfs+iceberg Достижения: - Описал методологию написания DQ-тестов - деление проверок на группы, на уровни важности, базовые технические проверки и бизнес-проверки; описаны тесты, необходимые для обнаружения аномалий для разного типа данных - Участвовал в создании фрейморка DQ для проверки качества данных, который включал в себя запуск тестов, парсинг и логирование результатов, алертинг, автосоздание багов - Принимал участие в улучшении качества данных для релиза внутреннего сервиса анализа заказов и сессий пользователей - Написал расчет и проверки метрик по кабинету продавца для разных источников по каждой платформе и выявил ежедневную потерю 11% событий - Улучшил качество данных, на которых строится модель расчета оценки времени в пути товаров, что позволило сократить время расчета в среднем на 20% и улучшить точность на 7.6% Основной стек: SQL, Python, Soda Core, Airflow, ClickHouse, Trino, Spark, Hadoop, S3, Kafka, Git, Docker
Стек специалиста на проекте
Git, Docker, SQL, Python, MongoDB, Spark, ClickHouse, Hadoop, Kafka, Apache AirFlow, S3, core, Trino, Iceberg, Data Quality (DQ), soda
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2024 - По настоящее время  (1 год 7 месяцев)
Т-Банк
Роль
Data Engineer
Обязанности
Обязанности: - Обеспечение качества ETL-процессов - Выстраивание и оптимизация процессов обеспечения качества - Автоматизации тестирования сервисов ETL, написание автотестов, DQ-проверок, инструментов и интеграций с другими сервисами, ревью кода - Релизы ETL-процессов на Test и Prod окружения - Поддержка пользователей по CI/CD и по различным тестовым инструментам - Ведение документации и написание инструкций для тестовых инструментов и процесса тестирования - Презентация проектов автоматизации, процессов тестирования на отдел DWH и QA community компании Достижения: - Разработал сервис автотестирования инкрементальной загрузки ETL и интегрировал во внутренний CI/CD инструмент - Разработал DQ-сервис по автоматизации фиксации расхождений в данных и их дальнейшему анализу - Участвовал во внедрении практик 3 Амиго, Shift Left Testing в Batch ETL, сокращении времени тестирования на 60-70%, сокращении потребности в ресурсе QA от 1 QA на 2-3 разработчиков, до 1 QA на 5-6 разработчиков Основной стек: Python, Pytest, SQL, Allure, Git, SAS, Airflow, NIFI, Greenplum, Kafka, Clickhouse, Hadoop, Hive, Oracle, Postgres
Стек специалиста на проекте
PostgreSQL, Git, SQL, Python, Oracle, Allure, Pytest, Hive, ClickHouse, Hadoop, GreenPlum, ETL, Kafka, DWH, Apache AirFlow, CI/CD, SAS, NiFi, Программное обеспечение, shift left
Отрасль проекта
FinTech & Banking
Период работы
Март 2021 - Февраль 2024  (3 года)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
МИРЭА — Российский технологический университет, Москва.
Специальность
Факультет кибернетики, Прикладная математика и информатика.
Завершение учебы
2021 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • GameDev • Government & Public Sector • Insurance • Logistics & Transport • Manufacturing • Telecom
МА
Михаил А.
Нижний Новгород
Java разработчик
Senior
3 376,62 Р/час
паттерны
netflix
Grafana
MySQL5
MariaDB
Keycloack
Redux
Gitlab CI
river
Монолитная архитектура
+79

В разработке на Java более 15 лет. - Языки: Java SE 17 — основной язык, Kotlin – практический опыт разрабтки - Spring: Spring Boot, Spring MVC, Spring Data, Spring Security, Spring WebFlux, Spring Integration - Spring Cloud: Spring Cloud Config, Consul, OpenFeign, Netflix (Eureka, Hystrix, Zuul) - Архитектура: монолитная/микросервисная/SOA архитектуры, проектирование RESTful API, Event-driven Architecture, Domain-Driven Design, паттерны CQRS и Event Sourcing - Highload и Big Data: Kafka, Apache NiFi, Spark, Spark streaming, Apache Ignite, Redis, Elasticsearch, Reactive Programming (WebFlux, Project Reactor) - Базы данных: PostgreSQL, MySQL/MariaDB, Oracle, MongoDB, Cassandra - DevOps и инфраструктура: Docker, Kubernetes, OpenShift, Helm, Terraform, CI/CD Jenkins, GitLab CI, Virtual Box/Vagrant - Мониторинг и логирование: Prometheus, Grafana, Loki, ELK stack - Серверы приложений: Tomcat, Wildfly, Glassfish - Сетевые технологии и безопасность: HTTP/HTTPS, REST, gRPC, SOAP, Rsocket, WebSockets, OAuth2, OpenID Connect, SAML SSO, JWT, Keycloack - Frontend технологии: Angular, React, Vue.js, TypeScript, JavaScript, Webpack, Redux

Подробнее