Глеб К. Data инженер, Senior

ID 30056
ГК
Глеб К.
Мужчина, 26 лет
Россия, Москва, UTC+3
Ставка
4 285,71 Р/час
НДС не облагается
Специалист доступен с 2 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache
Apache AirFlow
apache hive
Apache Spark
BI
Big Data
CI/CD
ClickHouse
Confluence
core
Data
Data Analysis
Docker
DWH
ETL
Git
GreenPlum
Hadoop
Iceberg
Jira
JSON
Kafka
Oracle
Parquet
PostgreSQL
Pytest
Python
quality
S3
SAS
SQL
Testing
Trino
XML
Системный анализ
HDFS
Hive
Yarn
dataframe
Spark
Spark SQL
DBT
GitLab
Kubernetes
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B1
Главное о специалисте
В Data с 2021 года, коммерческий опыт Data Engineer более 4 лет. Занимался тестированием ETL процессов, написанием автотестов и инструментов для тестирования в команде из 6 ETL QA инженеров. Занимался разработкой и внедрением фреймворка DQ для проверки качества данных в команде из 13 DQ инженеров. Также разрабатывал ETL процессы для построения витрин для дальнейшего анализа и выявления аномалий при сравнении данных из разных источников. Ключевые навыки: SQL, Python, Apache Spark, Hadoop, S3, Apache Airflow, Parquet, Kafka, ETL, ClickHouse, Trino, Git, CI/CD, Системный анализ, Тестирование (Data Quality), РСУБД (ClickHouse, Greenplum, Oracle, PostgreSQL), XML, JSON, Data Analysis, Big Data, DWH, Docker, Apache Hive, Apache Iceberg, Soda Core, Pytest, BI, SAS, Git, CI/CD, BI, Jira, Confluence
Проекты   (4 года 8 месяцев)
Вайлдберриз, ООО
Роль
Data Engineer
Обязанности
Обязанности: - Сбор требований, анализ данных и написание DQ-тестов - Написание пайплайнов для запуска DQ-тестов, отправки алертов, автосоздания багов и логирования результатов проверок - Написание ETL-процессов для построения витрин - Построение DQ-дашбордов с общими метриками, с метриками для бизнес-направлений на основе результатов тестов - Ведение и заполнение каталога данных - Проведение собеседований на позицию DQ Engineer - Миграция с mongoDB на hdfs+iceberg Достижения: - Описал методологию написания DQ-тестов - деление проверок на группы, на уровни важности, базовые технические проверки и бизнес-проверки; описаны тесты, необходимые для обнаружения аномалий для разного типа данных - Участвовал в создании фрейморка DQ для проверки качества данных, который включал в себя запуск тестов, парсинг и логирование результатов, алертинг, автосоздание багов - Принимал участие в улучшении качества данных для релиза внутреннего сервиса анализа заказов и сессий пользователей - Написал расчет и проверки метрик по кабинету продавца для разных источников по каждой платформе и выявил ежедневную потерю 11% событий - Улучшил качество данных, на которых строится модель расчета оценки времени в пути товаров, что позволило сократить время расчета в среднем на 20% и улучшить точность на 7.6% Основной стек: SQL, Python, Soda Core, Airflow, ClickHouse, Trino, Spark, Hadoop, S3, Kafka, Git, Docker
Стек специалиста на проекте
Git, Docker, SQL, Python, MongoDB, Spark, ClickHouse, Hadoop, Kafka, Apache AirFlow, S3, core, Trino, Iceberg, Data Quality (DQ), soda
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2024 - По настоящее время  (1 год 9 месяцев)
Т-Банк
Роль
Data Engineer
Обязанности
Обязанности: - Обеспечение качества ETL-процессов - Выстраивание и оптимизация процессов обеспечения качества - Автоматизации тестирования сервисов ETL, написание автотестов, DQ-проверок, инструментов и интеграций с другими сервисами, ревью кода - Релизы ETL-процессов на Test и Prod окружения - Поддержка пользователей по CI/CD и по различным тестовым инструментам - Ведение документации и написание инструкций для тестовых инструментов и процесса тестирования - Презентация проектов автоматизации, процессов тестирования на отдел DWH и QA community компании - Cтроили инструмент поверх DBT (добавляли различные операторы, лоадеры, чтобы их можно было встроить в единый ETL процесс) и уже работал с ним. Достижения: - Разработал сервис автотестирования инкрементальной загрузки ETL и интегрировал во внутренний CI/CD инструмент - Разработал DQ-сервис по автоматизации фиксации расхождений в данных и их дальнейшему анализу - Участвовал во внедрении практик 3 Амиго, Shift Left Testing в Batch ETL, сокращении времени тестирования на 60-70%, сокращении потребности в ресурсе QA от 1 QA на 2-3 разработчиков, до 1 QA на 5-6 разработчиков Основной стек: Python, Pytest, SQL, Allure, Git, SAS, Airflow, NIFI, Greenplum, Kafka, Clickhouse, Hadoop, Hive, Oracle, Postgres, DBT
Стек специалиста на проекте
PostgreSQL, Git, SQL, Python, Oracle, Allure, Pytest, Hive, ClickHouse, Hadoop, GreenPlum, ETL, Kafka, DWH, Apache AirFlow, CI/CD, SAS, NiFi, DBT, Программное обеспечение, shift left
Отрасль проекта
FinTech & Banking
Период работы
Март 2021 - Февраль 2024  (3 года)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
МИРЭА — Российский технологический университет, Москва.
Специальность
Факультет кибернетики, Прикладная математика и информатика.
Завершение учебы
2021 г.

Похожие специалисты

Manufacturing • Telecom
ДЧ
Даниил Ч.
Воронеж
Data инженер
Middle+
4 025,97 Р/час
Apache AirFlow
Bitbucket
CI/CD
Confluence
dbs
Docker
Elasticsearch
ETL
GitLab
Grafana
+41

4.5+ лет опыта в роли Data Engineer: проектирование архитектуры, разработка и оптимизация высоконагруженных DWH и ELT/ETL процессов. Опыт с Big Data и потоковой обработкой: реализация пайплайнов на Spark и Flink, обработка десятков ТБ данных в час. Построение DWH с нуля: Wildberries — централизованный DWH для всех бизнес-доменов, включая 50+ интеграций и Clickstream (50+ ТБ/день). Оптимизация производительности: сокращение инцидентов на 90%, ускорение выполнения ETL-процессов в 2 раза, рост доступности данных благодаря внедрению DQ и Data Governance. Работа с распределёнными системами хранения и СУБД: HDFS, Iceberg, Hive, Clickhouse, Greenplum, MongoDB, Oracle, PostgreSQL. Организация интеграций и CDC: внедрение Debezium + Kafka Connect, миграция с Hadoop на Clickhouse (500+ ТБ данных). Опыт менторства и лидерства: наставничество, проведение технических собеседований, обучение команд-заказчиков по работе с ресурсами DWH. Широкий технологический стек: Airflow, Dagster, dbt, Spark, Flink, Kafka, Trino, Kubernetes, Docker, Gitlab CI/CD, OpenMetadata.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+65

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • GameDev • HRTech • RnD • Telecom • Travel, Hospitality & Restaurant business
МБ
Максим Б.
Ростов-на-Дону
QA ручной
Senior
2 954,3 Р/час
Grafana
cluster
PHP
Browser Stack
GitLab
Postman
HTTP
Asana
DevTools
REST
+67

Опыт тестирования 7 лет Опыт работы с инструментами и технологиями: Android Studio, XCode, Charles Proxy, Proxyman, Chrome Dev Tools, Browser Stack, ELK Stack, Kibana, Postman, Swagger, Fiddler, DBeaver, Firebase, Amplitude, Jenkins REST, SOAP, Git, Asana, test flight VSCode, Jira, Confluence, AppCenter Опыт работы с языками: Python, Javascript, SQL, XML Опыт работы с фреймворками: Selenium, Playwright, Allure Навыки: Создание тест-кейсов; Оформление баг-репортов; Анализ логов; Работа с SQL запросами и базами данных; Понимание SDLC, методологий тестирования, принципов тест дизайна; Навыки работы с системами контроля версий; Работа с тестовыми артефактами и подходами тестирования; Составление тест-планов; Создание тест-кейсов и чек-листов; Разработка тестовых сценариев; Оформление баг-репортов; Регрессионное тестирование; Навыки проведения E2E тестов; Навыки организации и планирования процессов тестирования; Опыт проведения интеграционных тестов; Понимание основ клиент-серверной архитектуры; Кроссбраузерное тестирование. Виды тестирования: Дымовое тестирование; Тестирование критического пути; Расширенное тестирование; Тестирование нового функционала; Повторное тестирование; Регрессионное тестирование; Интеграционное тестирование; Системное тестирование; Тестирование документации; Тестирование установки; Тестирование на удобство использования; Тестирование графического интерфейса пользователя; Тестирование совместимости; Тестирование локализации; Кроссплатформенное тестирование; Нагрузочное тестирование.

Подробнее