ГК
Глеб К.
Мужчина, 26 лет
Россия, Москва, UTC+3
Ставка
4 285,71 Р/час
НДС не облагается
Специалист доступен с 16 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
В Data с 2021 года, коммерческий опыт Data Engineer более 4 лет.
Занимался тестированием ETL процессов, написанием автотестов и инструментов для тестирования в команде из 6 ETL QA инженеров. Занимался разработкой и внедрением фреймворка DQ для проверки качества данных в команде из 13 DQ инженеров. Также разрабатывал ETL процессы для построения витрин для дальнейшего анализа и выявления аномалий при сравнении данных из разных источников.
Ключевые навыки:
SQL, Python, Apache Spark, Hadoop, S3, Apache Airflow, Parquet, Kafka, ETL, ClickHouse, Trino, Git, CI/CD, Системный анализ, Тестирование (Data Quality), РСУБД (ClickHouse, Greenplum, Oracle, PostgreSQL), XML, JSON, Data Analysis, Big Data, DWH, Docker, Apache Hive, Apache Iceberg, Soda Core, Pytest, BI, SAS, Git, CI/CD, BI, Jira, Confluence
Проекты
(4 года 6 месяцев)
Вайлдберриз, ООО
Роль
Data Engineer
Обязанности
Обязанности:
- Сбор требований, анализ данных и написание DQ-тестов
- Написание пайплайнов для запуска DQ-тестов, отправки алертов, автосоздания багов и логирования результатов проверок
- Написание ETL-процессов для построения витрин
- Построение DQ-дашбордов с общими метриками, с метриками для бизнес-направлений на основе результатов тестов
- Ведение и заполнение каталога данных
- Проведение собеседований на позицию DQ Engineer
- Миграция с mongoDB на hdfs+iceberg
Достижения:
- Описал методологию написания DQ-тестов - деление проверок на группы, на уровни важности, базовые технические проверки и бизнес-проверки; описаны тесты, необходимые для обнаружения аномалий для разного типа данных
- Участвовал в создании фрейморка DQ для проверки качества данных, который включал в себя запуск тестов, парсинг и логирование результатов, алертинг, автосоздание багов
- Принимал участие в улучшении качества данных для релиза внутреннего сервиса анализа заказов и сессий пользователей
- Написал расчет и проверки метрик по кабинету продавца для разных источников по каждой платформе и выявил ежедневную потерю 11% событий
- Улучшил качество данных, на которых строится модель расчета оценки времени в пути товаров, что позволило сократить время расчета в среднем на 20% и улучшить точность на 7.6%
Основной стек: SQL, Python, Soda Core, Airflow, ClickHouse, Trino, Spark, Hadoop, S3, Kafka, Git, Docker
Стек специалиста на проекте
Git, Docker, SQL, Python, MongoDB, Spark, ClickHouse, Hadoop, Kafka, Apache AirFlow, S3, core, Trino, Iceberg, Data Quality (DQ), soda
Отрасль проекта
E-commerce & Retail
Период работы
Февраль 2024 - По настоящее время
(1 год 7 месяцев)
Т-Банк
Роль
Data Engineer
Обязанности
Обязанности:
- Обеспечение качества ETL-процессов
- Выстраивание и оптимизация процессов обеспечения качества
- Автоматизации тестирования сервисов ETL, написание автотестов, DQ-проверок, инструментов и интеграций с другими сервисами, ревью кода
- Релизы ETL-процессов на Test и Prod окружения
- Поддержка пользователей по CI/CD и по различным тестовым инструментам
- Ведение документации и написание инструкций для тестовых инструментов и процесса тестирования
- Презентация проектов автоматизации, процессов тестирования на отдел DWH и QA community
компании
Достижения:
- Разработал сервис автотестирования инкрементальной загрузки ETL и интегрировал во внутренний CI/CD инструмент
- Разработал DQ-сервис по автоматизации фиксации расхождений в данных и их дальнейшему анализу
- Участвовал во внедрении практик 3 Амиго, Shift Left Testing в Batch ETL, сокращении времени тестирования на 60-70%, сокращении потребности в ресурсе QA от 1 QA на 2-3 разработчиков, до 1 QA на 5-6 разработчиков
Основной стек: Python, Pytest, SQL, Allure, Git, SAS, Airflow, NIFI, Greenplum, Kafka, Clickhouse, Hadoop, Hive, Oracle, Postgres
Стек специалиста на проекте
PostgreSQL, Git, SQL, Python, Oracle, Allure, Pytest, Hive, ClickHouse, Hadoop, GreenPlum, ETL, Kafka, DWH, Apache AirFlow, CI/CD, SAS, NiFi, Программное обеспечение, shift left
Отрасль проекта
FinTech & Banking
Период работы
Март 2021 - Февраль 2024
(3 года)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
МИРЭА — Российский технологический университет, Москва.
Специальность
Факультет кибернетики, Прикладная математика и информатика.
Завершение учебы
2021 г.