Сергей Ш. Data инженер, Senior

ID 30693
СШ
Сергей Ш.
Мужчина, 40 лет
Россия, Сергиев Посад , UTC+3
Ставка
4 220,78 Р/час
НДС не облагается
Специалист доступен с 14 сентября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache
Erwin
Microsoft
Ni-fi
open
PostgreSQL
Power BI
SQL
studio
Tableau
Talend
Отрасли
Cloud Services
FinTech & Banking
FoodTech
Manufacturing
Главное о специалисте
Являюсь выпускником Бизнес-информатики НИУ ВШЭ. Дополнительно к основному направлению обучался на майноре ИАД (интеллектуальный анализ данных), в рамках которого изучал и реализовывал на практике методы машинного обучения и анализа данных, также знаком с NLP. Имею опыт разработки проектов на Python/C#. В области баз данных имею опыт как анализа данных, так и разработки полного цикла аналитики: интеграция данных (Talend Open Studio, Apache Ni-Fi), моделирование БД(MS SQL, Erwin), ХД/витрины(PostgreSQL, Erwin), аналитика(Tableau, Power BI). Хорошая математическая подготовка: мат.анализ, дискретная математика, лин.алгебра, теория вероятностей и мат.статистика, экономика. Знаком с бизнес-анализом и юнит-экономикой. Стремлюсь работать и развиваться в области ML и DS, повышать свои профессиональные навыки. От работодателя жду сложные и интересные задачи, а также амбициозный коллектив.
Проекты   (5 лет 6 месяцев)
Bet Boom
Роль
Senior Data Engineer
Обязанности
Разработка DWH для DS-команды, которая занималась построением моделей по оптимизации маркетинговых трат Обязанности: ● Разработка архитектуры и построение хранилища данных (HDFS, PostgreSQL) ● Построение витрин данных ● Построение ETL-процессов (Python, PySpark) ● Оркестрация ETL-процессов (AirFlow, crontab) ● Валидация и проверка качества данных ● Написание тестов (pytest) ● Настройка CI/CD-пайплайнов (gitlab) ● Взаимодействие с командами-заказчиками ● Менторство младших коллег
Достижения
● Поднято DWH с нуля
Стек специалиста на проекте
PostgreSQL, Python, Grafana, Pytest, GitLab, ClickHouse, Hadoop, ETL, Kafka, Crontab, Apache AirFlow, HDFS, Superset, PySpark
Отрасль проекта
Cloud Services
Период работы
Июнь 2024 - Август 2025  (1 год 3 месяца)
Сбер
Роль
Data Engineer
Обязанности
Sber Ads (рекламная платформа) Performance Analytics — Умный Календарь, Аналитика для топов Сбера Команда мониторинга Обязанности: ● Построение ETL-пайплайнов (pyspark, Airflow, HDFS, s3) ● Написание тестов (pytest) ● Проектирование и построение витрин данных ● Вывод моделей в продакшн (ML flow) ● Написание http-сервисов ● Валидация и проверка качества данных ● Интеграция новых источников ● Scrum-мастеринг (2 команды, в общей сложности 14 человек)
Достижения
- Интеграция с командой Amaze Me (перенос расчёта витрин и моделей в их инфру) - Скрам-мастеринг (это больше про софты и сплочение команды)
Стек специалиста на проекте
PostgreSQL, Docker, Linux, Grafana, Pytest, ClickHouse, Hadoop, Базы данных, GreenPlum, Talend, Kafka, Apache AirFlow, S3, HDFS, SSIS, MLflow, Superset, PySpark, streaming, Ni-fi, другие, инструменты
Отрасль проекта
FinTech & Banking
Период работы
Март 2022 - Июнь 2024  (2 года 4 месяца)
Mars
Роль
Data Engineer
Обязанности
Core-команда DWH Обязанности: ● Построение ETL-процессов (spark + Data Factory) ● Проектирование и построение витрин данных ● Валидация и проверка качества данных ● Интеграция новых источников в существующие решения ● Взаимодействие с заказчиками
Достижения
- Перевод витрины со сложным и долгим расчетом метрик на инкрементальную загрузку (с 9 часов время сократилось до 3) - Миграция из Azure-инфры в Яндекс.Облако
Стек специалиста на проекте
SQL, Grafana, Spark, Hadoop, Data Factory, Talend, Kafka, Microsoft, Apache AirFlow, Yandex Cloud, SSIS, Superset, MS SQL, semver, Ni-fi, инструменты
Отрасль проекта
FoodTech
Период работы
Июль 2021 - Март 2022  (9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Национальный исследовательский университет "Высшая школа экономики", Москва
Специальность
Факультет Бизнеса и Менеджмента, Бизнес-информатика
Завершение учебы
2022 г.

Похожие специалисты

Blockchain • FinTech & Banking • FoodTech • Manufacturing
СШ
Сергей Ш.
Москва
Data инженер
Senior
4 415,58 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Archimate
C#
ClickHouse
Erwin
ETL
Grafana
GraphQL
+26

Сергей — Senior Data инженер из Москвы с опытом работы 5 лет 5 месяцев. Специализируется на разработке и поддержке хранилищ данных, построении ETL-процессов и интеграции новых источников данных. Имеет опыт работы с Apache AirFlow, Apache NiFi, Apache Spark, ClickHouse, Erwin, Grafana, GraphQL, Hadoop, Kafka, Machine learning, Microsoft, MS Excel, MySQL, PostgreSQL, Power BI, Python, REST, SQL, Tableau, Teradata. Участвовал в проектах в отраслях Blockchain, FinTech & Banking, FoodTech, Manufacturing. На проекте «Bet Boom» в роли Senior Data Engineer разрабатывал архитектуру и строил хранилище данных (HDFS, PostgreSQL), строил витрины данных, ETL-процессы (Python, PySpark), занимался оркестровкой ETL-процессов (AirFlow, crontab), валидацией и проверкой качества данных, написанием тестов (pytest), настройкой CI/CD-пайплайнов (gitlab). На проекте «Сбер» в роли Data Engineer занимался построением ETL-пайплайнов, написанием тестов, проектированием и построением витрин данных, выводом моделей в продакшн, написанием http-сервисов, валидацией и проверкой качества данных, интеграцией новых источников, скрам-мастерингом. Также работал на проектах Mars и Goodt, где занимался построением ETL-процессов, проектированием и построением витрин данных, интеграцией новых источников, рефакторингом существующих решений, валидацией и проверкой качества данных.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Manufacturing
АБ
Аким Б.
Бишкек
QA авто
Senior
4 110,32 Р/час
Selenium WebDriver
get
AWS
GitLab
MS Windows
Test NG
POST
Postman
delete
Selenium Grid
+53

Опытный старший инженер по автоматизации 5 летним стажем разработки и реализации надёжных решений в области автоматизации. Владение экосистемой Java и такими технологиями, как Selenium, Selenide, Playwright, Spring, Maven, Gradle, TestNG, JUnit 5, Hibernate, JDBC, SQL и RestAssured, позволяет мне внедрять комплексные стратегии тестирования. Мои навыки охватывают различные типы тестирования, включая смоук-тесты, регрессионное тестирование, пользовательское приёмочное тестирование (UAT) и сквозное тестирование (end-to-end). Опыт работы с обязательными требованиями: 1. Знание и понимание теории тестирования Я обладаю фундаментальными знаниями в области теории тестирования, включая понимание различных типов тестирования (функциональное, регрессионное, интеграционное, e2e). На протяжении всех проектов я применяю различные методы тестирования, адаптируя их под требования каждого проекта. 2. Понимание принципа работы HTTP-протокола, принципов REST В ходе тестирования API я использовал основные принципы работы HTTP-протокола, такие как методы запросов (GET, POST, PUT, DELETE), статусы ответов (200, 404, 500 и т. д.), а также принципы REST. Это позволило мне эффективно проверять взаимодействие веб-приложений с серверами и API. 3. Базовые знания SQL Я использовал SQL для проверки данных в базе данных, включая написание запросов для выборки, валидации и проверки данных о транзакциях. Также использовал JDBC для интеграции тестов с базой данных, что позволило автоматизировать проверки. 4. Базовые знания ООП Я применяю принципы объектно-ориентированного программирования в своих проектах для создания поддерживаемых и расширяемых фреймворков. В основном использую эти принципы в проектировании тестовых классов, классов для взаимодействия с API и создания объектов страниц (POM). 5. Умение пользоваться инструментами для работы с HTTP-запросами (Postman, Swagger) Для тестирования API я активно использую Postman и Swagger. В Postman я создаю запросы к API, проверяю ответы и выполняю наг

Подробнее
Cloud Services • Hardware • Telecom
МР
Михаил Р.
Москва
Сервис менеджер
Middle+
1 714,28 Р/час
Confluence
Project management
Power BI
Техническая поддержка
Service desk
Gino
tss
Бизнес-процессы
TCL
clickview
+13

Мой профессиональный путь охватывает различные области IT: от специалиста поддержки до руководителя направления. Способен эффективно управлять сервисами, продуктами и реализовывать технические и стратегические инициативы. Опыт запуска бизнес-процессов с нуля, внедрения инновационных инструментов, реализации сложных многогранных задач. Ключевые навыки: • Project management: разработка стратегии, формирование ТЗ, сбор и управление командой, обучение и мотивация, тестирование, доработка, техническая документация, запуск в работу. • Стратегическое мышление, умение ставить цели и разрабатывать планы их достижения. • Анализ данных и процессов для принятия эффективных решений. • Управление командами, развитие талантов и мотивация сотрудников. • Оптимизация процессов, создание гибких и эффективных решений для повышения качества сервисов. • Инновации и внедрение новых подходов и технологий для укрепления конкурентных преимуществ компании. Как руководитель, стремлюсь к достижению амбициозных целей через стратегическое планирование, эффективное использование ресурсов и развитие команды. Моя цель — создавать инновационную среду, способствующую успеху компании.

Подробнее
BioTech, Pharma, Health care & Sports • FinTech & Banking • Insurance • LifeStyle • Marketing, Advertising & Design • Social Networking • Telecom
ИЮ
Илья Ю.
Калининград
IOS разработчик
Senior
3 211,19 Р/час
акции
Communication
ObjC
UI
IOS
Редизайн
Kanban
SPM
Subversion
GitLab
+107

Илья — опытный iOS-разработчик уровня Senior. Он обладает навыками работы с различными инструментами и технологиями, такими как Swift, Objective-C, Xcode, MVC, MVP, VIPER, RxSwift, swiftUI, Core Data, Realm, MVVM, а также имеет опыт работы с базами данных, сетевыми запросами, REST API, JSON, SSL и другими. Илья участвовал в разработке нескольких проектов для различных отраслей, таких как маркетинг, реклама и дизайн, финтех и банкинг, телеком, социальные сети, биотехнологии, фармацевтика, здравоохранение и спорт, лайфстайл и страхование. В его портфолио есть проекты для Hoff, Alpari Mobile Analytics, Сибур, BIP, Amedia, BetterO, ITV. Gold Rings UK, Millionaire Live и Daofice. На проектах он занимался имплементацией функционала, рефакторингом старого кода, правкой багов, разработкой UI и логики, интеграцией с внешними сервисами и системами управления проектами.

Подробнее