Сергей Т. Data инженер, Middle+

ID 28345
СТ
Сергей Т.
Мужчина, 20 лет
Россия, Москва, UTC+3
Ставка
3 596,53 Р/час
вкл. НДС 5% (133.33 Р)
Специалист доступен с 12 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Apache AirFlow
Bitbucket
ClickHouse
Django
Docker
DWH
Git
GreenPlum
Hadoop
HDFS
Hive
hue
Informatica
IPC
JavaScript
Kafka
MapReduce
MySQL
Oracle
Pandas
Pipelines
PostgreSQL
PySpark
Python
Requests
REST
Spark
Spark Streaming
SQL
SQLAlchemy
XML
ETL
Отрасли
FinTech & Banking
Logistics & Transport
Urban technology
Главное о специалисте
Data Engineer с 3-летним опытом работы и 4-летним стажем в IT. Начинал как веб-разработчик на Python/Django/Rest. За это время я успел поработать в 4 компаниях, получив разносторонний опыт в проектировании баз данных, разработке ETL/ELT пайплайнов, управлении и трансформации данных. Привык разбираться в сложных задачах и находить эффективные решения. Я постоянно стремлюсь расширять свои знания и навыки, слежу за новыми тенденциями в области Data Engineering. Умею находить информацию, систематизировать ее и применять на практике. Буду рад достичь новых высот в этой сфере и внести вклад в развитие компании.
Проекты   (3 года 4 месяца)
SberTech
Роль
Data Engineer
Обязанности
- Работал внутри Hadoop системы с HDFS, Hive, Hue - загрузка, извлечение, обработка данных и использованием самописных скриптов и фреймворков на Python с применением Spark, Pandas, Requests; - Работал с потоками извлечения данных и последующей загрузки внутрь основного хранилища на HDFS. Писал им конфигурации, обновлял под INIT и инкрементальную сверки; - Принимал участие в написании фреймворка, который создает директорию с дистрибутивом, содержащим конфигурационные файлы для дальнейшей раскатки потоков, отвечающих за выгрузку данных с Postgre Кластеров внутрь HDFS, с возможностью подключения не только новых реплик, но так же изменения уже существующих; - Занимался созданием реплик основного источника и их сопровождением.
Стек специалиста на проекте
Python, Hive, Spark, Pandas, Requests, HDFS, hue
Отрасль проекта
FinTech & Banking
Период работы
Март 2025 - По настоящее время  (5 месяцев)
Альфа-Банк (Россия)
Роль
Старший Инженер
Обязанности
- Обеспечивал стабильность и надежность ETL-пайплайнов, оперативно отслеживая и устраняя сбои в Airflow и IPC Informatica; - Проводил анализ первопричин проблем в ETL-процессах, разрабатывал и внедрял решения для их предотвращения; - Управлял учетными записями, правами доступа и данными сотрудников банка в базах данных Oracle и GreenPlum, обеспечивая соответствие требованиям безопасности и нормативным требованиям; - Оптимизировал Airflow DAG-и и отдельные задачи (Tasks), работая с запросами данных для повышения производительности и снижения времени выполнения; - Принимал участие в процессе миграции с Oracle на GreenPlum и с IPC Informatica на Airflow, адаптируя и оптимизируя существующие ETL-процессы под новую инфраструктуру; - Разрабатывал и поддерживал витрины данных в DWH.
Стек специалиста на проекте
Oracle, Informatica, Spark, GreenPlum, Apache AirFlow, IPC
Отрасль проекта
FinTech & Banking
Период работы
Декабрь 2024 - Март 2025  (4 месяца)
Brealit
Роль
Разработчик  SQL
Обязанности
- Разрабатывал веб-сервисы для заказчиков в производственной сфере, используя созданные базы данных (PostgreSQL, MySQL) для хранения и обработки информации; - Разрабатывал интуитивно понятный веб-интерфейс для взаимодействия с базами данных, включая отображение данных, настройку видимости информации, реализацию сортировки, добавление кнопок взаимодействия, форм для заполнения таблиц и связей между таблицами; - Участвовал в ETL/ELT процессах в DWH на ClickHouse, используя Airflow DAGs и SQL-запросы для построения витрин данных; - Самостоятельно изучил и освоил SQL Диалект Компании (с неполной документацией), что значительно повысило мои навыки самостоятельного обучения и решения проблем; - Разработал веб-сервис с базой данных для Газпрома, обеспечивая возможность интеграции с DWH и построения аналитических отчетов; - Разрабатывал DWH для компаний заказчиков.
Стек специалиста на проекте
PostgreSQL, MySQL, XML, JavaScript, PHP, SQL, ClickHouse, Apache AirFlow
Отрасль проекта
Urban technology
Период работы
Май 2024 - Декабрь 2024  (8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский политехнический университет
Специальность
Информационные технологии, Автоматизированные системы обработки информации и управления (инженер)
Завершение учебы
2027 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Government & Public Sector • Logistics & Transport • Telecom
АП
Алексей П.
Москва
Бизнес/системный аналитик
Senior
3 275,41 Р/час
Информационные системы
ключ астром
КИС
Grafana
UML
Функциональные требования
MS Windows
Postman
Базы данных
Нефункциональные требования
+70

Способен видеть ситуацию и проблемы в IT как исполнитель, руководитель ИТ, так и со стороны исполнительного, генерального директоров, учредителей. Управление: руководство отделами ИТ - оптимизация штата, ИТ инфраструктуры и сервисов, снижение издержек на ИТ, внедрение безотказности критически важных ИТ сервисов; ведение проектов (PMI, RUP) как инфраструктурных, так и по внедрению ПО. Каскадное и гибкое управление проектами (MS Project, Jira). Проектирование и разработка в условиях неопределённости. Аналитика: описание и оптимизация бизнес - процессов, подготовка ТЗ, смет. Разработка архитектуры программно - аппаратных систем, схем баз и хранилищ данных.

Подробнее