Иван Б. Data инженер, Senior

ID 32386
ИБ
Иван Б.
Мужчина, 27 лет
Россия, Москва, UTC+3
Ставка
3 636,36 Р/час
НДС не облагается
Специалист доступен с 24 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache Kafka
Big Data
ClickHouse
Docker
DWH
ETL
Git
GitLab
GreenPlum
Hadoop
Hive
Kafka
MySQL
Oracle
Pandas
PostgreSQL
Power BI
Python
Scala
Spark
SQL
Tableau
Teradata
Vertica
Базы данных
данных
Объектно-ориентированное программирование (ООП)
Работа с базами данных
СУБД
Отрасли
Social Networking
Telecom
Проекты   (5 лет 9 месяцев)
Мобильные ТелеСистемы (МТС)
Роль
Data инженер
Обязанности
Проект МТС Data Platform, строили риск-аналитическую экосистему с batch и streaming-витринами. - Использовал Apache NiFi для интеграции внешних источников (API, FTP, файловые потоки) и оркестрации real-time загрузок - Основной язык — Python (PySpark, Airflow, утилиты, API), также применял Scala для Spark Streaming и коннекторов к Kafka - Работал с PostgreSQL (OLTP-метаданные, DQ-результаты, индексы, партиции) и ClickHouse (витрины, TTL, дедупликация, real-time отчёты). - S3 как объектное хранилище для ETL-архивов и ML-моделей. - Работал с Redis, ElasticSearch, MongoDB. - Работал с RabbitMQ для обмена служебными сообщениями между сервисами. - Занимался федеративными запросами через Trino и моделированием витрин в dbt. Реализовывал Data Governance, DQ-чеки, SLA, lineage через DataHub и Atlas. - Практиковал DataOps (CI/CD, GitLab), оркестрацию Spark-джобов в Kubernetes, интеграцию ML-моделей в ETL, подключал BI-инструменты (Superset, Tableau). - Строили распределённые домены данных с единым каталогом и контрактами с помощью Data Mesh/Data Fabric - Проектировал и продуктивизировал корпоративные витрины данных, интегрировал данные из внешних источников, обеспечивая стабильную и безопасную передачу данных. - Разрабатывал прототипы аналитических и ML‑моделей: собирал, очищал и подготавливал данные из разнородных источников, выводил модели в продакшен . - Создавал и автоматизировал ETL‑конвейеры для слоёв RAW, DDS и CDM, оптимизировал производительность и соблюдал внутренние стандарты. - Внедрял практики повышения качества и консистентности данных; строил процессы валидации, мониторинга и тестирования. - Поддерживал и развивал внутреннюю базу знаний и инструменты для работы с данными; консультировал аналитиков и разработчиков.
Стек специалиста на проекте
PostgreSQL, RabbitMQ, Elasticsearch, SQL, Python, Oracle, MongoDB, Scala, GitLab, Hive, ClickHouse, Hadoop, Pandas, GreenPlum, ETL, Apache Spark, Kafka, Tableau, Apache AirFlow, Redis, CI/CD, S3, Apache NiFi, Superset, PySpark, DBT
Отрасль проекта
Telecom
Период работы
Апрель 2022 - По настоящее время  (3 года 7 месяцев)
VK
Роль
Data инженер
Обязанности
- Разрабатывал и оптимизировал ETL‑пайплайны для загрузки данных из Hadoop в Vertica, обеспечивая надёжность и масштабируемость. - Проектировал и поддерживал гибкое хранилище данных на основе Anchor‑модели, что повысило эффективность хранения и обработки данных. - Оркестровал ETL‑процессы в Airflow, автоматизировал мониторинг, управление зависимостями и оповещение об ошибках. - Интегрировал данные из различных источников (БД, API, файловые хранилища), обеспечивал их чистоту и консистентность . - Внедрял механизмы контроля качества и мониторинга метрик; выполнял ad‑hoc запросы и анализ данных по запросу бизнеса. - Разрабатывал аналитические решения и визуализации, помогая бизнесу принимать решения на основе данных. - Технологии: Python, SQL, Apache Spark, Hadoop, Vertica, ClickHouse, Airflow, GitLab.
Стек специалиста на проекте
SQL, Python, GitLab, ClickHouse, Hadoop, Apache Spark, Vertica, Apache AirFlow
Отрасль проекта
Social Networking
Период работы
Февраль 2020 - Март 2022  (2 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Российская академия народного хозяйства и государственной службы при Президенте РФ, Москва
Специальность
Институт экономики, математики и информационных технологий (ЭМИТ), Математические методы в экономике (экономист-математик)
Завершение учебы
2019 г.
Высшее
Учебное заведение
Московский физико-технический институт (Государственный университет), Москва
Специальность
Магистр, Факультет инноваций и высоких технологий, Цифровая экономика (аналитик данных)
Завершение учебы
2022 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • LifeStyle
ИК
Исламидин К.
Алматы
Системный аналитик
Middle+
3 896,1 Р/час
MySQL
JSON
Jira
Confluence
SQL
BPMN
Agile
UML
Figma
Trello
+34

Более 3 лет опыта работы в системном и бизнес-анализе Участие в отраслевых проектах: Fintech, Enterprise Tech, InsurTech Сбор, выявление требований, подготовка и проведение интервью со стейкхолдерами Опыт разработки технических заданий, проектной документации, руководств пользователей, программ и методик испытаний, а также опыт аналитического сопровождения разработки и эксплуатации ПО Проектирование структур БД Прототипирование экранных интерфейсов в специализированном ПО (Figma, Balsamiq) Проектирование и тестирование интеграций посредством REST API (Swagger, Postman) Опыт работы с монолитной и микросервисной архитектурой Разработка тест-кейсов и ручное тестирование ПО Опыт проведения внешних демонстраций продукта, выделение краткосрочных и долгосрочных перспектив развития продукта

Подробнее