Илья Е. Data инженер, Middle+

ID 21274
ИЕ
Илья Е.
Мужчина, 40 лет
Россия, Москва, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 4 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
ClickHouse
Elasticsearch
ELKEFK
Grafana
Groovy
Java 11
Maven
NiFi
Oracle
PostgreSQL
Prometheus
Zabbix
Apache AirFlow
Docker
ELK Stack
Git
Hibernate ORM
Kafka
Kibana
Logstash
Python
Spark
Spring Boot
Отрасли
FinTech & Banking
Manufacturing
Знание языков
Английский — B1
Главное о специалисте
Data-инженер с опытом работы более 11 лет. Разрабатывал внутренние микросервисы для взаимодействия с элементами CRM, обеспечивая интеграцию со сторонними API. Создавал механизмы интеграции с внешними системами и API для обмена данными. Внедрял функционал для сбора данных, предварительной фильтрации и последующей визуализации и анализа с помощью ELK. Работал со стеком технологий: Java 11, Maven, Git, Spring Boot, Hibernate ORM, PostgreSQL, Kafka, Docker, ELK Stack (Elasticsearch, Logstash, Kibana). Участвовал в разработке и поддержке внутреннего инструмента маршрутизации данных. Реализовывал Dags на AirFlow для внутренних batch-процессов, взаимодействовал с NiFi через callback. Обогащал данные на основе открытого API ФИАС (КЛАДР) с последующей записью информации в PostgreSQL и построением витрин в ClickHouse. Создавал юнит-тесты c использованием SpringBootTest и TestContainers. Занимался разработкой механизма выявления аномальных ситуаций в потоковых данных. Отслеживал состояние служб и микросервисов с использованием Zabbix, Prometheus с последующей визуализацией в Grafana. Собирал данные с использованием стека EFK (Elasticsearch, Fluentd, Kibana) на основе открытого API IP2Location, IP Vigilante.
Проекты   (11 лет 3 месяца)
Разработка и поддержка внутреннего инструмента маршрутизации данных
Роль
Data инженер
Обязанности
- Реализация Dags на AirFlow для внутренних batch-процессов с использованием следующих операторов: BashOperator, PythonOperator, HTTPOperator, SqlOperator, Sensor - Реализация взаимодействия AirFlow с NiFi через callback (AirFlow – планировщик, NiFi – бэкэнд инструмент) - Обогащение данных на основе открытого API ФИАС (КЛАДР) с последующей записью информации в PostgreSQL и построением витрин в ClickHouse - Разработка и рефакторинг кода внутренней low-code платформы - Создание юнит-тестов c использованием SpringBootTest и TestContainers - Участие в планировании задач и оценке времени на выполнение в рамках Agile-процесса.
Стек специалиста на проекте
PostgreSQL, Git, API, Spring Boot, Spark, ClickHouse, Java 11, TestContainers, Apache AirFlow, Spring Boot Test, Callbacks, NiFi
Отрасль проекта
FinTech & Banking
Период работы
Январь 2024 - Декабрь 2024  (1 год)
Разработка внутренних микросервисов для взаимодействия с элементами CRM
Роль
Data инженер
Обязанности
Задачи: - Разработка микросервисов - Обеспечение интеграции микросервисов со сторонними API - Разработка механизмов интеграции с внешними системами и API для обмена данными - Документирование разработанных решений для удобства поддержки - Уточнение требований бизнес-пользователей - Реализация функционала для сбора данных, предварительной фильтрации и последующей визу-ализации и анализа с помощью ELK. Стек: Java 11, Maven, Git, Spring Boot, Hibernate ORM, PostgreSQL, Kafka, Docker, ELK Stack (Elas-ticsearch, Logstash, Kibana)
Стек специалиста на проекте
PostgreSQL, Git, Docker, Elasticsearch, API, Kibana, Spring Boot, Maven, Hibernate ORM, Microservices, Kafka, Java 11, Logstash, ELK Stack
Отрасль проекта
FinTech & Banking
Период работы
Март 2023 - Декабрь 2023  (10 месяцев)
Разработка механизма выявления аномальных ситуаций в потоковых данных
Роль
Разработчик ПО
Обязанности
- Отслеживание состояния служб и микросервисов с использованием Zabbix, Prometheus (написа-ние выражений на PromQL выражения) с последующей визуализацией в Grafana - Реализация сбора данных с использованием стека EFK (Elasticsearch, Fluentd, Kibana) на основе открытого API IP2Location, IP Vigilante - Построение AdHoc запросов (Spark, Hadoop), где данные находились в виде Parquet-файлов - Создание вложенных запросов ElasticSearch
Стек специалиста на проекте
Elasticsearch, Grafana, Prometheus, Spark, Hadoop, Zabbix
Отрасль проекта
Manufacturing
Период работы
Октябрь 2018 - Март 2023  (4 года 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм, Парт-тайм (20 ч/день)
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Государственный университет (ОрелГТУ)
Специальность
«Факультет прикладной информатики, Инженер»
Завершение учебы
2013 г.

Похожие специалисты

E-commerce & Retail • Telecom
СЯ
София Я.
Москва
Data инженер
Senior
3 802,05 Р/час
Apache
Apache AirFlow
Big Data
BigQuery
CI/CD
ClickHouse
Dagster
DBT
Docker
DWH
+30

София — Senior Data инженер из Москвы с опытом работы в отраслях Telecom и E-commerce & Retail. Имеет высшее образование по специальности «бизнес-информатика» с дополнительной специализацией в области биоинформатики. Владеет английским языком на уровне C1. Ключевые навыки: Apache, Apache AirFlow, Big Data, BigQuery, CI/CD, ClickHouse, Dagster, DBT, Docker, DWH, Elasticsearch, Grafana, Groovy, Hadoop, Java, Kafka, Kubernetes, MSSQL, NiFi, Oracle, PostgreSQL, Python, REST API, Scala, Snowflake, Spark, SQL, Vertica, Victoria. Опыт работы на проектах: - Выгрузка данных по мобильным приложениям компании «Билайн». Разработка высокопроизводительных конвейеров данных с использованием Apache NiFi, Spark и Kafka, обрабатывающих до 1 ТБ ежедневно. - Разработка интеграций на проекте «Нефтехим». Создание рабочих процессов ETL на основе метаданных с использованием Apache Airflow и NiFi, интегрирующих REST API и внутренние источники данных. Общая продолжительность работы на проектах — 2 года 3 месяца.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
Cloud Services • E-commerce & Retail • LifeStyle
ИИ
Игорь И.
Санкт-Петербург
Data инженер
Lead
5 194,8 Р/час
Agile
AWS
Azure
Big Data
Cassandra
ClickHouse
cloud
Git
Hadoop
Hive
+43

Игорь — опытный data-инженер с семилетним опытом работы в крупных проектах. Он обладает глубокими знаниями и навыками в области Big Data, Hadoop, Spark, Kafka, Cassandra, Clickhouse, Kubernetes, Java, Scala, Python и других технологий. Игорь участвовал в разработке корпоративного хранилища данных для крупного ритейлера, где отвечал за архитектуру системы. Также он руководил сервисной группой дата-инженеров в проекте Detego, занимался поиском специалистов, созданием архитектуры СХД, управлением данными и определением приоритетности задач команды. В качестве ведущего инженера Игорь разрабатывал и поддерживал микросервисное приложение публикации-подписки, а также участвовал в создании платформы данных с нуля для всемирной розничной компании. Кроме того, он работал над проектом по разработке системы Identity Management.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Manufacturing
ИЕ
Илья Е.
Москва
Data инженер
Middle+
3 766,23 Р/час
NiFi
Grafana
ClickHouse
ELKEFK
Spark
Groovy
Zabbix
Elasticsearch
Git
Kibana
+23

Data-инженер с опытом работы более 11 лет. Разрабатывал внутренние микросервисы для взаимодействия с элементами CRM, обеспечивая интеграцию со сторонними API. Создавал механизмы интеграции с внешними системами и API для обмена данными. Внедрял функционал для сбора данных, предварительной фильтрации и последующей визуализации и анализа с помощью ELK. Работал со стеком технологий: Java 11, Maven, Git, Spring Boot, Hibernate ORM, PostgreSQL, Kafka, Docker, ELK Stack (Elasticsearch, Logstash, Kibana). Участвовал в разработке и поддержке внутреннего инструмента маршрутизации данных. Реализовывал Dags на AirFlow для внутренних batch-процессов, взаимодействовал с NiFi через callback. Обогащал данные на основе открытого API ФИАС (КЛАДР) с последующей записью информации в PostgreSQL и построением витрин в ClickHouse. Создавал юнит-тесты c использованием SpringBootTest и TestContainers. Занимался разработкой механизма выявления аномальных ситуаций в потоковых данных. Отслеживал состояние служб и микросервисов с использованием Zabbix, Prometheus с последующей визуализацией в Grafana. Собирал данные с использованием стека EFK (Elasticsearch, Fluentd, Kibana) на основе открытого API IP2Location, IP Vigilante.

Подробнее
LifeStyle • Telecom
ВК
Владислав К.
Пенза
QA ручной
Middle+
2 597,4 Р/час
Тест-дизайн
Регрессионное тестирование
Postman
тестирование SOAP
Базы данных
Написание тест кейсов
Написание тест-планов
DevTools
WSDL
XSD
+38

Владислав — специалист в области ручного тестирования качества программного обеспечения (QA). Его грейд — Middle+. Владеет английским языком на уровне B1. Имеет опыт работы на проектах в отраслях Telecom и LifeStyle. Участвовал в тестировании веб- и мобильных приложений на соответствие техническим заданиям. Проводил функциональное, интеграционное и регрессионное тестирование. Занимался проверкой пользовательского интерфейса на соответствие макетам, тестированием локализации и масштабируемости. Взаимодействовал с командами разработки, контролировал исправление багов. На проекте «МТС. Платформа для аналитики бизнеса и визуализации данных» работал инженером по автотестированию. Настроил этап автотестирования в CI/CD и интеграцию CI/CD с TMS, ускорил выполнение существующих тестов на 60% за счёт рефакторинга, обеспечил покрытие автоматизированными тестами 80% продукта. Также работал инженером по ручному тестированию и автотестированию на проекте «Интерактивная карта ЖКХ». Применял инструменты Fiddler, DevTools, Postman, JMeter, PyCharm+Selenium, SQL, Git. Имеет опыт работы с технологиями Figma, Unity, HTML, CSS, REST API, SoapUI, Swagger.

Подробнее