Илья Е. Data инженер, Middle+

ID 21274
ИЕ
Илья Е.
Мужчина, 40 лет
Россия, Москва, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 14 сентября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
ClickHouse
Elasticsearch
ELKEFK
Grafana
Groovy
Java 11
Maven
NiFi
Oracle
PostgreSQL
Prometheus
Zabbix
Apache AirFlow
Docker
ELK Stack
Git
Hibernate ORM
Kafka
Kibana
Logstash
Python
Spark
Spring Boot
Отрасли
FinTech & Banking
Manufacturing
Знание языков
Английский — B1
Главное о специалисте
Data-инженер с опытом работы более 11 лет. Разрабатывал внутренние микросервисы для взаимодействия с элементами CRM, обеспечивая интеграцию со сторонними API. Создавал механизмы интеграции с внешними системами и API для обмена данными. Внедрял функционал для сбора данных, предварительной фильтрации и последующей визуализации и анализа с помощью ELK. Работал со стеком технологий: Java 11, Maven, Git, Spring Boot, Hibernate ORM, PostgreSQL, Kafka, Docker, ELK Stack (Elasticsearch, Logstash, Kibana). Участвовал в разработке и поддержке внутреннего инструмента маршрутизации данных. Реализовывал Dags на AirFlow для внутренних batch-процессов, взаимодействовал с NiFi через callback. Обогащал данные на основе открытого API ФИАС (КЛАДР) с последующей записью информации в PostgreSQL и построением витрин в ClickHouse. Создавал юнит-тесты c использованием SpringBootTest и TestContainers. Занимался разработкой механизма выявления аномальных ситуаций в потоковых данных. Отслеживал состояние служб и микросервисов с использованием Zabbix, Prometheus с последующей визуализацией в Grafana. Собирал данные с использованием стека EFK (Elasticsearch, Fluentd, Kibana) на основе открытого API IP2Location, IP Vigilante.
Проекты   (11 лет 3 месяца)
Разработка и поддержка внутреннего инструмента маршрутизации данных
Роль
Data инженер
Обязанности
- Реализация Dags на AirFlow для внутренних batch-процессов с использованием следующих операторов: BashOperator, PythonOperator, HTTPOperator, SqlOperator, Sensor - Реализация взаимодействия AirFlow с NiFi через callback (AirFlow – планировщик, NiFi – бэкэнд инструмент) - Обогащение данных на основе открытого API ФИАС (КЛАДР) с последующей записью информации в PostgreSQL и построением витрин в ClickHouse - Разработка и рефакторинг кода внутренней low-code платформы - Создание юнит-тестов c использованием SpringBootTest и TestContainers - Участие в планировании задач и оценке времени на выполнение в рамках Agile-процесса.
Стек специалиста на проекте
PostgreSQL, Git, API, Spring Boot, Spark, ClickHouse, Java 11, TestContainers, Apache AirFlow, Spring Boot Test, Callbacks, NiFi
Отрасль проекта
FinTech & Banking
Период работы
Январь 2024 - Декабрь 2024  (1 год)
Разработка внутренних микросервисов для взаимодействия с элементами CRM
Роль
Data инженер
Обязанности
Задачи: - Разработка микросервисов - Обеспечение интеграции микросервисов со сторонними API - Разработка механизмов интеграции с внешними системами и API для обмена данными - Документирование разработанных решений для удобства поддержки - Уточнение требований бизнес-пользователей - Реализация функционала для сбора данных, предварительной фильтрации и последующей визу-ализации и анализа с помощью ELK. Стек: Java 11, Maven, Git, Spring Boot, Hibernate ORM, PostgreSQL, Kafka, Docker, ELK Stack (Elas-ticsearch, Logstash, Kibana)
Стек специалиста на проекте
PostgreSQL, Git, Docker, Elasticsearch, API, Kibana, Spring Boot, Maven, Hibernate ORM, Microservices, Kafka, Java 11, Logstash, ELK Stack
Отрасль проекта
FinTech & Banking
Период работы
Март 2023 - Декабрь 2023  (10 месяцев)
Разработка механизма выявления аномальных ситуаций в потоковых данных
Роль
Разработчик ПО
Обязанности
- Отслеживание состояния служб и микросервисов с использованием Zabbix, Prometheus (написа-ние выражений на PromQL выражения) с последующей визуализацией в Grafana - Реализация сбора данных с использованием стека EFK (Elasticsearch, Fluentd, Kibana) на основе открытого API IP2Location, IP Vigilante - Построение AdHoc запросов (Spark, Hadoop), где данные находились в виде Parquet-файлов - Создание вложенных запросов ElasticSearch
Стек специалиста на проекте
Elasticsearch, Grafana, Prometheus, Spark, Hadoop, Zabbix
Отрасль проекта
Manufacturing
Период работы
Октябрь 2018 - Март 2023  (4 года 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм, Парт-тайм (20 ч/день)
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Государственный университет (ОрелГТУ)
Специальность
«Факультет прикладной информатики, Инженер»
Завершение учебы
2013 г.

Похожие специалисты

AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+65

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее
E-commerce & Retail • Telecom
СЯ
София Я.
Москва
Data инженер
Senior
3 802,05 Р/час
Apache
Apache AirFlow
Big Data
BigQuery
CI/CD
ClickHouse
Dagster
DBT
Docker
DWH
+30

София — Senior Data инженер из Москвы с опытом работы в отраслях Telecom и E-commerce & Retail. Имеет высшее образование по специальности «бизнес-информатика» с дополнительной специализацией в области биоинформатики. Владеет английским языком на уровне C1. Ключевые навыки: Apache, Apache AirFlow, Big Data, BigQuery, CI/CD, ClickHouse, Dagster, DBT, Docker, DWH, Elasticsearch, Grafana, Groovy, Hadoop, Java, Kafka, Kubernetes, MSSQL, NiFi, Oracle, PostgreSQL, Python, REST API, Scala, Snowflake, Spark, SQL, Vertica, Victoria. Опыт работы на проектах: - Выгрузка данных по мобильным приложениям компании «Билайн». Разработка высокопроизводительных конвейеров данных с использованием Apache NiFi, Spark и Kafka, обрабатывающих до 1 ТБ ежедневно. - Разработка интеграций на проекте «Нефтехим». Создание рабочих процессов ETL на основе метаданных с использованием Apache Airflow и NiFi, интегрирующих REST API и внутренние источники данных. Общая продолжительность работы на проектах — 2 года 3 месяца.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • LifeStyle • Manufacturing • Marketing, Advertising & Design
ДА
Дмитрий А.
Ульяновск
Системный аналитик
Middle
2 697,4 Р/час
Работа с интеграциями
Системная аналитика
UML
Kanban
Визуализация
kanbanflow
office
Разработка
Программное обеспечение
взаимодействие с командой
+59

▶ Ответственность; ▶ Работа в команде; ▶ Автоматизация процессов; ▶ Оптимизация бизнес-процессов; ▶ Системная аналитика; ▶ Написание документации по ГОСТ; ▶ Сбор и описание требований; ▶ Управление проектами; ▶ Опыт преподавания; ▶ Опыт научных исследований; ▶ Опыт публичных выступлений. ▶ Проектирование интерфейсов; ▶ Моделирование и визуализация процессов; ▶ Понимание жизненного цикла разработки ПО; ▶ Опыт управления проектами; ▶ Опыт управления продуктом; ▶ Сбор бизнес-требований; ▶ Разработка технических заданий; ▶ Работа с SQL-запросами; ▶ Навыки разработки модели данных (ER – диаграмм) и проектирования БД; ▶ Использование инструментов Postman, Swagger для работы с API; ▶ Интеграция с помощью REST; ▶ Использование BPMN, UML; ▶ Прототипирование интерфейсов (mobile, web); ▶ Работа с монолитом; ▶ Проведение тестирования реализованной по документам функциональности; ▶ Взаимодействие с командой по scrum, kanban, waterfall; ▶ Знание английского языка.

Подробнее
AI & Robotics • E-commerce & Retail
АС
Артем С.
Тольятти
Backend разработчик
Junior+
357,14 Р/час
PostgreSQL
Git
HTML
CSS
API
SQL
Python
Selenium
REST API
Pytest
+28

Артём — backend-разработчик уровня Junior+ из Тольятти, Россия. Специализируется на веб-программировании, имеет опыт работы с Python, SQL, PostgreSQL, Git, HTML, CSS, Django, Flask, FastAPI, а также с инструментами для работы с данными, такими как Scikit-learn, Numpy и SciPy. Участвовал в разработке трёх проектов в отраслях E-commerce & Retail и AI & Robotics: - Barter Platform: разработал backend веб-приложения на Django для бартерной платформы обмена вещами с RESTful API и функциональностью регистрации пользователей, создания и управления объявлениями. - DBIM_bot: создал Telegram-бот для мониторинга цен на товары Ozon с уведомлениями об изменениях, используя Selenium, aiogram и asyncpg. - Handcrafted: разработал веб-приложение на Django для продажи изделий ручной работы с авторизацией и регистрацией пользователей, каталогом товаров, управлением корзиной и обработкой заказов.

Подробнее