Алексей Л. Data инженер, Senior

ID 24854
АЛ
Алексей Л.
Мужчина, 37 лет
Россия, Москва, UTC+3
Ставка
3 506,49 Р/час
НДС не облагается
Специалист доступен с 1 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Atlassian
Bash
CI/CD
ClickHouse
Confluence
Docker
DWH ETL
Git
GreenPlum
Hadoop
Hive
Java
Jira
JupyterNoteBook
Kafka
Linux
Python
Scala
Spark
SQL
DWH
ETL
Отрасли
Telecom
Знание языков
Английский — B1
Главное о специалисте
Опыт коммерческой разработки в качестве дата инженера более 5 лет, включая проектирование и реализацию ETL/ELT процессов. Работаю с данными на всех этапах: от проектирования баз данных и написания сложных SQL-запросов. Большая экспертиза в построении витрин на hadoop/spark. Уверенные знания SQL, Java Core, Scala и Python, а также навыки работы с Unix системами. Готов встраиваться в существующие процессы или разрабатывать ETL-решения с нуля.
Проекты   (5 лет 2 месяца)
Билайн
Роль
Ведущий Data Engineer
Обязанности
Проект кастомная сегментация: - миграция расчетов ключевых витрин данных с Oozie на Airflow, обеспечил стабильную работу и сокращение времени обработки данных на 20%. Создание документации. Дальнейшее развитие дагов. - организовал ETL pipeline для создания витрины данных в Clickhouse и Aerospike под нужды заказчика. - провел рефакторинг SQL-скриптов и задач Spark, что улучшило производительность запросов и снизило время выполнения на 25%. - внедрил практику код ревью, что повысило качество кода и снижению количества ошибок в релизах. Обслуживаемые витрины (около 100 штук) привел к единому стилю. - настроил мониторинг расчетов в Grafana, реализовал ежедневный репортинг и алерты по загрузке данных в DWH, повысив прозрачность процессов и сократив время реакции на сбои на 30%. социальный проект поиск пропавших людей: - оптимизировал работу алгоритма поиска пропавших людей, кратно сократив время расчета на каждый случай. Стек: Scala, Python, SQL, Hadoop, Spark, Airflow, Kubernetes, ClickHouse, Aerospike, Postgres
Стек специалиста на проекте
PostgreSQL, SQL, Python, Scala, Grafana, Kubernetes, Spark, ClickHouse, Aerospike, Hadoop, GreenPlum, ETL, DWH, Code Review, Apache AirFlow, Pipline
Отрасль проекта
Telecom
Период работы
Декабрь 2021 - По настоящее время  (3 года 9 месяцев)
Лига Цифровой Экономики
Роль
Data Engineer
Обязанности
Проект ТВ-данные: - разработал и внедрил витрины смотрения ТВ на Hive и Spark, что позволило увеличить ежемесячную выручку заказчику. - настроил мониринг в Grafana по витринам смотрения ТВ, что позволило увеличить качество данных на 35%. Проект миграция на новый кластер: - смигрировал и провел рефакторинг более 150 Spark и SQL расчетов с кластера HDP 2.6 на HDP 3.1, тем самым заказчик вовремя завершил данный проект. - автоматизировал процесс регресс-тестирования для анализа смигрированных данных, что позволило перевести аналитика на другие активности. Проект антифрод: - разработал сервис для выгрузки данных из пользовательского антифрод приложения на SFTP, что обеспечило более быструю и надежную доставку данных. Проект таргертированная реклама: - автоматизировал сбор контактов spark-приложением, заливку в БД postgres и отправку контактов клиенту в колл-центры на емайл, что снизило время выполнения на 50% и улучшило весь процесс. - автоматизированная подготовка выборок скриптами HQL и spark с заливкой результата в БД Oracle, регулярные ручные правки (удаление/изменение диапазона значение, ручная заливка выборок и т.д.) Стек: SQL, Scala, Hadoop, Spark, Oozie, Bash, Jupyter notebook, Kafka, Docker, Dbeaver, Oracle
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Bash, Oracle, Scala, Grafana, DBeaver, Hive, Spark, Hadoop, Kafka, JupyterNoteBook, sftp, oozie
Отрасль проекта
Telecom
Период работы
Июль 2020 - Декабрь 2021  (1 год 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Волгоградский государственный технический университет, Волгоград
Специальность
Факультет подготовки инженерных кадров АСУТП, Специальность – автоматизированные системы обработки информации и управления. Квалификация – инженер – программист
Завершение учебы
2013 г.
Высшее
Учебное заведение
Волгоградский государственный экономико-технический колледж
Специальность
Технический, Специальность – техническое обслуживание вычислительной техники и компьютерных сетей., Квалификация – техник
Завершение учебы
2008 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее

Недавно просмотренные специалисты