АЛ
Алексей Л.
Мужчина, 37 лет
Россия, Москва, UTC+3
Ставка
3 506,49 Р/час
НДС не облагается
Специалист доступен с 1 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Опыт коммерческой разработки в качестве дата инженера более 5 лет, включая проектирование и реализацию ETL/ELT процессов. Работаю с данными на всех этапах: от проектирования баз данных и написания сложных SQL-запросов. Большая экспертиза в построении витрин на hadoop/spark. Уверенные знания SQL, Java Core, Scala и Python, а также навыки работы с Unix системами. Готов встраиваться в существующие процессы или разрабатывать ETL-решения с нуля.
Проекты
(5 лет 2 месяца)
Билайн
Роль
Ведущий Data Engineer
Обязанности
Проект кастомная сегментация:
- миграция расчетов ключевых витрин данных с Oozie на Airflow, обеспечил стабильную работу и сокращение времени обработки данных на 20%. Создание документации. Дальнейшее развитие дагов.
- организовал ETL pipeline для создания витрины данных в Clickhouse и Aerospike под нужды заказчика.
- провел рефакторинг SQL-скриптов и задач Spark, что улучшило производительность запросов и снизило время выполнения на 25%.
- внедрил практику код ревью, что повысило качество кода и снижению количества ошибок в релизах. Обслуживаемые витрины (около 100 штук) привел к единому стилю.
- настроил мониторинг расчетов в Grafana, реализовал ежедневный репортинг и алерты по загрузке данных в DWH, повысив прозрачность процессов и сократив время реакции на сбои на 30%.
социальный проект поиск пропавших людей:
- оптимизировал работу алгоритма поиска пропавших людей, кратно сократив время расчета на каждый случай.
Стек: Scala, Python, SQL, Hadoop, Spark, Airflow, Kubernetes, ClickHouse, Aerospike, Postgres
Стек специалиста на проекте
PostgreSQL, SQL, Python, Scala, Grafana, Kubernetes, Spark, ClickHouse, Aerospike, Hadoop, GreenPlum, ETL, DWH, Code Review, Apache AirFlow, Pipline
Отрасль проекта
Telecom
Период работы
Декабрь 2021 - По настоящее время
(3 года 9 месяцев)
Лига Цифровой Экономики
Роль
Data Engineer
Обязанности
Проект ТВ-данные:
- разработал и внедрил витрины смотрения ТВ на Hive и Spark, что позволило увеличить ежемесячную выручку заказчику.
- настроил мониринг в Grafana по витринам смотрения ТВ, что позволило увеличить качество данных на 35%.
Проект миграция на новый кластер:
- смигрировал и провел рефакторинг более 150 Spark и SQL расчетов с кластера HDP 2.6 на HDP 3.1, тем самым заказчик вовремя завершил данный проект.
- автоматизировал процесс регресс-тестирования для анализа смигрированных данных, что позволило перевести аналитика на другие активности.
Проект антифрод:
- разработал сервис для выгрузки данных из пользовательского антифрод приложения на SFTP, что обеспечило более быструю и надежную доставку данных.
Проект таргертированная реклама:
- автоматизировал сбор контактов spark-приложением, заливку в БД postgres и отправку контактов клиенту в колл-центры на емайл, что снизило время выполнения на 50% и улучшило весь процесс.
- автоматизированная подготовка выборок скриптами HQL и spark с заливкой результата в БД Oracle, регулярные ручные правки (удаление/изменение диапазона значение, ручная заливка выборок и т.д.)
Стек: SQL, Scala, Hadoop, Spark, Oozie, Bash, Jupyter notebook, Kafka, Docker, Dbeaver, Oracle
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Bash, Oracle, Scala, Grafana, DBeaver, Hive, Spark, Hadoop, Kafka, JupyterNoteBook, sftp, oozie
Отрасль проекта
Telecom
Период работы
Июль 2020 - Декабрь 2021
(1 год 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Волгоградский государственный технический университет, Волгоград
Специальность
Факультет подготовки инженерных кадров АСУТП, Специальность – автоматизированные системы обработки информации и управления. Квалификация – инженер – программист
Завершение учебы
2013 г.
Высшее
Учебное заведение
Волгоградский государственный экономико-технический колледж
Специальность
Технический, Специальность – техническое обслуживание вычислительной техники и компьютерных сетей., Квалификация – техник
Завершение учебы
2008 г.