АК
Александр К.
Мужчина, 29 лет
Россия, Москва, UTC+3
Ставка
4 155,84 Р/час
НДС не облагается
Специалист доступен с 16 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Проекты
(6 лет 5 месяцев)
IT_One
Роль
Senior Data Engineer
Обязанности
- Собрал, провел пилот и запустил хранилище данных на архитектуре Data Lakehouse с целью
организации надёжной и эффективной аналитической отчётности в интересах заказчика.
- Установил контакты с разными группами заинтересованных лиц, собирал и анализировал
бизнес-, функциональные и нефункцинальные требования, собрал концептуальную
логическую и физическую модели данных.
- Организовал автоматизацию ETL-пайплайнов на Airflow, поставку данных из источников через Kafka,
- Cпроектировал и контролировал сборку витрин данных на стеке S3 + Hive + Spark + Iceberg + Clickhouse + Superset, реализовав лямбда-архитектуру.
- Занимался код-ревью команды.
- Wiki в Confluence, трекинг в Jiга.
Стек специалиста на проекте
Jira, Confluence, SQL, Python, Linux, Hive, YAML, Spark, ClickHouse, Hadoop, Data Lake, GreenPlum, ETL, Kafka, Apache AirFlow, S3, HDFS, Superset, Iceberg
Отрасль проекта
Government & Public Sector
Период работы
Ноябрь 2023 - По настоящее время
(1 год 10 месяцев)
ТЕХНОЛОГИИ ОТРАСЛЕВОЙ ТРАНСФОРМАЦИИ
Роль
Senior Data Engineer
Обязанности
- Построил сквозную аналитику по корпоративным продуктам Сбера для оценки эффективности
рекламных кампаний.
Реализованные задачи:
- Руководил процессами по миграции с Teradata.
- Провёл полный реинжиниринг КХД.
- Руководил внедрением и обучением разработчиков Airflow.
- Автоматизировал ЕТL процесс сборки витрин данных по розничным и корпоративным продуктам в аналитической песочнице на PySpark (Airflow + python + spark).
- Благодаря обновлению в витринах исторических данных увеличил кол-во успешных сделок по продуктам.
- Сократил время выполнения запросов от 5 до 20 раз и уменьшил кол-во строк кода в 5 раз.
- Настроил проверку качества данных, внедрив проверки на уровне процедур Greenplum. Каждый день присылается отчет об отклонениях и задержках в загрузке данных на почту.
- Увеличил скорость принятия решений и взаимодействия между командами, разработав документацию и UML схемы по витринам данных в Confluence.
- Оптимизировал хранение исторических данных, высвободив 300 Тб дискового пространства.
- Разработал новый порядок проведения ПСИ и вывода в продакшн.
Рабочий процесс:
1. Работаем по спринтам (Сберджайл)
2. wiki в Confluence, трекинг в Jiга
3. Данные храним в Greenplum
Стек специалиста на проекте
Jira, Confluence, SQL, Python, UML, Teradata, Bitbucket, Linux, Jenkins, YAML, Spark, Hadoop, GreenPlum, Wiki, DWH, Apache AirFlow, HDFS, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2019 - Ноябрь 2023
(4 года 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Национальный исследовательский университет «Высшая школа экономики», Москва
Специальность
Факультет компьютерных наук, Прикладная математика и информатика
Завершение учебы
2021 г.