Александр К. Data инженер, Senior

ID 28378
АК
Александр К.
Мужчина, 29 лет
Россия, Москва, UTC+3
Ставка
4 155,84 Р/час
НДС не облагается
Специалист доступен с 16 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
BI
Big Data
ClickHouse
Data Analysis
DBT
Docker
DWH
ETL
Grafana
GreenPlum
Hadoop
Kafka
Kubernetes
Linux
PostgreSQL
Prometheus
Python
S3
Spark
SQL
Superset
TeamCity
Сбор и анализ требований
Hive
HDFS
mpp
YAML
Отрасли
FinTech & Banking
Government & Public Sector
Проекты   (6 лет 5 месяцев)
IT_One
Роль
Senior Data Engineer
Обязанности
- Собрал, провел пилот и запустил хранилище данных на архитектуре Data Lakehouse с целью организации надёжной и эффективной аналитической отчётности в интересах заказчика. - Установил контакты с разными группами заинтересованных лиц, собирал и анализировал бизнес-, функциональные и нефункцинальные требования, собрал концептуальную логическую и физическую модели данных. - Организовал автоматизацию ETL-пайплайнов на Airflow, поставку данных из источников через Kafka, - Cпроектировал и контролировал сборку витрин данных на стеке S3 + Hive + Spark + Iceberg + Clickhouse + Superset, реализовав лямбда-архитектуру. - Занимался код-ревью команды. - Wiki в Confluence, трекинг в Jiга.
Стек специалиста на проекте
Jira, Confluence, SQL, Python, Linux, Hive, YAML, Spark, ClickHouse, Hadoop, Data Lake, GreenPlum, ETL, Kafka, Apache AirFlow, S3, HDFS, Superset, Iceberg
Отрасль проекта
Government & Public Sector
Период работы
Ноябрь 2023 - По настоящее время  (1 год 10 месяцев)
ТЕХНОЛОГИИ ОТРАСЛЕВОЙ ТРАНСФОРМАЦИИ
Роль
Senior Data Engineer
Обязанности
- Построил сквозную аналитику по корпоративным продуктам Сбера для оценки эффективности рекламных кампаний. Реализованные задачи: - Руководил процессами по миграции с Teradata. - Провёл полный реинжиниринг КХД. - Руководил внедрением и обучением разработчиков Airflow. - Автоматизировал ЕТL процесс сборки витрин данных по розничным и корпоративным продуктам в аналитической песочнице на PySpark (Airflow + python + spark). - Благодаря обновлению в витринах исторических данных увеличил кол-во успешных сделок по продуктам. - Сократил время выполнения запросов от 5 до 20 раз и уменьшил кол-во строк кода в 5 раз. - Настроил проверку качества данных, внедрив проверки на уровне процедур Greenplum. Каждый день присылается отчет об отклонениях и задержках в загрузке данных на почту. - Увеличил скорость принятия решений и взаимодействия между командами, разработав документацию и UML схемы по витринам данных в Confluence. - Оптимизировал хранение исторических данных, высвободив 300 Тб дискового пространства. - Разработал новый порядок проведения ПСИ и вывода в продакшн. Рабочий процесс: 1. Работаем по спринтам (Сберджайл) 2. wiki в Confluence, трекинг в Jiга 3. Данные храним в Greenplum
Стек специалиста на проекте
Jira, Confluence, SQL, Python, UML, Teradata, Bitbucket, Linux, Jenkins, YAML, Spark, Hadoop, GreenPlum, Wiki, DWH, Apache AirFlow, HDFS, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2019 - Ноябрь 2023  (4 года 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Национальный исследовательский университет «Высшая школа экономики», Москва
Специальность
Факультет компьютерных наук, Прикладная математика и информатика
Завершение учебы
2021 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Insurance • Manufacturing
ЕС
Евгения С.
Гродно
Системный аналитик
Senior
4 371,21 Р/час
Работа с интеграциями
Системная аналитика
UML
axure
PR
Postman
DevTools
XSD
Бизнес-анализ
JSON
+31

Специалист с опытом работы в сфере ИТ уже более семи лет, в течение которых участвовала в разработке трех успешных программных проектов с нуля в таких областях, как финтех, розничная торговля и недвижимость, в командах от 5 до 16 человек. В ходе своей карьеры выполняла несколько кросс-функциональных ролей, таких как менеджер проекта, системный аналитик, бизнес-аналитик, прокси-владелец продукта, с акцентом на аналитические задачи. Обширный опыт в сборе, идентификации, документировании, утверждении и приоритизации различных типов требований, а также в разработке и контроле программных решений и взаимодействий между людьми для их выполнения. Обладает большим опытом в разработке функций продукта с нуля, а также в поддержке и развитии уже работающих продуктов.

Подробнее