Андрей Л. Инженер БД, Senior

ID 28228
АЛ
Андрей Л.
Мужчина, 27 лет
Россия, Москва, UTC+3
Ставка
4 285,71 Р/час
НДС не облагается
Специалист доступен с 12 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Инженер БД
Грейд
Senior
Навыки
anchor
Ansible
Apache
Apache AirFlow
Apache Spark
Avro
Azure
Bash
Big Data
cdc
ClickHouse
Data
DataLens
datax
debezium
Docker
DWH
Engineering
ETL
event
Git
governance
Grafana
GreenPlum
Grid
Hadoop
HDFS
Hive
hudi
Iceberg
Identity Server
Kafka
Kubernetes
Linux
MinIo
modal
Ni-fi
odi
Oracle
ozon
Pandas
Parquet
PMBOK
PostgreSQL
Prometheus
Python
PyTorch
RabbitMQ
S3
Spark
SQL
streaming
Tableau
Trino
UML
Zabbix
Базы данных
данных
Документальное сопровождение
СУБД
технологии
Форсайт
языки программирования
MS SQL
Отрасли
E-commerce & Retail
Manufacturing
Telecom
Проф. сообщества
Знание языков
Русский — C2
Главное о специалисте
Андрей — инженер баз данных уровня Senior из Москвы с опытом работы в сферах Telecom, Manufacturing и E-commerce & Retail. Специализируется на проектировании и оптимизации хранилищ данных, работе с Big Data и ETL-процессами. Владеет широким спектром технологий и инструментов, включая Apache AirFlow, Apache Spark, Hadoop, PostgreSQL, Oracle, Microsoft SQL Server, ClickHouse, Greenplum и другие. Имеет опыт работы на следующих проектах: - МегаФон: миграция корпоративного хранилища данных, проектирование многоуровневой архитектуры DWH, внедрение практик DataOps. - Тера Интегро: разработка и оптимизация распределённых DWH, создание алерт-систем на базе Zabbix, потоковая обработка данных. - НЛМК: миграция данных, оптимизация PostgreSQL, поддержка проектов и разрешение инцидентов, разработка ETL-процессов. - IQVIA: разработка и оптимизация хранилищ данных, стриминговая обработка данных, моделирование данных, обработка больших данных с использованием Apache Spark.
Проекты   (6 лет 7 месяцев)
МегаФон
Роль
Администратор БД
Обязанности
Описание проекта: Миграция корпоративного хранилища данных (Exadata → Greenplum/ClickHouse + Hadoop) Проектирование многоуровневой архитектуры хранилища DWH Внедрение практик DataOps: мониторинг качества данных, автоматизация тестирования (DBT), рефакторинг legacy-процессов. Задачи: Проведение миграции с Oracle Exadata на современные OLAP-решения: Greenplum (для аналитики) и ClickHouse (высоконагруженные OLAP-сценарии), охлаждение данных в Hadoop. Data Lake на базе Hadoop с интеграцией Trino (ex-Presto SQL) для высокопроизводительных аналитических запросов. Реализация архитектуры DWH на основе Data Vault 2.0 с интеграцией модели SID TM Forum (логическая модель, объекты, правила построения). Автоматизация процессов: генерация логических моделей данных, CI/CD-конвейеры, Change Data Capture (CDC) через IUD-таблицы. Проведение нагрузочного тестирования, определение метрик RTO/RPO, мониторинг производительности кластеров (Prod/DEV/Pre-prod). Работа с С4 нотацией Внедрение Apache Iceberg для управления таблицами в data lake. Настройка бэкапирования DWH на СХД с протоколом S3. Разработка концепции Blue/Green Deployments. Создание масштабируемой слоистой структуры с интеграцией 50+ источников данных. Оптимизация ETL/ELT-процессов через переход с ODI на Airflow и Ni-Fi. Руководство cross-functional командами (5 человек): постановка задач, оценка трудозатрат, приемочное тестирование. Организация архитектурных комитетов: документирование решений, анализ ПАТ, согласование изменений в соответствии с ISO/ТМ Forum. Разработка регламентов эксплуатации хранилища: резервное копирование, восстановление, мониторинг SLA. С MySQL опыт есть, работал с этой базой на своих проектах в сфере обучения IT. Плюс был проект на миграцию маленькой базы MySQL на PostgreSQl через pg_loader Linux - администрирование на уровне настройке сетевых шар, окружений, мониторинг производительности и тд bash - автоматизация процессов сбора данных в рамках мониторинга, кастомные sh скрипты NoSQL - работал только с MongoDB и ElasticSearch IaC - работаю с Ansible, у меня около 100 серверов С базой типа ключ значение не работал - Redis
Достижения
Проект успешно окончен
Стек специалиста на проекте
Oracle, Data, ClickHouse, Hadoop, Data Lake, Clang, GreenPlum, DWH, Apache AirFlow, CI/CD, S3, form, blue/green, deployment, Exadata, Trino, capture, Ni-fi
Отрасль проекта
Telecom
Период работы
Март 2024 - По настоящее время  (1 год 5 месяцев)
Тера Интегро
Роль
Senior Data Engineer
Обязанности
Описание проекта: Разработка и оптимизация распределенных DWH (Greenplum, ClickHouse) Data Lake и гибридные решения Поддержка enterprise-клиентов (Сбербанк, ВТБ, ПСБ) Создание алерт-систем на базе Zabbix для предупреждения аномалий в работе Задачи: Архитектура и сопровождение Greenplum: проектирование кластера, тюнинг производительности (партиционирование, индексы), внедрение Prometheus + Grafana для мониторинга метрик. Создание корпоративного дистрибутива ClickHouse под требования Сбербанка: интеграция шифрования данных (AES-256), настройка репликации (ZooKeeper), разработка мониторинга. Потоковая обработка данных: реализация Spark Streaming (Python/Scala) для ETL-пайплайнов, интеграция с Kafka для обработки событий в реальном времени. Управление большими данными: настройка Spark-джобов для batch-обработки, интеграция с Hadoop (HDFS, YARN) и Trino для кросс-платформенных аналитических запросов. Разработка корпоративных курсов (Тера Интегро): создание программ по Greenplum (администрирование, оптимизация запросов) и ClickHouse (архитектура, шардирование) на платформе Moodle. Премиум-поддержка DWH: аудит производительности кластеров, оптимизация SQL-запросов (EXPLAIN ANALYZE, индексные рекомендации), настройка резервного копирования (pgBackRest, ClickHouse Keeper). Реализация CI/CD для DWH: деплой скриптов с помощью Airflow и GitLab Pipelines. Разработка кастомных дашбордов в Grafana для мониторинга SLA (запросы/сек, нагрузка на CPU, размер партиций).
Достижения
Проект успешно окончен
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Grafana, Kubernetes, Prometheus, Hive, Spark, ClickHouse, Hadoop, Zabbix, GreenPlum, Kafka, Apache AirFlow, HDFS, Trino, streaming
Отрасль проекта
Manufacturing
Период работы
Август 2023 - Март 2024  (8 месяцев)
НЛМК
Роль
Старший разработчик DWH/КХД + DBA
Обязанности
Задачи: 1. Миграция данных: - Руководство проектами по миграции данных, включая планирование и выполнение переноса данных из различных источников в корпоративное хранилище данных. (Корпоративное хранилище - PostreSQL) - Обеспечение целостности и безопасности данных в процессе миграции, использование инструментов для контроля и проверки данных (Оркестрация - Apache Airflow, Apache Ni-Fi). 2. Оптимизация PostgreSQL: - Проведение оптимизации производительности баз данных на платформе PostgreSQL, включая анализ и настройку индексов, написание эффективных SQL-запросов. Рефакторинг легаси кода. - Мониторинг работы баз данных и принятие мер по улучшению производительности. 3. Поддержка проектов и разрешение инцидентов: - Оказание технической поддержки текущим проектам, выявление и решение инцидентов, связанных с функционированием кластера и инструментов для обработки данных. - Реализация корректирующих действий и разработка стратегий для предотвращения повторения проблем. 4. ETL-процессы: - Разработка и внедрение эффективных ETL-процессов для извлечения, преобразования и загрузки данных в хранилище данных, обеспечивая их соответствие требованиям качества данных. - Оптимизация существующих ETL-процессов для повышения эффективности обработки данных. 5. Построение хранилища данных: - Участие в проектировании и реализации архитектуры хранилища данных. - Настройка и оптимизация процессов интеграции с источниками данных. (SAP система) 6. Разработка SQL-скриптов: - Написание и оптимизация SQL-скриптов на уровне функций для автоматизации процессов обработки и анализа данных, включая создание хранимых процедур и функций. - Обеспечение их корректности и производительности через тестирование и отладку. 7. Переносы контуров Airflow: - Осуществление переносов тестовых и производственных контуров с использованием Apache Airflow, включая настройку и управление рабочими процессами ETL. - Поддержание документации и следование практикам DevOps для обеспечения бесперебойной работы. 8. Документирование процессов: - Написание и поддержание документации по проектам и разработанным решениям, включая архитектурные схемы, инструкции по использованию и описания процесса ETL. 9. Тестирование моделей Data Vault и Anchor Model: - Проведение тестирования и оценки моделей Data Vault и Anchor Model в рамках разработки нового корпоративного хранилища данных. 10. Управление командой подрядчиков, написание ТЗ: - Управлял командой Инженеров Данных (2 человека).
Стек специалиста на проекте
PostgreSQL, SQL, Apache, Hadoop, Zabbix, ETL, Kafka, Vault, Apache AirFlow, datax, modal, Ni-fi, anchor
Отрасль проекта
Manufacturing
Период работы
Январь 2022 - Август 2023  (1 год 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Инженер 2021 г.
Образование
Высшее
Учебное заведение
Высшее
Специальность
Инженер
Завершение учебы
2021 г.

Похожие специалисты

Cloud Services • EdTech • Information Security • Logistics & Transport
АБ
Александр Б.
Москва
Инженер БД
Senior
4 025,97 Р/час
.NET Core
ADO.NET
AllFusion ERwin Data Modeler
Angular
Antlr
Apache NiFi
API
ASP.NET
C#
ClickHouse
+39

На данный момент я занимаюсь миграцией базы данных с MSSQL на PostgreSQL, работой с Docker и тестированием API разрабатываемого продукта, а так же дополнением и поддержанием кастомного решения стек: Go / postgres / redis / Kafka / clickhouse / Yandex cloud / nginx / docker / kubernetes / vue3 / nuxt / grafana / Loki / prometius / helm / jsonnet. Мой опыт включает администрирование баз данных, проектирование и оптимизацию структуры базы. Миграции OLAP и OLTP баз данных, в основном с MSSQL/ORACLE на PostgreSQL/Tantor. Я имею навыки анализа запросов, разработки индексов и использования механизма секционирования. Кроме того, я имею опыт настройки планировщика задач и формирования отчетов, а также написания и оптимизации сложных запросов, работа с транзакциями и etc. Спектр моих познаний и задач над которыми я работал очень большой начиная от проектирования, тестирования, оптимизации и заканчивая общением с внешним заказчиком. Я умею работать с различными ресурсами, такими как Github, Gitlab, Docker, Jira, Slack, YouTrack, Confluence, TFS и BI, CI/CD, разворачивание контейнеров Docker, тестирование API при помощи Postman и TypeScript. В области работы с СУБД я имею опыт работы с MSSQL, MySQL, PostgreSQL и T-SQL, PLPGSQL, Clickhouse, Greenplump. Я разрабатывал и настраивал job на MSSQL, а также работал с SSIS. У меня также есть опыт работы с SQL + JSON и XML. Я обладаю пониманием и опытом разработки ETL процессов, написания Merge и работы с Apache Nifi. В области разработки на C# я имею опыт написания приложений на ASP.NET, ASP.NET CORE, Razor Pages, WPF и Windows Form. Я также использую JS в веб-проектах и применяю паттерны проектирования MVC и MVVM. Я знаком с принципами SOLID и использованием ORM Entity Framework. Небольшой опыт разработки на языке Goland. Я также использую Python для визуализации и анализа данных, включая библиотеки numpy, pandas и matplotlib.

Подробнее
AgroTech • Cloud Services • Travel, Hospitality & Restaurant business
МП
Максим П.
Минск
Инженер БД
Middle+
4 545,45 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache NiFi
Apache Spark
athena
AWS
Bash scripting
Bitbucket
ClickHouse
+54

Дата Инженер баз данных с опытом работы более 5 лет. Квалифицированный специалист с обширным опытом работы в области проектирования, разработки и оптимизации решений для обработки и хранения данных. Уверенно использую широкий стек технологий, включая Java, Python, SQL, Apache Airflow, Hadoop, HDFS, Hive, Yandex Cloud и AWS, для реализации сложных проектов и автоматизации процессов. Обладаю навыками разработки и управления крупномасштабными системами, такими как DWH и Data Lake, а также оптимизацией ETL/ELT-процессов для повышения производительности. Внимательно слежу за последними тенденциями в отрасли, что позволяет внедрять инновационные решения для достижения наилучших результатов. Стремлюсь развивать свои компетенции и вносить значительный вклад в реализацию стратегических целей команды и компании.

Подробнее
E-commerce & Retail • FinTech & Banking • Insurance
ВБ
Вадим Б.
Гродно
Инженер БД
Middle+
4 496,1 Р/час
Python
Pandas
SciPy
Scikit-learn
ETL
Apache AirFlow
C#
Java
SQL
Tableau
+46

Разработчик с 5 годами опыта в Data engineering, Data Mining, Data Science и Machine Learning. В настоящее время специализируется на цифровой обработке изображений и анализе данных с использованием Python. Во время учебы в университете входил в состав университетской команды по участию в ICPC. Хорошо знаком со структурами данных, а также алгоритмическим программированием. В своих бакалаврских и магистерских дипломных работах описал идеи решения задач классификации данных с использованием метаэвристических и эволюционных алгоритмов. Обучался на курсах Java EE (Java SE, Spring, Hibernate). Большой опыт работы над задачами классификации изображений, извлечения информации из сложных изображений, классификации данных и обнаружения объектов. Развиты навыки статистического анализа сложных наборов данных и построения прогнозных моделей.

Подробнее
BioTech, Pharma, Health care & Sports • FinTech & Banking • RnD • Social Networking • Urban technology
РФ
Роман Ф.
Воронеж
Инженер БД
Senior
3 064,93 Р/час
Apache AirFlow
Confluence
DBT
Git
GreenPlum
Jira
PostgreSQL
Oracle
SQL
DWH
+59

Он обладает глубокими знаниями и навыками работы с различными технологиями и инструментами, такими как Apache AirFlow, Confluence, DBT, Git, GreenPlum, Jira, PostgreSQL, Oracle, SQL, DWH, C++, PL/SQL Developer, .NET, Entity Framework, NHibernate, C#, Delphi, Atlassian, Visual Studio и другие. На протяжении 10 лет Роман успешно работал на различных проектах в таких отраслях, как FinTech & Banking, Social Networking, Urban technology, BioTech, Pharma, Health care & Sports, RnD. В его портфолио — работа над проектами NDA, разработка MES-систем для НЛМК, преподавание в Воронежском государственном университете, а также проекты для компаний «Здоровый Город» и Bitronica. В качестве старшего разработчика Роман проектировал и сопровождал хранилище данных, разрабатывал механизмы обработки и верификации данных на сервере БД, интегрировал систему с Kafka и PostgreSQL FDW. На проекте для университета он составлял учебные материалы по работе с базами данных и обучал студентов. В НЛМК Роман занимался проектированием MES-системы с нуля, разработкой бизнес-логики, управлением командой разработчиков и поддержкой системы. Для компании «Здоровый город» он разрабатывал и оптимизировал структуру запросов и хранимых процедур в PostgreSQL, портировал проект на Mono и консультировал пользователей. А в Bitronica Роман сопровождал существующие программные продукты и разрабатывал новое ПО.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • Manufacturing • Telecom
АЛ
Андрей Л.
Москва
Инженер БД
Senior
4 285,71 Р/час
Trino
Avro
Grafana
anchor
языки программирования
UML
governance
odi
debezium
ozon
+64

Андрей — инженер баз данных уровня Senior из Москвы с опытом работы в сферах Telecom, Manufacturing и E-commerce & Retail. Специализируется на проектировании и оптимизации хранилищ данных, работе с Big Data и ETL-процессами. Владеет широким спектром технологий и инструментов, включая Apache AirFlow, Apache Spark, Hadoop, PostgreSQL, Oracle, Microsoft SQL Server, ClickHouse, Greenplum и другие. Имеет опыт работы на следующих проектах: - МегаФон: миграция корпоративного хранилища данных, проектирование многоуровневой архитектуры DWH, внедрение практик DataOps. - Тера Интегро: разработка и оптимизация распределённых DWH, создание алерт-систем на базе Zabbix, потоковая обработка данных. - НЛМК: миграция данных, оптимизация PostgreSQL, поддержка проектов и разрешение инцидентов, разработка ETL-процессов. - IQVIA: разработка и оптимизация хранилищ данных, стриминговая обработка данных, моделирование данных, обработка больших данных с использованием Apache Spark.

Подробнее
RnD
АМ
Анна М.
Санкт-Петербург
Java разработчик
Senior
2 324,67 Р/час
PostgreSQL
RabbitMQ
Git
Docker
Java
SQL
Kotlin
Oracle
Spring Boot
Linux
+17

Анна — Java-разработчик уровня Senior из Санкт-Петербурга. Имеет высшее образование по специальности «Программное обеспечение вычислительной техники и автоматизированных систем» и владеет английским языком на уровне C2. Ключевые навыки: Spring Cloud, Java, Git, Oracle, MongoDB, Linux, Kafka, SQL, Docker, Kotlin, Hibernate ORM, Tarantool, Angular, RabbitMQ, React, Spring Boot, PostgreSQL. Опыт работы на проектах: - Разработка приложений с использованием Spring Boot, webflux, микросервисов и распределённых систем. Написание тестов с применением Cucumber, Testcontainers, Gatling. Работа с Java 21, Kotlin, RabbitMQ, Kafka, Postgres, Cassandra, MongoDB. Использование OpenTracing, Grafana. Настройка CI/CD с Jenkins, применение гибких методологий. Участие в код-ревью (2023–2025). - Разработка системы создания заказов и анализа данных для backup окружений my.veeam.com, участие в Backup support проектах (2019–2022). - Разработка Data Protection Advisor — системы мониторинга, анализа и репортинга данных backup окружений (2017–2019). Общая продолжительность работы на проектах — 6 лет 4 месяца.

Подробнее
E-commerce & Retail • EdTech • FinTech & Banking • Government & Public Sector • Realty & Constructoring • Telecom
СИ
Сергей И.
Москва
Golang разработчик
Senior
3 981,88 Р/час
PostgreSQL
RabbitMQ
Git
Docker
Elasticsearch
REST
JavaScript
PHP
Python
MongoDB
+18

Сергей — опытный IT-специалист, специализирующийся на Golang разработке. Он имеет более 10 лет опыта работы в различных проектах, включая FinTech & Banking, Telecom, E-commerce & Retail, EdTech, Government & Public Sector и Realty & Constructoring. Сергей работал над проектами для крупных компаний и организаций, где выполнял задачи по разработке высоконагруженных сервисов, автоматизации модерации рекламы, разработке мобильных приложений и других проектов. В его обязанности входило проектирование и оптимизация схем данных, работа с API и документацией open source проекта, разработка REST-сервисов, проектирование и настройка веб-сокетного гейта, а также техническая поддержка и анализ кода. Он обладает навыками работы с различными технологиями и инструментами, такими как CI/CD, Docker, Elasticsearch, Git, Golang, Grpc, JavaScript, Kubernetes, MongoDB, PHP, PostgreSQL, Python, RabbitMQ, Redis, REST, Swagger, Unix, WebSockets. Также владеет английским языком на уровне C1 (продвинутый). Образование Сергея включает степень магистра в области интеллектуальных кибернетических систем и информатики и вычислительной техники.

Подробнее
Logistics & Transport
ЕФ
Евгений Ф.
Минск
Бизнес/системный аналитик
Senior
3 246,75 Р/час
Работа с интеграциями
UML
Kanban
Разработка
Postman
Базы данных
Camunda
Бизнес-анализ
JSON
REST
+44

Senior Business/System Analyst с 7,5-летним опытом работы в IT.Объединяя сильные технические знания и стратегическое мышление, я помогаю бизнесу трансформировать идеи в эффективные IT-решения. Моя специализация – системный анализ, управление требованиями и API-интеграции. Опыт охватывает различные домены: eCommerce, логистика, фудтех, недвижимость, финтех, HR-tech. Работал как на pre-sale и discovery-фазах, так и в полных циклах разработки продуктов. Владею инструментами: BPMN, UML, SQL, REST API, Camunda, Postman, Jira, Confluence, Axure RP, Figma, Kibana. Мои ключевые навыки:✔ Глубокий анализ бизнес-процессов – выявляю узкие места, оптимизирую и автоматизирую процессы.✔ Прототипирование и UX/UI – создаю понятные и удобные интерфейсы, учитывая пользовательский опыт.✔ API-интеграции и технические решения – описываю спецификации, проектирую взаимодействие между сервисами.✔ Взаимодействие с командой – эффективно коммуницирую с клиентами, разработчиками, дизайнерами и тестировщиками.✔ Agile/Scrum, работа в динамичных средах – адаптируюсь к изменениям, обеспечиваю гибкое управление требованиями. Работал над проектами в различных сферах: eCommerce – внедрение персонализированных систем лояльности, улучшение процессов доставки. Фудтех – разработка платформ для ресторанного бизнеса, оптимизация логистики доставки. Финтех – интеграция платежных сервисов, работа с финансовыми API. HR-tech – создание платформ для автоматизации HR-процессов и найма. Недвижимость – digital-решения для управления недвижимостью и продаж. Работаю на результат: успешно внедрил системы лояльности, улучшил управление доставкой, ускорил pre-sale процесс на 30%, сократил время на API-интеграции на 30%.

Подробнее
EdTech • FinTech & Banking • Insurance • Manufacturing
КБ
Кирилл Б.
Екатеринбург
Системный аналитик
Senior
2 145,08 Р/час
C4
UML
Kanban
JSON API
Postman
Camunda
Scrum
SoapUI
Gradle
SAP
+29

● Построение баз данных с нуля. Создание отдельной БД для дальнейшей интеграции с внешней системой, последующей проектированием API к определенной БД. ● Работал с разными архитектурными паттернами. Монолит и микросервисы, высоконагруженные системы. ● Согласование и оказание влияния на принятие архитектурного решения на проекте. ● Настройка Kafka опосредованно через внутренний интерфейс банковской ОС. ● Работа с банковской спецификой, понимание и опыт работы с требованиями по безопасности и другими особенностями. ● Работа в ядровой команде от деятельности которой зависят действия других команд. ● Трассировка требований к Jira. ● Быстрое погружение в предметную область, работа с бизнесовыми задачами. Построение UML, BPMN, диаграммы классов и тд. ● Опыт работы с интеграцией 1С (бух.учёт). ● Уверенное владение Excel (Сводные таблицы, ВПР, графики и тд). ● Подготовка документации на проектах (ТЗ, ПМИ, функциональные и нефункциональные требования, требования безопасности, бизнесовые и законодательные требования и тд). ● Участие в разработке мобильных приложения. ● Работа с базами данных, СУБД. ● Развитые коммуникативные навыки. ● Аналитическое мышление.

Подробнее