Андрей Л. Инженер БД, Senior

ID 28228
АЛ
Андрей Л.
Мужчина, 28 лет
Россия, Москва, UTC+3
Ставка
4 285,71 Р/час
НДС не облагается
Специалист доступен с 12 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Инженер БД
Грейд
Senior
Навыки
anchor
Ansible
Apache
Apache AirFlow
Apache Spark
Avro
Azure
Bash
Big Data
cdc
ClickHouse
Data
DataLens
datax
debezium
Docker
DWH
Engineering
ETL
event
Git
governance
Grafana
GreenPlum
Grid
Hadoop
HDFS
Hive
hudi
Iceberg
Identity Server
Kafka
Kubernetes
Linux
MinIo
modal
Ni-fi
odi
Oracle
ozon
Pandas
Parquet
PMBOK
PostgreSQL
Prometheus
Python
PyTorch
RabbitMQ
S3
Spark
SQL
streaming
Tableau
Trino
UML
Zabbix
Базы данных
данных
Документальное сопровождение
технологии
Форсайт
языки программирования
MS SQL
СУБД
Отрасли
E-commerce & Retail
Manufacturing
Telecom
Проф. сообщества
Знание языков
Русский — C2
Главное о специалисте
Андрей — инженер баз данных уровня Senior из Москвы с опытом работы в сферах Telecom, Manufacturing и E-commerce & Retail. Специализируется на проектировании и оптимизации хранилищ данных, работе с Big Data и ETL-процессами. Владеет широким спектром технологий и инструментов, включая Apache AirFlow, Apache Spark, Hadoop, PostgreSQL, Oracle, Microsoft SQL Server, ClickHouse, Greenplum и другие. Имеет опыт работы на следующих проектах: - МегаФон: миграция корпоративного хранилища данных, проектирование многоуровневой архитектуры DWH, внедрение практик DataOps. - Тера Интегро: разработка и оптимизация распределённых DWH, создание алерт-систем на базе Zabbix, потоковая обработка данных. - НЛМК: миграция данных, оптимизация PostgreSQL, поддержка проектов и разрешение инцидентов, разработка ETL-процессов. - IQVIA: разработка и оптимизация хранилищ данных, стриминговая обработка данных, моделирование данных, обработка больших данных с использованием Apache Spark.
Проекты   (6 лет 10 месяцев)
МегаФон
Роль
Администратор БД
Обязанности
Описание проекта: Миграция корпоративного хранилища данных (Exadata → Greenplum/ClickHouse + Hadoop) Проектирование многоуровневой архитектуры хранилища DWH Внедрение практик DataOps: мониторинг качества данных, автоматизация тестирования (DBT), рефакторинг legacy-процессов. Задачи: Проведение миграции с Oracle Exadata на современные OLAP-решения: Greenplum (для аналитики) и ClickHouse (высоконагруженные OLAP-сценарии), охлаждение данных в Hadoop. Data Lake на базе Hadoop с интеграцией Trino (ex-Presto SQL) для высокопроизводительных аналитических запросов. Реализация архитектуры DWH на основе Data Vault 2.0 с интеграцией модели SID TM Forum (логическая модель, объекты, правила построения). Автоматизация процессов: генерация логических моделей данных, CI/CD-конвейеры, Change Data Capture (CDC) через IUD-таблицы. Проведение нагрузочного тестирования, определение метрик RTO/RPO, мониторинг производительности кластеров (Prod/DEV/Pre-prod). Работа с С4 нотацией Внедрение Apache Iceberg для управления таблицами в data lake. Настройка бэкапирования DWH на СХД с протоколом S3. Разработка концепции Blue/Green Deployments. Создание масштабируемой слоистой структуры с интеграцией 50+ источников данных. Оптимизация ETL/ELT-процессов через переход с ODI на Airflow и Ni-Fi. Руководство cross-functional командами (5 человек): постановка задач, оценка трудозатрат, приемочное тестирование. Организация архитектурных комитетов: документирование решений, анализ ПАТ, согласование изменений в соответствии с ISO/ТМ Forum. Разработка регламентов эксплуатации хранилища: резервное копирование, восстановление, мониторинг SLA. С MySQL опыт есть, работал с этой базой на своих проектах в сфере обучения IT. Плюс был проект на миграцию маленькой базы MySQL на PostgreSQl через pg_loader Linux - администрирование на уровне настройке сетевых шар, окружений, мониторинг производительности и тд bash - автоматизация процессов сбора данных в рамках мониторинга, кастомные sh скрипты NoSQL - работал только с MongoDB и ElasticSearch IaC - работаю с Ansible, у меня около 100 серверов С базой типа ключ значение не работал - Redis
Достижения
Проект успешно окончен
Стек специалиста на проекте
Oracle, Data, ClickHouse, Hadoop, Data Lake, Clang, GreenPlum, DWH, Apache AirFlow, CI/CD, S3, form, blue/green, deployment, Exadata, Trino, capture, Ni-fi
Отрасль проекта
Telecom
Период работы
Март 2024 - По настоящее время  (1 год 8 месяцев)
Тера Интегро
Роль
Senior Data Engineer
Обязанности
Описание проекта: Разработка и оптимизация распределенных DWH (Greenplum, ClickHouse) Data Lake и гибридные решения Поддержка enterprise-клиентов (Сбербанк, ВТБ, ПСБ) Создание алерт-систем на базе Zabbix для предупреждения аномалий в работе Задачи: Архитектура и сопровождение Greenplum: проектирование кластера, тюнинг производительности (партиционирование, индексы), внедрение Prometheus + Grafana для мониторинга метрик. Создание корпоративного дистрибутива ClickHouse под требования Сбербанка: интеграция шифрования данных (AES-256), настройка репликации (ZooKeeper), разработка мониторинга. Потоковая обработка данных: реализация Spark Streaming (Python/Scala) для ETL-пайплайнов, интеграция с Kafka для обработки событий в реальном времени. Управление большими данными: настройка Spark-джобов для batch-обработки, интеграция с Hadoop (HDFS, YARN) и Trino для кросс-платформенных аналитических запросов. Разработка корпоративных курсов (Тера Интегро): создание программ по Greenplum (администрирование, оптимизация запросов) и ClickHouse (архитектура, шардирование) на платформе Moodle. Премиум-поддержка DWH: аудит производительности кластеров, оптимизация SQL-запросов (EXPLAIN ANALYZE, индексные рекомендации), настройка резервного копирования (pgBackRest, ClickHouse Keeper). Реализация CI/CD для DWH: деплой скриптов с помощью Airflow и GitLab Pipelines. Разработка кастомных дашбордов в Grafana для мониторинга SLA (запросы/сек, нагрузка на CPU, размер партиций).
Достижения
Проект успешно окончен
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Grafana, Kubernetes, Prometheus, Hive, Spark, ClickHouse, Hadoop, Zabbix, GreenPlum, Kafka, Apache AirFlow, HDFS, Trino, streaming
Отрасль проекта
Manufacturing
Период работы
Август 2023 - Март 2024  (8 месяцев)
НЛМК
Роль
Старший разработчик DWH/КХД + DBA
Обязанности
Задачи: 1. Миграция данных: - Руководство проектами по миграции данных, включая планирование и выполнение переноса данных из различных источников в корпоративное хранилище данных. (Корпоративное хранилище - PostreSQL) - Обеспечение целостности и безопасности данных в процессе миграции, использование инструментов для контроля и проверки данных (Оркестрация - Apache Airflow, Apache Ni-Fi). 2. Оптимизация PostgreSQL: - Проведение оптимизации производительности баз данных на платформе PostgreSQL, включая анализ и настройку индексов, написание эффективных SQL-запросов. Рефакторинг легаси кода. - Мониторинг работы баз данных и принятие мер по улучшению производительности. 3. Поддержка проектов и разрешение инцидентов: - Оказание технической поддержки текущим проектам, выявление и решение инцидентов, связанных с функционированием кластера и инструментов для обработки данных. - Реализация корректирующих действий и разработка стратегий для предотвращения повторения проблем. 4. ETL-процессы: - Разработка и внедрение эффективных ETL-процессов для извлечения, преобразования и загрузки данных в хранилище данных, обеспечивая их соответствие требованиям качества данных. - Оптимизация существующих ETL-процессов для повышения эффективности обработки данных. 5. Построение хранилища данных: - Участие в проектировании и реализации архитектуры хранилища данных. - Настройка и оптимизация процессов интеграции с источниками данных. (SAP система) 6. Разработка SQL-скриптов: - Написание и оптимизация SQL-скриптов на уровне функций для автоматизации процессов обработки и анализа данных, включая создание хранимых процедур и функций. - Обеспечение их корректности и производительности через тестирование и отладку. 7. Переносы контуров Airflow: - Осуществление переносов тестовых и производственных контуров с использованием Apache Airflow, включая настройку и управление рабочими процессами ETL. - Поддержание документации и следование практикам DevOps для обеспечения бесперебойной работы. 8. Документирование процессов: - Написание и поддержание документации по проектам и разработанным решениям, включая архитектурные схемы, инструкции по использованию и описания процесса ETL. 9. Тестирование моделей Data Vault и Anchor Model: - Проведение тестирования и оценки моделей Data Vault и Anchor Model в рамках разработки нового корпоративного хранилища данных. 10. Управление командой подрядчиков, написание ТЗ: - Управлял командой Инженеров Данных (2 человека).
Стек специалиста на проекте
PostgreSQL, SQL, Apache, Hadoop, Zabbix, ETL, Kafka, Vault, Apache AirFlow, datax, modal, Ni-fi, anchor
Отрасль проекта
Manufacturing
Период работы
Январь 2022 - Август 2023  (1 год 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Дипломы и сертификаты
Инженер 2021 г.
Образование
Высшее
Учебное заведение
Высшее
Специальность
Инженер
Завершение учебы
2021 г.

Похожие специалисты

Cloud Services • EdTech • Information Security • Logistics & Transport
АБ
Александр Б.
Москва
Инженер БД
Senior
4 025,97 Р/час
.NET Core
ADO.NET
AllFusion ERwin Data Modeler
Angular
Antlr
Apache NiFi
API
ASP.NET
C#
ClickHouse
+39

На данный момент я занимаюсь миграцией базы данных с MSSQL на PostgreSQL, работой с Docker и тестированием API разрабатываемого продукта, а так же дополнением и поддержанием кастомного решения стек: Go / postgres / redis / Kafka / clickhouse / Yandex cloud / nginx / docker / kubernetes / vue3 / nuxt / grafana / Loki / prometius / helm / jsonnet. Мой опыт включает администрирование баз данных, проектирование и оптимизацию структуры базы. Миграции OLAP и OLTP баз данных, в основном с MSSQL/ORACLE на PostgreSQL/Tantor. Я имею навыки анализа запросов, разработки индексов и использования механизма секционирования. Кроме того, я имею опыт настройки планировщика задач и формирования отчетов, а также написания и оптимизации сложных запросов, работа с транзакциями и etc. Спектр моих познаний и задач над которыми я работал очень большой начиная от проектирования, тестирования, оптимизации и заканчивая общением с внешним заказчиком. Я умею работать с различными ресурсами, такими как Github, Gitlab, Docker, Jira, Slack, YouTrack, Confluence, TFS и BI, CI/CD, разворачивание контейнеров Docker, тестирование API при помощи Postman и TypeScript. В области работы с СУБД я имею опыт работы с MSSQL, MySQL, PostgreSQL и T-SQL, PLPGSQL, Clickhouse, Greenplump. Я разрабатывал и настраивал job на MSSQL, а также работал с SSIS. У меня также есть опыт работы с SQL + JSON и XML. Я обладаю пониманием и опытом разработки ETL процессов, написания Merge и работы с Apache Nifi. В области разработки на C# я имею опыт написания приложений на ASP.NET, ASP.NET CORE, Razor Pages, WPF и Windows Form. Я также использую JS в веб-проектах и применяю паттерны проектирования MVC и MVVM. Я знаком с принципами SOLID и использованием ORM Entity Framework. Небольшой опыт разработки на языке Goland. Я также использую Python для визуализации и анализа данных, включая библиотеки numpy, pandas и matplotlib.

Подробнее
AgroTech • Cloud Services • Travel, Hospitality & Restaurant business
МП
Максим П.
Минск
Инженер БД
Middle+
4 545,45 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache NiFi
Apache Spark
athena
AWS
Bash scripting
Bitbucket
ClickHouse
+54

Дата Инженер баз данных с опытом работы более 5 лет. Квалифицированный специалист с обширным опытом работы в области проектирования, разработки и оптимизации решений для обработки и хранения данных. Уверенно использую широкий стек технологий, включая Java, Python, SQL, Apache Airflow, Hadoop, HDFS, Hive, Yandex Cloud и AWS, для реализации сложных проектов и автоматизации процессов. Обладаю навыками разработки и управления крупномасштабными системами, такими как DWH и Data Lake, а также оптимизацией ETL/ELT-процессов для повышения производительности. Внимательно слежу за последними тенденциями в отрасли, что позволяет внедрять инновационные решения для достижения наилучших результатов. Стремлюсь развивать свои компетенции и вносить значительный вклад в реализацию стратегических целей команды и компании.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking
АХ
Артур Х.
Казань
Data аналитик
Middle+
3 596,53 Р/час
PostgreSQL
Jira
Confluence
SQL
BPMN
Python
Power BI
Oracle
ClickHouse
Hadoop
+35

Артур — опытный IT-специалист с грейдом Middle+. Он обладает навыками бизнес- и системного аналитика, а также опытом работы в сфере FinTech & Banking. Артур участвовал в нескольких проектах, где занимался реинжинирингом клиринговой системы Московской биржи, составлением аналитических записок для участия в конкурсах на разработку, написанием концептуальных технических решений и технических заданий на реализацию аналитической системы. Также он работал над автоматизацией процессов, анализом ключевых показателей работы call-центров, оптимизацией отчётности и подготовкой нетиповых отчётов. В работе Артур использует такие инструменты, как BPMN, ER Diagram, Hadoop, Jira, Oracle, PostgreSQL, SQL, Confluence и другие. Он владеет английским языком на уровне B2 и немецким на уровне A2.

Подробнее
FinTech & Banking
ЕЗ
Евгений З.
Черкесск
Бизнес/системный аналитик
Senior
3 339,64 Р/час
Redmine
Validation
Сбор и анализ требований
UML
Проектирование БД
Функциональные требования
office
Программное обеспечение
Каскад
Postman
+61

Практический опыт работы с проектами, включающими создание систем автоматизации — от разработки самих систем (в качестве бизнес-аналитика, системного аналитика, разработчика, системного администратора) до их внедрения и сопровождения на этапе запуска. Практический опыт проектирования микросервисной архитектуры по методологии Domain-Driven Design (DDD) и описания архитектурной модели C4 в виде UML-диаграмм. Разработка и ведение технической документации с использованием ГОСТ 34, 19, 2, РД50, Confluence. Практический опыт выявления и сбора пользовательских требований (интервью, фокус-группы, семинары), их декомпозиция и преобразование в функциональные технические требования для разработки программного обеспечения. Практический опыт написания требований к информационной системе в виде технического задания, спецификаций функциональных требований (SRS), User Story, Use Case. Практический опыт написания требований для проектирования баз данных с нуля (построение ERD-диаграмм, создание словаря данных, маппинг данных). Опыт моделирования процессов с помощью нотаций BPMN, UML. Опыт интеграции разрабатываемой информационной системы с существующей системой по REST API и SOAP. Описание API разрабатываемой информационной системы (логика формирования запроса, обработка ответа, обработка ошибок) по формату OpenAPI. Опыт решения интеграционных задач с использованием брокеров сообщений (Kafka) и менеджеров очередей (IBM WebSphere MQ). Опыт создания вайрфреймов, интерактивных прототипов высокой и низкой точности (Figma, Balsamiq). Постановка задач разработчикам, консультация разработчиков/тестировщиков по задачам. Оформление программы и методики испытаний (ПМИ) и плана тестирования. Подготовка данных для сдачи проекта, написание документации для заказчика, презентация готового продукта заказчику, обучение и сопровождение пользователей. Практический опыт работы с таск-трекерами: Redmine, Jira. Практический опыт работы в Agile-командах в качестве fullstack-аналитика.

Подробнее
E-commerce & Retail • FinTech & Banking • HRTech
ИШ
Илья Ш.
Санкт-Петербург
Системный аналитик
Middle+
3 082,74 Р/час
Сбор и анализ требований
Работа с интеграциями
UML
Программное обеспечение
Postman
Postman API
Базы данных
.NET
макеты
JSON
+46

Илья — опытный системный аналитик с навыками работы в сферах FinTech & Banking, HRTech и E-commerce & Retail. Он обладает глубоким пониманием бизнес-процессов и аналитических методов, а также опытом работы с различными технологиями и инструментами. Илья участвовал в разработке чат-платформы для мобильного приложения и личного кабинета WEB, платформы для обработки шаблонной информации, поступающей от нейросети, и платформы для продажи товара. На проектах он выполнял задачи по сбору требований, созданию и описанию бизнес-процессов, оценке требований по подразделениям, разработке тест-кейсов, детальной проработке интеграционных потоков и другие. В работе Илья использует такие инструменты, как Atlassian Jira/Confluence, BPMN.io, draw.io, Miro, PostgreSQL, Swagger, .NET и другие.

Подробнее