Андрей К. Data инженер, Senior

ID 28165
АК
Андрей К.
Мужчина, 41 год
Россия, Краснодар, UTC+3
Ставка
3 376,62 Р/час
НДС не облагается
Специалист доступен с 31 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
ClickHouse
Django
Docker
Git
GitHub
GitLab
GreenPlum
Jira
Kafka
PostgreSQL
Psycopg2
Pydantic
PySpark
Pytest
Python
RabbitMQ
Rails
Requests
Ruby
SQL
SQLAlchemy
Отрасли
BioTech, Pharma, Health care & Sports
Cloud Services
FinTech & Banking
Главное о специалисте
Участие в проектировании архитектуры ETL/ELT процессов и дата-платформ Уверенное знание Apache Spark Разработка, тестирование и мониторинг ETL/ELT процессов с использованием Apache Airflow, Apache NiFi для автоматизации потоков данных Опыт использования GIT, Docker, Confluence, Jira Опыт создания API-интеграций с внешними сервисами (Kafka, RabbitMQ и др.) Знание SQL и опыт работы с PostgreSQL, Greenplum, Clickhouse, Hadoop, Hive Разработка и поддержка инструментов доступа к Data Lake Опыт работы с Unix-системами и CLI Опыт командной работы и взаимодействия с инженерами, аналитиками и бизнесом Аналитические и организационные навыки
Проекты   (3 года 4 месяца)
Проект направлен на разработку системы для обнаружения мошенничества в режиме реального времени с использованием технологий больших данных
Роль
Data engineer
Обязанности
Real-time Fraud Detection System Проект направлен на разработку системы для обнаружения мошенничества в режиме реального времени с использованием технологий больших данных. Система анализирует транзакции с использованием данных о клиентах, их картах, местах проживания и истории звонков. Разработка и оптимизация структуры баз данных, написание сложных SQL- и pgSQL-запросов для обработки и анализа данных Разработка и поддержка систем обработки потоковых данных с использованием Apache Kafka Разработка, тестирование и мониторинг ETL/ELT процессов с использованием Apache Airflow для автоматизации потоков данных Работа с различными источниками данных, включая реляционные базы данных, Hadoop HDFS, веб-сервисы и логи приложений Использование Hadoop, Hive, Hue для обработки и анализа больших объемов данных Построение производных таблиц и витрин в GreenPlum для удовлетворения бизнес-требований по аналитике Реализация механизмов валидации и верификации данных для обеспечения высокого качества и надежности данных Создание и поддержка актуализированной проектной документации, технических спецификаций и пользовательских руководств в Confluence Тесное сотрудничество с аналитиками данных, разработчиками и бизнес-пользователями для определения требований к данным и решения бизнес-задач Ведение и декомпозиция задач в Jira
Достижения
Создал и оптимизировал процессы загрузки и обработки данных, что значительно повысило производительность системы и ускорило время обработки транзакций для обнаружения мошенничества Предложил и внедрил автоматизацию повторяющихся процессов, таких как регулярное обновление и очистка данных, что снизило время на рутинные задачи и повысило общую эффективность команды
Стек специалиста на проекте
PostgreSQL, Jira, Confluence, SQL, Python, GitLab, DB2, pgAdmin, Informatica, Hive, Spark, Pandas, Apache Hadoop, Kafka, JupyterNoteBook, PL/pgSQL, Apache AirFlow, HDFS, PySpark, NiFi, flink, greеnplum
Отрасль проекта
Cloud Services
Период работы
Сентябрь 2023 - Май 2025  (1 год 9 месяцев)
HealthCare(USA) - направлен на создание надежных сервисов и программ лояльности для клиентов учреждений
Роль
Backend developer
Обязанности
Разработка приложений и микросервисов на Ruby и Python Написание юнит-тестов и проведение тестирования. Создание визуальных дашбордов на Grafana
Достижения
Реализован сбор статистики с помощью Prometheus/Grafana Создал собственную библиотеку для Ruby https://rubygems.org/gems/freight_calc
Стек специалиста на проекте
PostgreSQL, MySQL, API, Python, Ruby, Grafana, Prometheus, Spark, Pandas, Requests, Python2, PL/pgSQL, S3, PySpark, MS SQL, UDF, Spark SQL, dataframe, библиотеки
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Март 2024 - Октябрь 2024  (8 месяцев)
Shieldpay
Роль
Data engineer
Обязанности
Разработка платформы для безопасного и надежного Управления финансовыми операциями, интегрирующей различные сторонние Системы и оптимизирующей выплаты продавцам на торговых площадках. Создание промежуточных таблиц в Greenplum для хранения очищенных и трансформированных данных • Использование ClickHouse для хранения и анализа больших объемов данных в реальном времени • Разработка триггеров для выявления исключительных ситуаций на основе заданий от дата-аналитиков • Использование Jira для отслеживания задач и прогресса проекта • Создание и поддержка актуализированной проектной документации, технических спецификаций и пользовательских руководств в Confluence • Сотрудничество с командой, использование GitLab для управления кодом и совместной работы
Достижения
Внедрил алгоритмы оптимизации, которые сократили время выполнения скриптов на 15% • Повысил надежность аналитических данных, что привело к снижению количества ошибок и увеличению доверия к результатам аналитики
Стек специалиста на проекте
PostgreSQL, Jira, Confluence, Python, Oracle, GitLab, Apache, Hive, ClickHouse, Hadoop, Kafka, Django, PL/pgSQL, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Февраль 2021 - Август 2022  (1 год 7 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail
ГВ
Герман В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache
Apache AirFlow
Apache Spark
athena
Avro
AWS
AWS glue
Bash scripting
Bitbucket
+55

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector • Manufacturing
АХ
Артур Х.
Уфа
Data инженер
Senior
4 238,77 Р/час
Ansible
Apache AirFlow
Apache Superset
CI/CD
ClickHouse
Confluence
DBT
Docker
FastAPI
Git
+46

Артур — опытный Data инженер с навыками работы в BI, DWH, SQL и Python. Он обладает глубоким пониманием Apache AirFlow, Apache Superset, CI/CD, Clickhouse, Confluence, DBT, Docker, FastAPI, Git, GitLab, GreenPlum, Jira, Kafka, Kubernetes, Linux, PostgreSQL, RabbitMQ, Redis, REST API, S3, SOAP, TCP/IP и unit-тестирования. Артур работал над несколькими проектами, включая создание платформы для принятия бизнес-решений в металлургической компании, разработку сервиса планирования путешествий, доработку Apache Superset для отображения большого количества данных в дашбордах, создание фреймворка типовых интеграций на базе Apache Airflow, разработку бэкендов для платформы изучения английского языка и системы управления качеством данных. Из достижений можно выделить: Сделал более 12 успешных интеграций с источниками Сделал загрузку более 50 сущностей в хранилище с базовыми проверками качества Сделал гибкий масштабируемый веб-сервис предоставления данных из КХД Сделал доработку Apache Superset для отображения большого количества данных

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • Telecom
МД
Маргарита Д.
Краснодар
Системный аналитик
Senior
4 155,84 Р/час
BI инструменты
Работа с базами данных
Redmine
Grafana
Работа с интеграциями
UML
Kanban
GitLab
ДО
VBA
+69

Моя основная экспертиза – это анализ и моделирование сложных бизнес-процессов, построение архитектуры интеграций и формализация требований к разработке IT-продуктов. Я глубоко разбираюсь в методологиях управления требованиями, умею грамотно выстраивать взаимодействие между бизнесом и командой разработки, а также эффективно работать с техническими системами: API, базами данных, сервисами интеграции (Kafka, RabbitMQ) и DevOps-инструментами. В дальнейшем хочу развиваться в сторону архитектуры решений и продуктового подхода, изучая более глубоко проектирование высоконагруженных систем и участвуя в стратегическом развитии IT-продуктов. Также мне интересны задачи лидирования и наставничества, в том числе работа с командой аналитиков, выстраивание процессов и развитие методологий внутри компании. Ключевые качества, которые помогают мне добиваться успеха: Системное мышление – умею анализировать сложные системы, видеть взаимосвязи и предлагать эффективные решения. Коммуникация и фасилитация – умею находить общий язык с заказчиками, разработчиками, архитекторами и менеджерами, выстраивать продуктивные обсуждения и приводить команду к единому видению. Аналитический склад ума – быстро разбираюсь в новых предметных областях, выявляю узкие места и нахожу оптимальные пути решения. Гибкость и адаптивность – легко переключаюсь между задачами, подстраиваюсь под изменения в проекте и нахожу баланс между бизнес-требованиями и техническими ограничениями. Внимательность к деталям – помогаю команде избегать критических ошибок на этапе проектирования, продумываю возможные риски и заранее ищу решения. Мне важно не просто формировать требования, но быть вовлеченной в весь процесс создания IT-продукта, влияя на его архитектуру и стратегию развития.

Подробнее