Андрей К. Data инженер, Senior

ID 28165
АК
Андрей К.
Мужчина, 42 года
Россия, Краснодар, UTC+3
Ставка
3 376,62 Р/час
НДС не облагается
Специалист доступен с 21 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
ClickHouse
Django
Docker
Git
GitHub
GitLab
GreenPlum
Jira
Kafka
PostgreSQL
Psycopg2
Pydantic
PySpark
Pytest
Python
RabbitMQ
Rails
Requests
Ruby
SQL
SQLAlchemy
Отрасли
BioTech, Pharma, Health care & Sports
Cloud Services
FinTech & Banking
Главное о специалисте
Участие в проектировании архитектуры ETL/ELT процессов и дата-платформ Уверенное знание Apache Spark Разработка, тестирование и мониторинг ETL/ELT процессов с использованием Apache Airflow, Apache NiFi для автоматизации потоков данных Опыт использования GIT, Docker, Confluence, Jira Опыт создания API-интеграций с внешними сервисами (Kafka, RabbitMQ и др.) Знание SQL и опыт работы с PostgreSQL, Greenplum, Clickhouse, Hadoop, Hive Разработка и поддержка инструментов доступа к Data Lake Опыт работы с Unix-системами и CLI Опыт командной работы и взаимодействия с инженерами, аналитиками и бизнесом Аналитические и организационные навыки
Проекты   (3 года 4 месяца)
Проект направлен на разработку системы для обнаружения мошенничества в режиме реального времени с использованием технологий больших данных
Роль
Data engineer
Обязанности
Real-time Fraud Detection System Проект направлен на разработку системы для обнаружения мошенничества в режиме реального времени с использованием технологий больших данных. Система анализирует транзакции с использованием данных о клиентах, их картах, местах проживания и истории звонков. Разработка и оптимизация структуры баз данных, написание сложных SQL- и pgSQL-запросов для обработки и анализа данных Разработка и поддержка систем обработки потоковых данных с использованием Apache Kafka Разработка, тестирование и мониторинг ETL/ELT процессов с использованием Apache Airflow для автоматизации потоков данных Работа с различными источниками данных, включая реляционные базы данных, Hadoop HDFS, веб-сервисы и логи приложений Использование Hadoop, Hive, Hue для обработки и анализа больших объемов данных Построение производных таблиц и витрин в GreenPlum для удовлетворения бизнес-требований по аналитике Реализация механизмов валидации и верификации данных для обеспечения высокого качества и надежности данных Создание и поддержка актуализированной проектной документации, технических спецификаций и пользовательских руководств в Confluence Тесное сотрудничество с аналитиками данных, разработчиками и бизнес-пользователями для определения требований к данным и решения бизнес-задач Ведение и декомпозиция задач в Jira
Достижения
Создал и оптимизировал процессы загрузки и обработки данных, что значительно повысило производительность системы и ускорило время обработки транзакций для обнаружения мошенничества Предложил и внедрил автоматизацию повторяющихся процессов, таких как регулярное обновление и очистка данных, что снизило время на рутинные задачи и повысило общую эффективность команды
Стек специалиста на проекте
PostgreSQL, Jira, Confluence, SQL, Python, GitLab, DB2, pgAdmin, Informatica, Hive, Spark, Pandas, Apache Hadoop, Kafka, JupyterNoteBook, PL/pgSQL, Apache AirFlow, HDFS, PySpark, NiFi, flink, greеnplum
Отрасль проекта
Cloud Services
Период работы
Сентябрь 2023 - Май 2025  (1 год 9 месяцев)
HealthCare(USA) - направлен на создание надежных сервисов и программ лояльности для клиентов учреждений
Роль
Backend developer
Обязанности
Разработка приложений и микросервисов на Ruby и Python Написание юнит-тестов и проведение тестирования. Создание визуальных дашбордов на Grafana
Достижения
Реализован сбор статистики с помощью Prometheus/Grafana Создал собственную библиотеку для Ruby https://rubygems.org/gems/freight_calc
Стек специалиста на проекте
PostgreSQL, MySQL, API, Python, Ruby, Grafana, Prometheus, Spark, Pandas, Requests, Python2, PL/pgSQL, S3, PySpark, MS SQL, UDF, Spark SQL, dataframe, библиотеки
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Март 2024 - Октябрь 2024  (8 месяцев)
Shieldpay
Роль
Data engineer
Обязанности
Разработка платформы для безопасного и надежного Управления финансовыми операциями, интегрирующей различные сторонние Системы и оптимизирующей выплаты продавцам на торговых площадках. Создание промежуточных таблиц в Greenplum для хранения очищенных и трансформированных данных • Использование ClickHouse для хранения и анализа больших объемов данных в реальном времени • Разработка триггеров для выявления исключительных ситуаций на основе заданий от дата-аналитиков • Использование Jira для отслеживания задач и прогресса проекта • Создание и поддержка актуализированной проектной документации, технических спецификаций и пользовательских руководств в Confluence • Сотрудничество с командой, использование GitLab для управления кодом и совместной работы
Достижения
Внедрил алгоритмы оптимизации, которые сократили время выполнения скриптов на 15% • Повысил надежность аналитических данных, что привело к снижению количества ошибок и увеличению доверия к результатам аналитики
Стек специалиста на проекте
PostgreSQL, Jira, Confluence, Python, Oracle, GitLab, Apache, Hive, ClickHouse, Hadoop, Kafka, Django, PL/pgSQL, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Февраль 2021 - Август 2022  (1 год 7 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail
ГВ
Герман В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache
Apache AirFlow
Apache Spark
athena
Avro
AWS
AWS glue
Bash scripting
Bitbucket
+55

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector • Manufacturing
АХ
Артур Х.
Уфа
Data инженер
Senior
4 238,77 Р/час
Ansible
Apache AirFlow
Apache Superset
CI/CD
ClickHouse
Confluence
DBT
Docker
FastAPI
Git
+46

Артур — опытный Data инженер с навыками работы в BI, DWH, SQL и Python. Он обладает глубоким пониманием Apache AirFlow, Apache Superset, CI/CD, Clickhouse, Confluence, DBT, Docker, FastAPI, Git, GitLab, GreenPlum, Jira, Kafka, Kubernetes, Linux, PostgreSQL, RabbitMQ, Redis, REST API, S3, SOAP, TCP/IP и unit-тестирования. Артур работал над несколькими проектами, включая создание платформы для принятия бизнес-решений в металлургической компании, разработку сервиса планирования путешествий, доработку Apache Superset для отображения большого количества данных в дашбордах, создание фреймворка типовых интеграций на базе Apache Airflow, разработку бэкендов для платформы изучения английского языка и системы управления качеством данных. Из достижений можно выделить: Сделал более 12 успешных интеграций с источниками Сделал загрузку более 50 сущностей в хранилище с базовыми проверками качества Сделал гибкий масштабируемый веб-сервис предоставления данных из КХД Сделал доработку Apache Superset для отображения большого количества данных

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • GameDev
РГ
Размик Г.
Ереван
QA FullStack
Senior
3 853,43 Р/час
Работа с базами данных
Разработка
Программное обеспечение
Postman
автоматизация
ssms
Allure TestLink
Базы данных
SoupUI
Asana
+44

Размик — опытный QA FullStack-специалист с опытом работы в GameDev и E-commerce & Retail. Он обладает глубокими знаниями и навыками в области тестирования, разработки и автоматизации процессов. Готов работать по любым направлениям тестирования, кроме безопасности. Размик работал над проектами в сфере гемблинга и крупной сетью по продаже и доставке ювелирных изделий. На проектах он занимался разработкой и поддержкой автоматизированных тестов для веб-интерфейсов и API, оптимизацией тестового фреймворка, настройкой CI/CD процессов, созданием и поддержкой Docker-контейнеров, а также составлением баг-репортов, тест-кейсов, тест-планов и чек-листов. Его опыт включает работу с Python, Selenium, Pytest, Requests, Git, Docker, CI/CD, GitLab CI, Postman, Charles, Insomnia, Allure, TestLink, TestRail, Jira, Asana, SQL, MySQL, PostgreSQL, Kibana, DevTools, Locust, DBeaver, а также с другими инструментами и технологиями.

Подробнее