АК
Андрей К.
Мужчина, 41 год
Россия, Краснодар, UTC+3
Ставка
2 954,3 Р/час
вкл. НДС 5% (109.52 Р)
Специалист доступен с 12 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Python
Ruby
SQL
Apache AirFlow
Django
Psycopg2
Pydantic
PySpark
Pytest
Rails
Requests
SQLAlchemy
CI/CD
ClickHouse
Docker
GitHub
GitLab
GreenPlum
HTML5
Kafka
PostgreSQL
RabbitMQ
Big Data
CSS3
GraphQL
Hadoop
REST
RSpec
DWH
ETL ELT
Grafana
JupyterNoteBook
oltp
Prometheus
Spark
Confluence
Git
Jira
Отрасли
BioTech, Pharma, Health care & Sports
FinTech & Banking
Realty & Constructoring
Знание языков
Английский — B1
Главное о специалисте
Андрей — Data инженер уровня Middle+ из Краснодара. Специализируется на работе с большими данными и имеет опыт в отраслях FinTech & Banking, BioTech, Pharma, Health care & Sports, Realty & Constructoring. Владеет английским языком на уровне B1. Ключевые навыки: Python, Ruby, SQL, Apache AirFlow, Django, Psycopg2, Pydantic, PySpark, Pytest, Rails, Requests, SQLAlchemy, CI/CD, ClickHouse, Docker, GitHub, GitLab, GreenPlum, HTML5, Kafka, PostgreSQL, RabbitMQ, Big Data, CSS3, GraphQL, Hadoop, REST, RSpec, DWH, ETL ELT, Grafana, JupyterNoteBook, oltp, Prometheus, Spark, Confluence, Git, Jira. Имеет опыт работы на следующих проектах: - Real-time Fraud Detection System (FinTech & Banking): разработка и оптимизация структуры баз данных, работа с Apache Kafka, ETL/ELT процессы с использованием Apache Airflow, использование Hadoop, Hive, Hue. - HealthCare(USA) (BioTech, Pharma, Health care & Sports): разработка приложений и микросервисов на Ruby и Python, создание визуальных дашбордов на Grafana. - Shieldpay (FinTech & Banking): создание промежуточных таблиц в Greenplum, использование ClickHouse, разработка триггеров для выявления исключительных ситуаций. - Строительная компания (Realty & Constructoring): разработка хранилища данных, рефакторинг и оптимизация запросов, проектирование и внедрение решений для улучшения масштабируемости и отказоустойчивости хранилища данных.
Проекты   (4 года 1 месяц)
Real-time Fraud Detection System
Роль
Data Engineer
Обязанности
Проект направлен на разработку системы для обнаружения мошенничества в режиме реального времени с использованием технологий больших данных. Система анализирует транзакции с использованием данных о клиентах, их картах, местах проживания и истории звонков Что реализовывал: Разработка и оптимизация структуры баз данных, написание сложных SQL- и pgSQL-запросов для обработки и анализа данных Разработка и поддержка систем обработки потоковых данных с использованием Apache Kafka Разработка, тестирование и мониторинг ETL/ELT процессов с использованием Apache Airflow для автоматизации потоков данных Работа с различными источниками данных, включая реляционные базы данных, Hadoop HDFS, веб-сервисы и логи приложений Использование Hadoop, Hive, Hue для обработки и анализа больших объемов данных Построение производных таблиц и витрин в GreenPlum для удовлетворения бизнес-требований по аналитике Реализация механизмов валидации и верификации данных для обеспечения высокого качества и надежности данных Создание и поддержка актуализированной проектной документации, технических спецификаций и пользовательских руководств в Confluence Ведение и декомпозиция задач в Jira Тесное сотрудничество с аналитиками данных, разработчиками и бизнес-пользователями для определения требований к данным и решения бизнес-задач Создал и оптимизировал процессы загрузки и обработки данных, что значительно повысило производительность системы и ускорило время обработки транзакций для обнаружения мошенничества Предложил и внедрил автоматизацию повторяющихся процессов, таких как регулярное обновление и очистка данных, что снизило время на рутинные задачи и повысило общую эффективность команды Дополнительно занимался проведением интервью с бизнесом и конечными пользователями для выявления их пожеланий и требований. Также делал опросы, направленные на сбор мнений и предложений по функционалу и характеристикам будущей системы. Далее согласование с клиентом ключевых показателей эффективности (KPI), которые будут использоваться для оценки успеха проекта. Определение бизнес-метрик, на основе которых будет строиться аналитика в хранилище данных. Потом создание прототипов будущих отчетов и dashboard'ов для визуализации и обсуждения с пользователями. Демонстрация прототипов клиенту и сбор обратной связи для внесения изменений и уточнений. Разбор конфигурационных файлов приложений. Добавление плагинов в NiFi. Работа с ОС Linux через терминал.
Стек специалиста на проекте
DBT, NiFi, s2t, GitLab, Прототипирование, Spark, Hive, Linux, Kafka, Apache Hadoop, Apache Spark, DWH, HDFS, PySpark, Confluence, SQL, Python, pgAdmin, YAML, Apache AirFlow, JupyterNoteBook, SWOT-анализ, Jira, PostgreSQL, User Stories, User Cases, рабочие сессии
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2023 - Июнь 2025  (1 год 10 месяцев)
HealthCare(USA)
Роль
Ruby/Python - разработчик
Обязанности
Проект направлен на создание надежных сервисов и программ лояльности для клиентов учреждений Что реализовывал: - Разработка приложений и микросервисов на Ruby и Python - Написание юнит-тестов и проведение тестирования. - Создание визуальных дашбордов на Grafana - Реализован сбор статистики с помощью Prometheus/Grafana - Создал собственную библиотеку для Ruby (https://rubygems.org/gems/freight_calc)
Стек специалиста на проекте
PostgreSQL, Python, Ruby, Grafana, Prometheus, PySpark, библиотеки
Отрасль проекта
BioTech, Pharma, Health care & Sports
Период работы
Декабрь 2022 - Сентябрь 2023  (10 месяцев)
Shieldpay
Роль
Data Engineer
Обязанности
Цели проекта - Разработка платформы для безопасного и надежного управления финансовыми операциями, интегрирующей различные сторонние системы и оптимизирующей выплаты продавцам на торговых площадках Что реализовывал: Создал промежуточные таблицы в Greenplum для хранения очищенных и трансформированных данных Использовал ClickHouse для хранения и анализа больших объемов данных в реальном времени Разработал триггеры для выявления исключительных ситуаций на основе заданий от дата-аналитиков Создал и поддерживал актуализированную проектную документацию, технические спецификации и пользовательские руководства в Confluence Разработал проверку и тестирование кода в GitLab CI/CD, что позволило сократить количество ошибок при релизах новой версии ETL процессов. Сотрудничал с командой, использовал GitLab для управления кодом и совместной работы Участвовал в разработке документации по переносу витрин из PostgreSQL в ClickHouse; Работа с ОС Linux через терминал
Стек специалиста на проекте
PostgreSQL, Jira, Confluence, SQL, Python, Oracle, Linux, GitLab, Hive, Spark, Apache Hadoop, Apache Spark, Kafka, JupyterNoteBook, Apache AirFlow, HDFS
Отрасль проекта
FinTech & Banking
Период работы
Декабрь 2021 - Декабрь 2022  (1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Дополнительное
Учебное заведение
Philippines national IT standards foundation
Специальность
Инженер информационных технологий
Завершение учебы
2026 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • FinTech & Banking • Realty & Constructoring
АК
Андрей К.
Краснодар
Data инженер
Middle+
2 954,3 Р/час
HTML5
Grafana
GraphQL
GitLab
oltp
ClickHouse
Spark
SQLAlchemy
REST
Git
+38

Андрей — Data инженер уровня Middle+ из Краснодара. Специализируется на работе с большими данными и имеет опыт в отраслях FinTech & Banking, BioTech, Pharma, Health care & Sports, Realty & Constructoring. Владеет английским языком на уровне B1. Ключевые навыки: Python, Ruby, SQL, Apache AirFlow, Django, Psycopg2, Pydantic, PySpark, Pytest, Rails, Requests, SQLAlchemy, CI/CD, ClickHouse, Docker, GitHub, GitLab, GreenPlum, HTML5, Kafka, PostgreSQL, RabbitMQ, Big Data, CSS3, GraphQL, Hadoop, REST, RSpec, DWH, ETL ELT, Grafana, JupyterNoteBook, oltp, Prometheus, Spark, Confluence, Git, Jira. Имеет опыт работы на следующих проектах: - Real-time Fraud Detection System (FinTech & Banking): разработка и оптимизация структуры баз данных, работа с Apache Kafka, ETL/ELT процессы с использованием Apache Airflow, использование Hadoop, Hive, Hue. - HealthCare(USA) (BioTech, Pharma, Health care & Sports): разработка приложений и микросервисов на Ruby и Python, создание визуальных дашбордов на Grafana. - Shieldpay (FinTech & Banking): создание промежуточных таблиц в Greenplum, использование ClickHouse, разработка триггеров для выявления исключительных ситуаций. - Строительная компания (Realty & Constructoring): разработка хранилища данных, рефакторинг и оптимизация запросов, проектирование и внедрение решений для улучшения масштабируемости и отказоустойчивости хранилища данных.

Подробнее
E-commerce & Retail • FinTech & Banking • RnD
АТ
Амир Т.
Москва
Java разработчик
Senior
1 779,22 Р/час
Grafana
Spring Data
Spring Cloud
Spring MVC
REST
Java
Scrum
Git
JUnit
JPA
+34

Амир — Java-разработчик уровня Senior из Москвы. Специализируется на разработке и поддержке систем с использованием Java и связанных технологий. Имеет опыт работы в отраслях E-commerce & Retail, RnD, FinTech & Banking. Ключевые навыки: Spring Data, Spring Cloud, Spring MVC, REST, Spring Security, Hibernate, Spring Web, Maven, SQL, Docker, CI/CD, Kubernetes, объектно-ориентированное программирование, Apache Kafka, Grafana, Prometheus, Redis. Участвовал в следующих проектах: - Разработка и поддержка ERP-системы для обработки заказов и управления запасами для ретейлера (5 месяцев). - Проект по разработке и поддержке системы управления проектами и автоматизации работы сотрудников для консалтинговой компании (1 год 6 месяцев). - Разработка микросервисной платформы для обработки и анализа данных по транзакциям в реальном времени для финансовой компании (2 года). Достижения включают оптимизацию производительности, настройку систем мониторинга, разработку микросервисов, интеграцию с внешними сервисами и улучшение наблюдаемости систем.

Подробнее
E-commerce & Retail • Manufacturing • Telecom
АЛ
Андрей Л.
Москва
Инженер БД
Senior
4 285,71 Р/час
Trino
Avro
Grafana
anchor
языки программирования
UML
governance
odi
debezium
ozon
+64

Андрей — инженер баз данных уровня Senior из Москвы с опытом работы в сферах Telecom, Manufacturing и E-commerce & Retail. Специализируется на проектировании и оптимизации хранилищ данных, работе с Big Data и ETL-процессами. Владеет широким спектром технологий и инструментов, включая Apache AirFlow, Apache Spark, Hadoop, PostgreSQL, Oracle, Microsoft SQL Server, ClickHouse, Greenplum и другие. Имеет опыт работы на следующих проектах: - МегаФон: миграция корпоративного хранилища данных, проектирование многоуровневой архитектуры DWH, внедрение практик DataOps. - Тера Интегро: разработка и оптимизация распределённых DWH, создание алерт-систем на базе Zabbix, потоковая обработка данных. - НЛМК: миграция данных, оптимизация PostgreSQL, поддержка проектов и разрешение инцидентов, разработка ETL-процессов. - IQVIA: разработка и оптимизация хранилищ данных, стриминговая обработка данных, моделирование данных, обработка больших данных с использованием Apache Spark.

Подробнее