Кирилл Н. Data инженер, Middle+

ID 9681
КН
Кирилл Н.
Мужчина, 30 лет
Россия, Ростов-на-Дону, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 3 сентября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
FastAPI
Git
GitHub
Grafana
GreenPlum
Hadoop
Hive
Huey
Jupiter Notebook
Kafka
Kubernetes
Linux
Matplotlib
MySQL
Numpy
OpenCV
Pandas
PostgreSQL
Postman
Power BI
PowerShell
Prometheus
PyCharm
PySpark
Pytest
Python
RabbitMQ
Redis
Scikit-learn
Seaborn
SecretNet
Selenium
SQL
SQLAlchemy
Superset
Terraform
Zeppelin
Apache
Microservices
Администрирование
Базы данных
Автоматизация процессов
Jira
Confluence
HTML
CSS
GitLab
Data
Vault
S3
PL/pgSQL
ANSI SQL
ClickHouse
Spark
Oracle
VS code
Отрасли
E-commerce & Retail
FinTech & Banking
Government & Public Sector
Знание языков
Английский — B2
Главное о специалисте
Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.
Проекты   (6 лет 6 месяцев)
Проект по миграции песочницы, реинтеграция источников
Роль
Data-инженер
Обязанности
Крупный банк, проект по миграции песочницы, реинтеграция источников Задачи: 1. Сбор требований по разработке 2. Интеграция новых источников (Oracle, ClickHouse) 3. Построение Data-Pipeline (препроцессинг Spark+s3) 4. Разработка моделей DBT 5. Разработка тестов / DQ 6. Написание документации / s2t 7. Оптимизация сложных аналитических запросов GreenPlum / PostgreSQL Стек: Greenplum + PXF, S3,Spark. MongoDB, Postgres, Kafka, Spark, Flyway, GitLab / GitlabCI, Vault, Grafana, Python, Kubernetes, Airflow, DBT, Yandex Cloud Console, Bash, PowerShell
Стек специалиста на проекте
PostgreSQL, Python, Bash, Oracle, MongoDB, Grafana, Kubernetes, GitLab, Flyway, Spark, ClickHouse, PowerShell, GreenPlum, Kafka, Vault, Apache AirFlow, Yandex Cloud, S3, Gitlab CI, console, DBT, pxf, Data Quality (DQ)
Отрасль проекта
FinTech & Banking
Период работы
Декабрь 2024 - По настоящее время  (10 месяцев)
Крупный ритейлер строительных материалов
Роль
Data-инженер
Обязанности
Задачи: 1. Интеграция реляционных/не реляционных источников, разработка s2t, 2. Cоздание архитектурной схемы промежуточного слоя хранения для управлением событиями 3. Разработка и оркестрация Data-пайплайнов (Airflow+NIFI) 4. Настройка мониторинга и алертинга (легаси + новых пайплайнов) по интеграции в платформу данных (data vault 2.0). 5. Разработка data quality для промежуточного слоя хранения и ods слоя в DWH, 6. Нормализация, очистка, дедубликация легаси, построение мартов для BI отчетов, участие в разборе инцидентов Команда: разработчики, аналитики и тестировщики продукта Стек: MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault
Стек специалиста на проекте
PostgreSQL, SQL, Python, MongoDB, Jenkins, Grafana, Kubernetes, GitHub, ELK, GreenPlum, Kafka, Vault, Apache AirFlow, S3, NiFi
Отрасль проекта
E-commerce & Retail
Период работы
Ноябрь 2023 - Декабрь 2024  (1 год 2 месяца)
Digital-аудит
Роль
Data инженер
Обязанности
Функции: 1. Обработка больших объемов информации (Hadoop, HDFS, Hive, Spark, Yarn, K8S) 2. ad-hoc аналитика 3. Анализ больших данных (поиск выбросов, аномалий и отклонений) 4. Разработка Data-пайплайнов 5. Разработка Data — мартов 6. Организация data quality 7. Data management (meta, s2t) 8. ИФТ/ПСИ Используемые инструменты: Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow
Стек специалиста на проекте
PostgreSQL, Python, Bash, Power BI, Hive, Hadoop, Pandas, Atlassian, GreenPlum, Jupyter, Apache AirFlow, Superset, PySpark, hue, s2t, adhoc
Отрасль проекта
FinTech & Banking
Период работы
Январь 2023 - Ноябрь 2023  (11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Дипломы и сертификаты
https://go.startexam.com/casberbank/Report/21e1fcb3-b20e-455b-88dc-07969f7f2b4b?dateTime=2023-03-20%2C%2018-16 2022 г.
Образование
Высшее
Учебное заведение
ДГТУ «Приборостроение и техническое регулирование»
Специальность
инженер
Завершение учебы
2017 г.
Высшее
Учебное заведение
ДГТУ «Приборостроение и техническое регулирование»
Специальность
Магистр
Завершение учебы
2019 г.
Дополнительное
Учебное заведение
Нетология
Специальность
Профессиональная переподготовка, Python разработчик
Завершение учебы
2022 г.

Похожие специалисты

EdTech • Hardware
СП
Сергей П.
Санкт-Петербург
Data инженер
Lead
4 349,14 Р/час
Agile
Apache
Apache Hadoop
Apache Spark
Apache Superset
arch
arrow
Bash
C/C++
CentOS
+63

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail
ГВ
Герман В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache
Apache AirFlow
Apache Spark
athena
Avro
AWS
AWS glue
Bash scripting
Bitbucket
+55

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее

Недавно просмотренные специалисты

HRTech • Marketing, Advertising & Design • Social Networking
ДБ
Дмитрий Б.
Бангкок
Backend разработчик
Middle
3 116,88 Р/час
PostgreSQL
Apache Kafka
Git
Docker
API
JavaScript
Node.js
Confluence
REST API
Linux
+27

Кандидат рассматривает новые возможности в связи с завершением активной фазы текущего проекта и переходом на стадию поддержки. Основная мотивация — участие в проектах с современным стеком технологий, налаженными процессами и минимальной бюрократией. Ключевые компетенции: - Языки программирования: JavaScript (Node.js), TypeScript - Фреймворки: Nest.js - Базы данных: PostgreSQL, Redis - Интеграции: NATS, Kafka, S3 - Тестирование: юнит-тесты, интеграционные тесты - Технологии и инструменты: Kubernetes, Docker, Socket.IO, GitLab, Graphana - Навыки: разработка и оптимизация микросервисной архитектуры, работа с высоконагруженными системами, написание новых сервисов Проектный опыт: На текущем проекте кандидат работал в команде над приложением для знакомств. Основные задачи включали: - Разработка микросервисного ядра на Nest.js, миграция с PHP - Создание CRM для администрирования пользователей, включая разработку функционала поиска с использованием индексов gin и автокомплита - Разработка Notification Service на основе Socket.IO и интеграции с Message Broker (NATS) - Оптимизация работы с хранилищем S3 (минио), включая сжатие файлов - Интеграция сервисов для верификации фотографий на базе AI Кандидат знаком с настройкой CI/CD процессов через GitLab, работал с кластерами Kubernetes и имеет опыт мониторинга и анализа через Grafana. Находится на этапе активного поиска предложений, с готовностью выйти на новый проект с начала февраля.

Подробнее