Кирилл Ч. Data инженер, Senior

ID 19974
КЧ
Кирилл Ч.
Мужчина
Россия, Москва, UTC+3
Ставка
3 468,09 Р/час
вкл. НДС 5% (128.57 Р)
Специалист доступен с 14 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
C#
ClickHouse
DBT
drogon
Elasticsearch
ELK Stack
GreenPlum
Julia
Kafka
Microsoft
MySQL
NiFi
PostgreSQL
Power BI
Python
Spark
SQL
Tableau
Yandex Cloud
Отрасли
Information Security
Знание языков
Английский — C1
Главное о специалисте
Кирилл — senior data инженер из Москвы. Обладает продвинутым уровнем владения английским языком. Опыт работы на проектах: разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников. В рамках проекта выполнял следующие задачи: - разработка и оптимизация ETL/ELT процессов; - проектирование хранилищ данных на базе PostgreSQL и ClickHouse; - внедрение и настройка Apache NiFi и Apache Airflow; - поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL); - реализация проектов по обработке данных в реальном времени с использованием Apache Spark; - написание и оптимизация DAG в Airflow для автоматизации загрузки данных; - настройка брокеров сообщений для передачи данных; - развёртывание и настройка ELK-стека для логирования и мониторинга данных; - создание аналитических дашбордов на основе данных (Tableau, Power BI); - интеграция DBT в пайплайны данных для трансформации данных.
Проекты   (6 лет 2 месяца)
Разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников
Роль
Data Engineer
Обязанности
Проект: Разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников, автоматизация загрузки данных в реальном времени через Airflow, развертывание ELK-стека для мониторинга и анализа данных, проектирование моделей данных и оптимизация SQL-запросов, а также интеграция Kafka для передачи данных между системами. Задачи: разработка и оптимизация ETL/ELT процессов для повышения скорости и эффективности обработки данных; • проектирование хранилищ данных на базе PostgreSQL и ClickHouse; • внедрение и настройка Apache NiFi и Apache Airflow для автоматизации процессов управления данными; • поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL); • реализация проектов по обработке данных в реальном времени с использованием Apache Spark; написание и оптимизация DAG в Airflow для автоматизации загрузки данных; • настройка брокеров сообщений (Apache Kafka) для передачи данных; • развертывание и настройка ELK-стека для логирования и мониторинга данных; • проектирование математических моделей с использованием языков C#, Julia и Dragon; • создание аналитических дашбордов на основе данных (Tableau, Power BI); • разработка и поддержка моделей данных с использованием DBT; • интеграция DBT в пайплайны данных для трансформации данных; • понимание процессов версионирования моделей данных; • парсинг данных с использованием процессов Apache NiFi; • разработка системы для работы с данными: хранилища, инструменты и сервисы для Yandex Object Storage; • сбор данных из множества источников и обеспечение их попадания в общее хранилище.
Стек специалиста на проекте
PostgreSQL, Apache Kafka, MySQL, Elasticsearch, C#, SQL, Python, Power BI, Spark, ClickHouse, GreenPlum, Kafka, Microsoft, Tableau, Apache AirFlow, ELK Stack, Yandex Cloud, Julia, NiFi, DBT, drogon, Yandex Object Storage
Отрасль проекта
Information Security
Период работы
Сентябрь 2019 - По настоящее время  (6 лет 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Кубанский Государственный Технологический Университет
Специальность
Информационная безопасность автоматизированных систем, Бакалавр
Завершение учебы
2019 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+67

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее
Blockchain • FinTech & Banking • FoodTech • Manufacturing
СШ
Сергей Ш.
Москва
Data инженер
Senior
4 415,58 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Archimate
C#
ClickHouse
Erwin
ETL
Grafana
GraphQL
+26

Сергей — Senior Data инженер из Москвы с опытом работы 5 лет 5 месяцев. Специализируется на разработке и поддержке хранилищ данных, построении ETL-процессов и интеграции новых источников данных. Имеет опыт работы с Apache AirFlow, Apache NiFi, Apache Spark, ClickHouse, Erwin, Grafana, GraphQL, Hadoop, Kafka, Machine learning, Microsoft, MS Excel, MySQL, PostgreSQL, Power BI, Python, REST, SQL, Tableau, Teradata. Участвовал в проектах в отраслях Blockchain, FinTech & Banking, FoodTech, Manufacturing. На проекте «Bet Boom» в роли Senior Data Engineer разрабатывал архитектуру и строил хранилище данных (HDFS, PostgreSQL), строил витрины данных, ETL-процессы (Python, PySpark), занимался оркестровкой ETL-процессов (AirFlow, crontab), валидацией и проверкой качества данных, написанием тестов (pytest), настройкой CI/CD-пайплайнов (gitlab). На проекте «Сбер» в роли Data Engineer занимался построением ETL-пайплайнов, написанием тестов, проектированием и построением витрин данных, выводом моделей в продакшн, написанием http-сервисов, валидацией и проверкой качества данных, интеграцией новых источников, скрам-мастерингом. Также работал на проектах Mars и Goodt, где занимался построением ETL-процессов, проектированием и построением витрин данных, интеграцией новых источников, рефакторингом существующих решений, валидацией и проверкой качества данных.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • Manufacturing • Telecom
КЕ
Карпунина Е.
Ульяновск
Java разработчик
Senior
3 981,88 Р/час
PostgreSQL
Git
Docker
REST
Java
Oracle
JUnit
Spring Boot
JPA
Maven
+31

Карпунина — Java-разработчик уровня Senior из Ульяновска. Имеет высшее образование по специальности «Прикладные математика и физика» Московского физико-технического института. Владеет английским и немецким языками на уровне C1. Обладает опытом работы на проектах в отраслях Manufacturing, E-commerce & Retail, Telecom. Участвовала в разработке системы для сталелитейной компании, направленной на оптимизацию производственных процессов и управление остатками материалов. Реализовала новые функциональные возможности для улучшения пользовательского опыта в проекте ELO ECM Suite. Разрабатывала backend микросервисы для коммерческого клиентского портала Volkswagen. Участвовала в создании системы sales force automation (SFA) с интеграцией продуктов Outlook. Работала над поддержкой и развитием BSS и OSS систем телекоммуникаций. Ключевые навыки: Avro, CI/CD, Docker, Flink, Git, GreenPlum, Hibernate, IntelliJ IDEA, Java 11, Java 17, JDBC, JPA, JUnit, Kafka, Kafka Streams, Kubernetes, MapStruct, Maven, OpenShift, Oracle, PostgreSQL, REST, schema registry, Spark Streaming, Spring Boot, Spring Core, Spring Data, Spring Web, Swagger. От специалиста: Могу самостоятельно декомпозировать крупную задачу и оценить все в адекватные сроки – не больше 2-3 дней на задачу Могу самостоятельно разработать и защитить архитектуру приложения

Подробнее
BioTech, Pharma, Health care & Sports • E-commerce & Retail • FoodTech • HRTech • IoT • Media
ВШ
Вячеслав Ш.
Ростов-на-Дону
Системный аналитик
Middle+
2 727,27 Р/час
Swagger API
Fire
Zephyr Scale
Работа с интеграциями
UML
Проектирование БД
Функциональные требования
Анализ
Разработка
Программное обеспечение
+53

Специализируется на анализе и оптимизации бизнес-процессов, разработке технических заданий и проектировании архитектуры систем. Опыт работы на проектах: - Форум (E-commerce & Retail): комплексная аналитика, разработка технического задания, проектирование новой архитектуры и интеграция API кредитных организаций. - Corvid (IoT): взаимодействие со стейкхолдерами для сбора и обработки требований, проектирование архитектурных решений и формирование проектной документации. - Aroi Dee (FoodTech): приемочное тестирование, тестирование API, написание баг-репортов и User Stories, составление диаграмм BPMN 2.0. - Corp App (HRTech): написание технического задания, ручное тестирование и тестирование API. - AllFinances (BioTech, Pharma, Health care & Sports): моделирование бизнес-процессов, приемочное тестирование и анализ сторонних API. - InfoBet (SportsBet): анализ статистических данных о спортивных событиях и агрегация букмекерских компаний. - Moon (Media): проектирование архитектуры мобильного приложения и разработка CJM. - Motivation (Media): трекинг вредных привычек и самомотивация.

Подробнее