Кирилл Ч. Data инженер, Senior

ID 19974
КЧ
Кирилл Ч.
Мужчина
Россия, Москва, UTC+3
Ставка
3 468,09 Р/час
вкл. НДС 5% (128.57 Р)
Специалист доступен с 27 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
C#
ClickHouse
DBT
drogon
Elasticsearch
ELK Stack
GreenPlum
Julia
Kafka
Microsoft
MySQL
NiFi
PostgreSQL
Power BI
Python
Spark
SQL
Tableau
Yandex Cloud
Отрасли
Information Security
Знание языков
Английский — C1
Главное о специалисте
Кирилл — senior data инженер из Москвы. Обладает продвинутым уровнем владения английским языком. Опыт работы на проектах: разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников. В рамках проекта выполнял следующие задачи: - разработка и оптимизация ETL/ELT процессов; - проектирование хранилищ данных на базе PostgreSQL и ClickHouse; - внедрение и настройка Apache NiFi и Apache Airflow; - поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL); - реализация проектов по обработке данных в реальном времени с использованием Apache Spark; - написание и оптимизация DAG в Airflow для автоматизации загрузки данных; - настройка брокеров сообщений для передачи данных; - развёртывание и настройка ELK-стека для логирования и мониторинга данных; - создание аналитических дашбордов на основе данных (Tableau, Power BI); - интеграция DBT в пайплайны данных для трансформации данных.
Проекты   (6 лет)
Разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников
Роль
Data Engineer
Обязанности
Проект: Разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников, автоматизация загрузки данных в реальном времени через Airflow, развертывание ELK-стека для мониторинга и анализа данных, проектирование моделей данных и оптимизация SQL-запросов, а также интеграция Kafka для передачи данных между системами. Задачи: разработка и оптимизация ETL/ELT процессов для повышения скорости и эффективности обработки данных; • проектирование хранилищ данных на базе PostgreSQL и ClickHouse; • внедрение и настройка Apache NiFi и Apache Airflow для автоматизации процессов управления данными; • поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL); • реализация проектов по обработке данных в реальном времени с использованием Apache Spark; написание и оптимизация DAG в Airflow для автоматизации загрузки данных; • настройка брокеров сообщений (Apache Kafka) для передачи данных; • развертывание и настройка ELK-стека для логирования и мониторинга данных; • проектирование математических моделей с использованием языков C#, Julia и Dragon; • создание аналитических дашбордов на основе данных (Tableau, Power BI); • разработка и поддержка моделей данных с использованием DBT; • интеграция DBT в пайплайны данных для трансформации данных; • понимание процессов версионирования моделей данных; • парсинг данных с использованием процессов Apache NiFi; • разработка системы для работы с данными: хранилища, инструменты и сервисы для Yandex Object Storage; • сбор данных из множества источников и обеспечение их попадания в общее хранилище.
Стек специалиста на проекте
PostgreSQL, Apache Kafka, MySQL, Elasticsearch, C#, SQL, Python, Power BI, Spark, ClickHouse, GreenPlum, Kafka, Microsoft, Tableau, Apache AirFlow, ELK Stack, Yandex Cloud, Julia, NiFi, DBT, drogon, Yandex Object Storage
Отрасль проекта
Information Security
Период работы
Сентябрь 2019 - По настоящее время  (6 лет)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Кубанский Государственный Технологический Университет
Специальность
Информационная безопасность автоматизированных систем, Бакалавр
Завершение учебы
2019 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+65

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее

Недавно просмотренные специалисты

AI & Robotics • GameDev • Hardware • Information Security • Manufacturing
МЛ
Мария Л.
Санкт-Петербург
Технический писатель
Senior
3 571,43 Р/час
Git
API
XML
Jira
Confluence
UML
TeamCity
IntelliJ IDEA
Jenkins
Swagger
+28

Опытный технический писатель с навыками работы в различных отраслях, таких как hardware, gameDev, manufacturing и AI & Robotics. Обладаю глубокими знаниями и опытом в разработке технической документации, инструкций и руководств для пользователей. Имею сильные аналитические данные о чем говорит мое звание молодого одаренного ученого за научную работу по литературе. Люблю писать и объяснять сложное. Легко нахожу общий языке с самыми разными разработчиками и девопсами. Большой опыт работы в написании документации для разработчиков. Люблю свою работу. Работала над проектами по написанию документации для разработчиков программного обеспечения, игр и физических устройств. В обязанности входило описание новых функциональных возможностей, подготовка визуальных материалов, устранение проблем в существующей документации и сотрудничество с другими отделами. На последнем месте работы также выполняла роль ментора для технических писателей: она занималась планированием и организацией работы команды, наставничеством и развитием сотрудников, контролем выполнения проектов, координацией с другими отделами и обеспечением высокого уровня качества документации.

Подробнее
E-commerce & Retail • Government & Public Sector • HRTech
ИМ
Илья М.
Москва
Data Scientist
Senior
4 545,45 Р/час
langchain
Gitlab CI
AWS
GitLab
ClickHouse
Multiprocessing
Numpy
Data
Bash
Git
+38

5+ лет опыта в ML и анализе данных, включая продакшн-разработку моделей. Коммерческий опыт с рекомендательными системами (Implicit, LightFM, SVD, DL-based), включая: Collaborative Filtering (ALS, LightFM, SVD); Matrix Factorization (SVD, ALS); Two-Tower Model (Deep Learning) — моделирование с использованием контентных признаков (тексты, эмбеддинги видео/аудио/изображений); Hybrid Model (CF + Content-Based) — интеграция поведенческих и контентных фич для рекомендаций; Transformer-based модели (YouTube DNN, SASRec) — учет последовательностей взаимодействий пользователей. Глубокое понимание алгоритмов RecSys и бустинга (LightGBM, CatBoost, XGBoost). Разработка и деплой моделей (классификация, регрессия, ранжирование) с использованием: PyTorch, TensorFlow; Triton Inference Server, TorchServe, TF Serving Feature engineering для RecSys и других задач; Проведение A/B-тестирования рекомендательных моделей и новых фич; Построение end-to-end ML пайплайнов, автоматизация CI/CD; Опыт с высоконагруженными и распределёнными системами (Spark, Dask, Ray); Разработка REST API (Flask, FastAPI), опыт работы с облаками (AWS, GCP, Yandex Cloud); Использование LLM (в т.ч. RAG) для бизнес-задач и интеграции с рекомендательными системами; Уверенное владение Python, Docker, Kubernetes; Анализ и визуализация данных (NumPy, SciPy, Pandas, Plotly).

Подробнее
Logistics & Transport
ЕФ
Евгений Ф.
Минск
Бизнес/системный аналитик
Senior
3 246,75 Р/час
Работа с интеграциями
UML
Kanban
Разработка
Postman
Базы данных
Бизнес-анализ
JSON
REST
XML
+44

Senior Business/System Analyst с 7,5-летним опытом работы в IT.Объединяя сильные технические знания и стратегическое мышление, я помогаю бизнесу трансформировать идеи в эффективные IT-решения. Моя специализация – системный анализ, управление требованиями и API-интеграции. Опыт охватывает различные домены: eCommerce, логистика, фудтех, недвижимость, финтех, HR-tech. Работал как на pre-sale и discovery-фазах, так и в полных циклах разработки продуктов. Владею инструментами: BPMN, UML, SQL, REST API, Camunda, Postman, Jira, Confluence, Axure RP, Figma, Kibana. Мои ключевые навыки:✔ Глубокий анализ бизнес-процессов – выявляю узкие места, оптимизирую и автоматизирую процессы.✔ Прототипирование и UX/UI – создаю понятные и удобные интерфейсы, учитывая пользовательский опыт.✔ API-интеграции и технические решения – описываю спецификации, проектирую взаимодействие между сервисами.✔ Взаимодействие с командой – эффективно коммуницирую с клиентами, разработчиками, дизайнерами и тестировщиками.✔ Agile/Scrum, работа в динамичных средах – адаптируюсь к изменениям, обеспечиваю гибкое управление требованиями. Работал над проектами в различных сферах: eCommerce – внедрение персонализированных систем лояльности, улучшение процессов доставки. Фудтех – разработка платформ для ресторанного бизнеса, оптимизация логистики доставки. Финтех – интеграция платежных сервисов, работа с финансовыми API. HR-tech – создание платформ для автоматизации HR-процессов и найма. Недвижимость – digital-решения для управления недвижимостью и продаж. Работаю на результат: успешно внедрил системы лояльности, улучшил управление доставкой, ускорил pre-sale процесс на 30%, сократил время на API-интеграции на 30%.

Подробнее