Кирилл Ч. Data инженер, Senior

ID 19974
КЧ
Кирилл Ч.
Мужчина
Россия, Москва, UTC+3
Ставка
3 468,09 Р/час
вкл. НДС 5% (128.57 Р)
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
C#
ClickHouse
DBT
drogon
Elasticsearch
ELK Stack
GreenPlum
Julia
Kafka
Microsoft
MySQL
NiFi
PostgreSQL
Power BI
Python
Spark
SQL
Tableau
Yandex Cloud
Отрасли
Information Security
Знание языков
Английский — C1
Главное о специалисте
Кирилл — senior data инженер из Москвы. Обладает продвинутым уровнем владения английским языком. Опыт работы на проектах: разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников. В рамках проекта выполнял следующие задачи: - разработка и оптимизация ETL/ELT процессов; - проектирование хранилищ данных на базе PostgreSQL и ClickHouse; - внедрение и настройка Apache NiFi и Apache Airflow; - поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL); - реализация проектов по обработке данных в реальном времени с использованием Apache Spark; - написание и оптимизация DAG в Airflow для автоматизации загрузки данных; - настройка брокеров сообщений для передачи данных; - развёртывание и настройка ELK-стека для логирования и мониторинга данных; - создание аналитических дашбордов на основе данных (Tableau, Power BI); - интеграция DBT в пайплайны данных для трансформации данных.
Проекты   (5 лет 11 месяцев)
Разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников
Роль
Data Engineer
Обязанности
Проект: Разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников, автоматизация загрузки данных в реальном времени через Airflow, развертывание ELK-стека для мониторинга и анализа данных, проектирование моделей данных и оптимизация SQL-запросов, а также интеграция Kafka для передачи данных между системами. Задачи: разработка и оптимизация ETL/ELT процессов для повышения скорости и эффективности обработки данных; • проектирование хранилищ данных на базе PostgreSQL и ClickHouse; • внедрение и настройка Apache NiFi и Apache Airflow для автоматизации процессов управления данными; • поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL); • реализация проектов по обработке данных в реальном времени с использованием Apache Spark; написание и оптимизация DAG в Airflow для автоматизации загрузки данных; • настройка брокеров сообщений (Apache Kafka) для передачи данных; • развертывание и настройка ELK-стека для логирования и мониторинга данных; • проектирование математических моделей с использованием языков C#, Julia и Dragon; • создание аналитических дашбордов на основе данных (Tableau, Power BI); • разработка и поддержка моделей данных с использованием DBT; • интеграция DBT в пайплайны данных для трансформации данных; • понимание процессов версионирования моделей данных; • парсинг данных с использованием процессов Apache NiFi; • разработка системы для работы с данными: хранилища, инструменты и сервисы для Yandex Object Storage; • сбор данных из множества источников и обеспечение их попадания в общее хранилище.
Стек специалиста на проекте
C#, DBT, NiFi, drogon, ClickHouse, Spark, Elasticsearch, Power BI, Kafka, Julia, Tableau, ELK Stack, SQL, Python, GreenPlum, Apache AirFlow, Microsoft, MySQL, PostgreSQL, Yandex Object Storage, Yandex Cloud, Apache Kafka
Отрасль проекта
Information Security
Период работы
Сентябрь 2019 - По настоящее время  (5 лет 11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Кубанский Государственный Технологический Университет
Специальность
Информационная безопасность автоматизированных систем, Бакалавр
Завершение учебы
2019 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

Information Security
КЧ
Кирилл Ч.
Москва
Data инженер
Senior
3 468,09 Р/час
C#
DBT
NiFi
drogon
ClickHouse
Spark
Elasticsearch
Power BI
Kafka
Julia
+20

Кирилл — senior data инженер из Москвы. Обладает продвинутым уровнем владения английским языком. Опыт работы на проектах: разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников. В рамках проекта выполнял следующие задачи: - разработка и оптимизация ETL/ELT процессов; - проектирование хранилищ данных на базе PostgreSQL и ClickHouse; - внедрение и настройка Apache NiFi и Apache Airflow; - поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL); - реализация проектов по обработке данных в реальном времени с использованием Apache Spark; - написание и оптимизация DAG в Airflow для автоматизации загрузки данных; - настройка брокеров сообщений для передачи данных; - развёртывание и настройка ELK-стека для логирования и мониторинга данных; - создание аналитических дашбордов на основе данных (Tableau, Power BI); - интеграция DBT в пайплайны данных для трансформации данных.

Подробнее