Даниил Ч. Data инженер, Senior

ID 25898
ДЧ
Даниил Ч.
Мужчина
Россия, Сочи, UTC+3
Ставка
4 007,57 Р/час
вкл. НДС 5% (148.57 Р)
Специалист доступен с 4 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
Docker
DWH
ETL
Flake8
Git
Gitlab CI
GreenPlum
Hadoop
Hive
Iceberg
Kafka
Kubernetes
Linux
Microsoft
MinIo
Oracle
PostgreSQL
PySpark
Pytest
Python
RabbitMQ
Redis
S3
Spark Streaming
SQL
Trino
Unit testing
Vault
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B1
Главное о специалисте
Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.
Проекты   (5 лет 5 месяцев)
Работа над несколькими проектами банка
Роль
Data Engineer Team Lead (Рост от ETL разработчика до Team Lead команды
Обязанности
Интеграционный слой для системы противодействия мошенничеству (Antifraud) Интеграционный слой банка (Файлообмен между процессинговыми системами и АБС банка, различные интеграции между системами, поставка данных из продуктовых систем в DWH ) Разработка платформы тестирования Разработка каталог данных Руководитель геораспределённой команды DE занимающейся проектом логирования - сбор, поставка данных и построение витрин в DWH на данных из логов Команда: 15 человек Архитектура: Микросервисная Обязанности: Разработка архитектурных решений Управление командой состоящей из 4х инженеров Формирование команды, найм инженеров Планирование задач, ревью кода Разработка ETL процессов поставки данных в DWH по логам, сбор витрин Разработка десятков NRT ETL процессов для сборки витрин в Clickhouse в режиме реального времени Разработка десятков ETL процессов для сборки витрин в Greenplum с помощью Apache Spark (Spark streaming + batch jobs запускаемые через Airflow) Написание библиотеки для эффективной работы с Pyspark и автоматизации типовых задач Оптимизация legacy витрины в Clickhouse, увеличил производительность типовых запросов аналитиков в ~ 12 раз Выстроил процессы DQ по данным логирования Работа с realtime потоком данных Clickstream с помощью Spark Streaming и Kafka, запись данных в сырой слой хранилища , дальнейшее построение витрин Разработка ETL процессов поставки, очищения, преобразования данных из источников (RDBMS - MS SQL, Postgresql, Oracle, Redis, Kafka, Rabbitmq) в хранилище данных Миграция DWH с Clickhouse в Greenplum Миграция структур данных, данных, кода SQL и PL/SQL из Oracle в Greenplum (PostgreSQL) Построение витрин данных на Clickhouse и Greenplum (с помощью Apache Spark) Оптимизация витрин в Clickhouse Оптимизация sql запросов (Clickhouse, Greenplum) Сопровождение существующих процессов и витрин, починка багов, доработки и тд Мониторинг качества данных Подготовка данных для работы командам DS Ad hoc задачи Разработка архитектуры БД каталога (DV) Разработка процесса автоматического наполнения каталога данных Мониторинг работы приложения, качества данных в каталоге Описание существующих витрин для каталога данных Разработка ETL потоков для обработки данных (транзакционные , сессионные, данные о клиентах) в реальном времени, очистки, трансформации, обогащения, приведения к необходимому формату, отправка в систему противодействия мошенничества для анализа, получения результата проверки и отправки интеграционного сообщения в мастер-системы Разработка ETL процессов Тестирование ETL процессов Администрирование и сопровождение инфраструктуры ETL Мониторинг функциональности, производительности системы и качества данных Разработка архитектуры интеграционных решений Решение инцидентов связанных с работой ETL систем Обучение сотрудников, ревью кода/потоков Apache Nifi
Стек специалиста на проекте
Trino, .NET 4.5, batch, Spark Streaming, clickstream, ClickHouse, Hive, Data, Bash, Git, Oracle, Redis, Pytest, Hadoop, ETL, Kafka, Apache NiFi, Apache Spark, MinIo, Big Data, DWH, S3, RDBMS, Vault, Flake8, PySpark, SQL, Docker, Python, GreenPlum, elt, Apache AirFlow, Microsoft, RabbitMQ, Unit testing, PostgreSQL, CI/CD, Kubernetes
Отрасль проекта
FinTech & Banking
Период работы
Август 2020 - По настоящее время  (5 лет)
Работа с хранением данных и техническая поддержка пользователей
Роль
Data Engineer
Обязанности
Команда: 10-12 человек Архитектура: Микросервисная Обязанности: Техническая поддержка пользователей Обслуживание вычислительной техники Service Desk Help Desk Обучение сотрудников, ревью
Стек специалиста на проекте
Hadoop, Helpdesk, Service desk
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2019 - Август 2019  (5 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Сибирский Государственный Университет Телекоммуникаций и Информатики
Специальность
Бакалавр, информатика и вычислительная техника
Завершение учебы
2025 г.
Среднее
Учебное заведение
Сибирский Государственный Университет Телекоммуникаций и Информатики
Специальность
Среднее-профессиональное образование, Информационная Безопасность Телекоммуникационных систем
Завершение учебы
2020 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • IoT • Telecom
АБ
Андрей Б.
Минск
Data инженер
Senior
4 155,84 Р/час
DevOps
DWH
ETL ELT
Pl/SQL
Python
SQL
Моделирование
облачные сервисы
Оптимизация запросов
Разработка
+55

Андрей — Data инженер уровня Senior из Минска, Беларусь. Специализируется на разработке и оптимизации аналитических платформ и хранилищ данных (DWH). Имеет опыт работы с ETL/ELT-процессами, облачными сервисами AWS, инструментами Apache Airflow, Apache Kafka, Apache Spark, а также с базами данных PostgreSQL, MySQL, Oracle и Snowflake. Участвовал в проектах для отраслей E-commerce & Retail, IoT и Telecom. Среди проектов — разработка аналитической платформы для розничной сети, интеграция данных из CRM, ERP и POS-систем, автоматизация обновления данных и улучшение доступа к аналитике через BI-панели. Также занимался разработкой DWH для IT-компании, преобразованием сырых данных из Data Lake и их интеграцией в DWH для решения ML-задач. Обладает навыками работы с системами контроля версий Git, GitLab, Bitbucket, а также опытом настройки CI/CD-конвейеров. Создавал техническую документацию и сотрудничал с командами аналитиков для согласования решений по обработке данных.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Trino
DBT
Gitlab CI
Spark Streaming
clickstream
ClickHouse
Hive
Data
Bash
Git
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
Marketing, Advertising & Design
КХ
Карина Х.
Москва
Маркетолог
Junior+
714,29 Р/час
е-mail рассылки
SMM
продвижение продукта
Исследование конкурентов
ABC-анализ
маркетинговый исследования продвижение
Веб-аналитика
Аналитика продаж
Продвижение сайтов
Заключение договоров
+34

Карина — маркетолог уровня Junior+ из Москвы. Специализируется на SMM, аналитике эффективности продвижения, анализе продаж и маркетинговых исследованиях. Имеет опыт работы с веб-аналитикой, включая использование Яндекс Метрики и других инструментов. Занимается разработкой стратегий продвижения продуктов и услуг, конкурентным анализом, созданием контент-стратегий и email-рассылками. Принимала участие в проекте для сети магазинов табачной продукции, где выполняла обязанности маркетолога. В рамках проекта занималась SMM-продвижением, ведением социальных сетей, созданием креативного контента, размещением рекламы, работой с онлайн-присутствием, аналитикой, организацией рекламных активностей и анализом рынка. Достижения на проекте включают увеличение базы клиентов и развитие Telegram-канала.

Подробнее
E-commerce & Retail • FinTech & Banking
ФВ
Фарида В.
Пятигорск
Продуктовый дизайнер
Senior
1 558,44 Р/час
Figma
Web Design
Английский язык
Usability
Zeplin
Adobe Illustrator
Adobe Photoshop
Прототипирование
Sketch
Android
+18

опытный Senior Product Designer с 7-летним опытом, включая международную практику в ОАЭ. Специализируется на сложных финансовых продуктах и digital-решениях, сочетая UX-исследования с продуманным UI. Последние 4 года разрабатывала интерфейсы для Synechron (ОАЭ), внедряя принципы User-Centered Design и создавая дизайн-системы для банковских сервисов. Имеет опыт проведения дизайн-спринтов, воркшопов и полного цикла исследований — от персон пользователей до тестирования прототипов. Владеет английским на продвинутом уровне (C1), что позволяло ей эффективно работать с международными командами. Окончила курсы по AR/VR-дизайну и Design Sprint Masterclass. Ищет возможности применять опыт в продуктовых командах с фокусом на стратегию и удобство интерфейсов. Ссылка на портфолио: https://www.valievadesign.co.uk/

Подробнее