Даниил Ч. Data инженер, Senior

ID 25898
ДЧ
Даниил Ч.
Мужчина
Россия, Сочи, UTC+3
Ставка
4 007,57 Р/час
вкл. НДС 5% (148.57 Р)
Специалист доступен с 24 августа 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
Docker
DWH
ETL
Flake8
Git
Gitlab CI
GreenPlum
Hadoop
Hive
Iceberg
Kafka
Kubernetes
Linux
Microsoft
MinIo
Oracle
PostgreSQL
PySpark
Pytest
Python
RabbitMQ
Redis
S3
Spark Streaming
SQL
Trino
Unit testing
Vault
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B1
Главное о специалисте
Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.
Проекты   (5 лет 6 месяцев)
Работа над несколькими проектами банка
Роль
Data Engineer Team Lead (Рост от ETL разработчика до Team Lead команды
Обязанности
Интеграционный слой для системы противодействия мошенничеству (Antifraud) Интеграционный слой банка (Файлообмен между процессинговыми системами и АБС банка, различные интеграции между системами, поставка данных из продуктовых систем в DWH ) Разработка платформы тестирования Разработка каталог данных Руководитель геораспределённой команды DE занимающейся проектом логирования - сбор, поставка данных и построение витрин в DWH на данных из логов Команда: 15 человек Архитектура: Микросервисная Обязанности: Разработка архитектурных решений Управление командой состоящей из 4х инженеров Формирование команды, найм инженеров Планирование задач, ревью кода Разработка ETL процессов поставки данных в DWH по логам, сбор витрин Разработка десятков NRT ETL процессов для сборки витрин в Clickhouse в режиме реального времени Разработка десятков ETL процессов для сборки витрин в Greenplum с помощью Apache Spark (Spark streaming + batch jobs запускаемые через Airflow) Написание библиотеки для эффективной работы с Pyspark и автоматизации типовых задач Оптимизация legacy витрины в Clickhouse, увеличил производительность типовых запросов аналитиков в ~ 12 раз Выстроил процессы DQ по данным логирования Работа с realtime потоком данных Clickstream с помощью Spark Streaming и Kafka, запись данных в сырой слой хранилища , дальнейшее построение витрин Разработка ETL процессов поставки, очищения, преобразования данных из источников (RDBMS - MS SQL, Postgresql, Oracle, Redis, Kafka, Rabbitmq) в хранилище данных Миграция DWH с Clickhouse в Greenplum Миграция структур данных, данных, кода SQL и PL/SQL из Oracle в Greenplum (PostgreSQL) Построение витрин данных на Clickhouse и Greenplum (с помощью Apache Spark) Оптимизация витрин в Clickhouse Оптимизация sql запросов (Clickhouse, Greenplum) Сопровождение существующих процессов и витрин, починка багов, доработки и тд Мониторинг качества данных Подготовка данных для работы командам DS Ad hoc задачи Разработка архитектуры БД каталога (DV) Разработка процесса автоматического наполнения каталога данных Мониторинг работы приложения, качества данных в каталоге Описание существующих витрин для каталога данных Разработка ETL потоков для обработки данных (транзакционные , сессионные, данные о клиентах) в реальном времени, очистки, трансформации, обогащения, приведения к необходимому формату, отправка в систему противодействия мошенничества для анализа, получения результата проверки и отправки интеграционного сообщения в мастер-системы Разработка ETL процессов Тестирование ETL процессов Администрирование и сопровождение инфраструктуры ETL Мониторинг функциональности, производительности системы и качества данных Разработка архитектуры интеграционных решений Решение инцидентов связанных с работой ETL систем Обучение сотрудников, ревью кода/потоков Apache Nifi
Стек специалиста на проекте
Trino, .NET 4.5, batch, Spark Streaming, clickstream, ClickHouse, Hive, Data, Bash, Git, Oracle, Redis, Pytest, Hadoop, ETL, Kafka, Apache NiFi, Apache Spark, MinIo, Big Data, DWH, S3, RDBMS, Vault, Flake8, PySpark, SQL, Docker, Python, GreenPlum, elt, Apache AirFlow, Microsoft, RabbitMQ, Unit testing, PostgreSQL, CI/CD, Kubernetes
Отрасль проекта
FinTech & Banking
Период работы
Август 2020 - По настоящее время  (5 лет 1 месяц)
Работа с хранением данных и техническая поддержка пользователей
Роль
Data Engineer
Обязанности
Команда: 10-12 человек Архитектура: Микросервисная Обязанности: Техническая поддержка пользователей Обслуживание вычислительной техники Service Desk Help Desk Обучение сотрудников, ревью
Стек специалиста на проекте
Hadoop, Helpdesk, Service desk
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2019 - Август 2019  (5 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Сибирский Государственный Университет Телекоммуникаций и Информатики
Специальность
Бакалавр, информатика и вычислительная техника
Завершение учебы
2025 г.
Среднее
Учебное заведение
Сибирский Государственный Университет Телекоммуникаций и Информатики
Специальность
Среднее-профессиональное образование, Информационная Безопасность Телекоммуникационных систем
Завершение учебы
2020 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+65

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее
FinTech & Banking • FoodTech • Social Networking
ЕП
Егор П.
Москва
Data инженер
Senior
4 415,58 Р/час
Airbyte
Apache AirFlow
AWS
CI/CD
ClickHouse
DBT
Docker
ELK
Git
Gitlab CI
+28

Егор — Data инженер уровня Senior из Москвы с опытом работы 7 лет 11 месяцев. Специализируется на разработке и оптимизации инфраструктуры данных, имеет опыт работы в отраслях FoodTech, Social Networking, FinTech & Banking. Ключевые навыки: Airbyte, Apache AirFlow, AWS, CI/CD, ClickHouse, DBT, Docker, ELK, Git, GitLab CI, Grafana, GreenPlum, Iceberg, Kanban, Kubernetes, Linux, Openmetadata, PostgreSQL, PySpark, Python, S3, SaaS, SQL, Trino, Yandex Cloud, Hadoop, ETL, DWH. Опыт работы на проектах: - DWH Team Lead в проекте Data Platform Rostic’s (FoodTech), где руководил командой разработки, управлял процессами разработки, внедрения и поддержки платформы данных. - Data Engineer Team Lead в Playrix (Social Networking), где занимался разработкой и оптимизацией инфраструктуры данных отдела маркетинга на облачной инфраструктуре Amazon AWS. - DWH Architect в Seller24 (Social Networking), где разрабатывал архитектуру хранения данных в ClickHouse и оптимизировал хранение и обработку данных. - Главный инженер по разработке в Сбер (FinTech & Banking), где разрабатывал витрины данных и потоки загрузки данных. - Руководитель направления по развитию управленческой отчётности и главный специалист по развитию управленческой отчётности в Почте России (Social Networking), где организовывал и развивал структуру баз данных, автоматизировал отчётность.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • Travel, Hospitality & Restaurant business
МЩ
Максим Щ.
Ереван
IOS разработчик
Senior
4 740,26 Р/час
swiftymocky
level
IOS
UML
Auto Layout
Swift 5.5
XCFrameworks
async/await
HTTP
SwiftUI
+47

● Опыт коммерческой разработки приложений iOS более 7 лет ● Свободное владение языками Swift, Obj-C ● Проектирование и взаимодействие с базой данных через фреймворки Core Data и Realm. ● Опыт разработки многопоточных приложений ● Покрытие приложения тестами ● Реактивное программирование (Combine). ● Глубокое знание UIKit, создание сложных анимированных UIs. ● Разумное применение в разработке шаблонов проектирования MVC, MVP, MVVM и VIPER и моделей UML, принципов SOLID. ● Работа с CocoaPods, Carthage. Написание рекомендаций и спецификаций API. Документирование. ● Опыт запуска и поддержки приложений в AppStore. ● Глубокое понимание бизнес-процессов разработки ПО: Agile (Scrum, Kanban). ● Опыт разработки проектов с нуля и опыт развития уже существующих ● Умение декомпозировать задачи, оценивать трудозатраты с учётом рисков. ● Умение работать в команде как разработчиков так и в фичакомандах из специалистов разных областей. ● Желание выпускать программный продукт, ориентированный на удовлетворение потребностей пользователей и конечного заказчика. ● Стремлюсь к продуктивности и результату. Умею планировать свою работу, оценивать сроки, придерживаться плана и обеспечивать предсказуемость результатов. ● Внимательно подхожу ко всем задачам: готов искать недостатки в приложениях и процессах, предлагать пути для их решения. ● Могу быстро находить общий язык с сотрудниками других подразделений, готов помогать им в решении задач и строить эффективную и комфортную кросс-функциональную командную работу.

Подробнее
Cloud Services • FinTech & Banking • Travel, Hospitality & Restaurant business
АС
Артем С.
Пенза
QA ручной
Middle
2 077,92 Р/час
Тест-планы
тестирование api
Тестирование web-приложений
GitLab
написание чеклистов
Postman
Написание тест кейсов
DevTools
Elasticsearch
Git
+31

QA-специалист с опытом работы в ручном тестировании с 2021 года. Специализируется на UI/UX, тестировании API и веб-приложений. Умеет работать с базами данных (DBeaver), инструментами тестирования (Postman, Swagger UI) и различными системами управления задачами и проектами (Jira, Confluence). Участвовал в проекте по разработке облачного сервиса для автоматизации командировок. Выполнял функциональное, нефункциональное, регрессионное и smoke-тестирование, работал с API, разрабатывал и поддерживал тестовую документацию, анализировал требования и проектировал тестовые сценарии. Также работал над проектом по созданию онлайн-сервиса бронирования отелей. Проводил функциональное тестирование, проверял пользовательский интерфейс, работал со специализированными инструментами (PerfectPixel), тестировал API и разрабатывал тестовую документацию.

Подробнее