Даниил Ч. Data инженер, Senior

ID 25898
ДЧ
Даниил Ч.
Мужчина
Россия, Сочи, UTC+3
Ставка
4 007,57 Р/час
вкл. НДС 5% (148.57 Р)
Специалист доступен с 20 мая 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
Docker
DWH
ETL
Flake8
Git
Gitlab CI
GreenPlum
Hadoop
Hive
Iceberg
Kafka
Kubernetes
Linux
Microsoft
MinIo
Oracle
PostgreSQL
PySpark
Pytest
Python
RabbitMQ
Redis
S3
Spark Streaming
SQL
Trino
Unit testing
Vault
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B1
Главное о специалисте
Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.
Проекты   (5 лет 3 месяца)
Работа над несколькими проектами банка
Роль
Data Engineer Team Lead (Рост от ETL разработчика до Team Lead команды
Обязанности
Интеграционный слой для системы противодействия мошенничеству (Antifraud) Интеграционный слой банка (Файлообмен между процессинговыми системами и АБС банка, различные интеграции между системами, поставка данных из продуктовых систем в DWH ) Разработка платформы тестирования Разработка каталог данных Руководитель геораспределённой команды DE занимающейся проектом логирования - сбор, поставка данных и построение витрин в DWH на данных из логов Команда: 15 человек Архитектура: Микросервисная Обязанности: Разработка архитектурных решений Управление командой состоящей из 4х инженеров Формирование команды, найм инженеров Планирование задач, ревью кода Разработка ETL процессов поставки данных в DWH по логам, сбор витрин Разработка десятков NRT ETL процессов для сборки витрин в Clickhouse в режиме реального времени Разработка десятков ETL процессов для сборки витрин в Greenplum с помощью Apache Spark (Spark streaming + batch jobs запускаемые через Airflow) Написание библиотеки для эффективной работы с Pyspark и автоматизации типовых задач Оптимизация legacy витрины в Clickhouse, увеличил производительность типовых запросов аналитиков в ~ 12 раз Выстроил процессы DQ по данным логирования Работа с realtime потоком данных Clickstream с помощью Spark Streaming и Kafka, запись данных в сырой слой хранилища , дальнейшее построение витрин Разработка ETL процессов поставки, очищения, преобразования данных из источников (RDBMS - MS SQL, Postgresql, Oracle, Redis, Kafka, Rabbitmq) в хранилище данных Миграция DWH с Clickhouse в Greenplum Миграция структур данных, данных, кода SQL и PL/SQL из Oracle в Greenplum (PostgreSQL) Построение витрин данных на Clickhouse и Greenplum (с помощью Apache Spark) Оптимизация витрин в Clickhouse Оптимизация sql запросов (Clickhouse, Greenplum) Сопровождение существующих процессов и витрин, починка багов, доработки и тд Мониторинг качества данных Подготовка данных для работы командам DS Ad hoc задачи Разработка архитектуры БД каталога (DV) Разработка процесса автоматического наполнения каталога данных Мониторинг работы приложения, качества данных в каталоге Описание существующих витрин для каталога данных Разработка ETL потоков для обработки данных (транзакционные , сессионные, данные о клиентах) в реальном времени, очистки, трансформации, обогащения, приведения к необходимому формату, отправка в систему противодействия мошенничества для анализа, получения результата проверки и отправки интеграционного сообщения в мастер-системы Разработка ETL процессов Тестирование ETL процессов Администрирование и сопровождение инфраструктуры ETL Мониторинг функциональности, производительности системы и качества данных Разработка архитектуры интеграционных решений Решение инцидентов связанных с работой ETL систем Обучение сотрудников, ревью кода/потоков Apache Nifi
Стек специалиста на проекте
Trino, .NET 4.5, batch, Spark Streaming, clickstream, ClickHouse, Hive, Data, Bash, Git, Oracle, Redis, Pytest, Hadoop, ETL, Kafka, Apache NiFi, Apache Spark, MinIo, Big Data, DWH, S3, RDBMS, Vault, Flake8, PySpark, SQL, Docker, Python, GreenPlum, elt, Apache AirFlow, Microsoft, RabbitMQ, Unit testing, PostgreSQL, CI/CD, Kubernetes
Отрасль проекта
FinTech & Banking
Период работы
Август 2020 - По настоящее время  (4 года 10 месяцев)
Работа с хранением данных и техническая поддержка пользователей
Роль
Data Engineer
Обязанности
Команда: 10-12 человек Архитектура: Микросервисная Обязанности: Техническая поддержка пользователей Обслуживание вычислительной техники Service Desk Help Desk Обучение сотрудников, ревью
Стек специалиста на проекте
Hadoop, Helpdesk, Service desk
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2019 - Август 2019  (5 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Сибирский Государственный Университет Телекоммуникаций и Информатики
Специальность
Бакалавр, информатика и вычислительная техника
Завершение учебы
2025 г.
Среднее
Учебное заведение
Сибирский Государственный Университет Телекоммуникаций и Информатики
Специальность
Среднее-профессиональное образование, Информационная Безопасность Телекоммуникационных систем
Завершение учебы
2020 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking • Media
КР
Константин Р.
Минск
Data инженер
Middle
4 025,97 Р/час
Hadoop
Hive
Numpy
Openmetadata
Pandas
PySpark
Python
ClickHouse
DynamoDB
MongoDB
+62

Middle Data Engineer Навыки ● Python ● Моделирование DWH ● Разработка ETL/ELT-конвейеров ● Опыт визуализации данных ● Опыт работы AWS, Azure и GCP ● Экспертиза в Spark ● Экспертное знание SQL Проекты ● Платформа розничных продаж ● Платформа аналитики распределения ● Платформа анализа продаж ● Платформа аналитики розничной торговли Образование Степень бакалавра в области компьютерных наук Языковые навыки Английский – B2 Опыт работы в сфере Data Engineering более 4-х лет. Языки программирования: Python Технологии: PySpark, Pandas, NumPy, Hadoop, Hive, Openmetadata, Excel Базы данных: PostgreSQL, MySQL, MSSQL, Oracle, Redis, DynamoDB, MongoDB, Clickhouse BI Инструменты: Looker Studio, QuickSight, Apache SuperSet. ETL Инструменты: Apache Airflow, Apache NiFi Брокеры сообщений: Kafka, RabbitMQ Облачные провайдеры: AWS (IAM, S3, RDS, Athena, EC2, ECS, EKS, SQS, Lambda, Redshift, Snowflake, Glue, CloudWatch, etc.), GCP (Cloud Computing, Cloud Monitoring, Dataproc, CloudStorage, BigQuery, Pub/Sub, Cloud SQL, Cloud Firestore, Cloud Functions, Cloud Spanner, Cloud Run, IAM, Looker Studio), Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud. DevOps: Docker, Docker-compose, Bash scripting, Kubernetes, CI\CD. Системы контроля версий: Git, GitLab, Bitbucket, GitHub

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Trino
DBT
Gitlab CI
Spark Streaming
clickstream
ClickHouse
Hive
Data
Bash
Git
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее
E-commerce & Retail
АС
Александр С.
Нижневартовск
1С разработчик
Senior
3 636,36 Р/час
1C:Бухгалтерия предприятия
JSON
SQL
1С:Комплексная автоматизация
1С 8.1 УУП
1С БСО
1С:Управление производственным предприятием
1С:Бухгалтерия
1С:Зарплата и Управление Персоналом
1с Управление финансами
+10

профессиональные навыки: Опыт работы программистом 1С более 23 лет Интеграции 1С с другими сервисами Опыт внедрения продуктов Управляемые формы, БСП, СКД Создание полной технической документации по разработанным решениям Опыт работы с интеграциями Опыт работы с консолью запросов Опыт работы с RLS Опыт обновления конфигураций, адаптация под изменения законодательства Профессиональная работа с SQL-запросами высокого уровня сложности Уверенное владение форматом обмена данными JSON; Глубокое понимание корпоративных стандартов разработки и сопровождения решений на платформе 1С Способность эффективно проектировать функциональные и технические решения; Наличие опыта оптимизации и улучшения существующего программного кода; Экспертиза в области процессов разработки, тестирования и отладки приложений на платформе 1С

Подробнее
FinTech & Banking • IoT • Logistics & Transport • Social Networking
ОТ
Ольга Т.
Волгоград
Системный аналитик
Middle+
2 954,3 Р/час
io
Postman
StormBPMN
Swagger
DBDiagram
PlantUML
RabbitMQ
Jira
PostgreSQL
+9

Ольга — системный аналитик уровня Middle+. Обладает опытом работы на проектах в сферах FinTech & Banking, Social Networking, IoT и Logistics & Transport. На проекте по роботизированным услугам онлайн-кредитования и рыночного финансирования разрабатывала внедрение нового продукта (кредитный отчёт), замену смс-кода на биометрию. Ставила задачи для разработчиков, тестировщиков, дизайнеров, описывала бизнес-процессы в StormBPMN. В рамках проекта по интеграции с социальными сетями для обработки обращения граждан разрабатывала проект по интеграции, анализировала бизнес-требования, преобразовывала их в функциональные требования. Составила БП процессы в нотации BPMN для многих рабочих карт на проекте заказчика. Во время работы над системой по управлению информационными продуктами осуществляла разработку единого каталога о продуктах, анализировала пользовательские и бизнес-требования. Проанализировала работу сотрудников в проекте, связанным с Confluence, увеличила эффективность на 30%. Участвовала в проектировании быстрого каталога для крупной дистрибьюторской компании, разрабатывала документацию, которая описывала работу приложения, участвовала в тестировании.

Подробнее