ДЧ
Даниил Ч.
Мужчина
Россия, Сочи, UTC+3
Ставка
4 007,57 Р/час
вкл. НДС 5% (148.57 Р)
Специалист доступен с 20 мая 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие.
Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики.
Опыт работы на проектах:
- В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами.
- В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.
Проекты
(5 лет 3 месяца)
Работа над несколькими проектами банка
Роль
Data Engineer Team Lead (Рост от ETL разработчика до Team Lead команды
Обязанности
Интеграционный слой для системы противодействия мошенничеству (Antifraud)
Интеграционный слой банка (Файлообмен между процессинговыми системами и АБС банка, различные интеграции между системами, поставка данных из продуктовых систем в DWH )
Разработка платформы тестирования
Разработка каталог данных
Руководитель геораспределённой команды DE занимающейся проектом логирования - сбор, поставка данных и построение витрин в DWH на данных из логов
Команда: 15 человек
Архитектура: Микросервисная
Обязанности:
Разработка архитектурных решений
Управление командой состоящей из 4х инженеров
Формирование команды, найм инженеров
Планирование задач, ревью кода
Разработка ETL процессов поставки данных в DWH по логам, сбор витрин
Разработка десятков NRT ETL процессов для сборки витрин в Clickhouse в режиме реального времени
Разработка десятков ETL процессов для сборки витрин в Greenplum с помощью Apache Spark (Spark streaming + batch jobs запускаемые через Airflow)
Написание библиотеки для эффективной работы с Pyspark и автоматизации типовых задач
Оптимизация legacy витрины в Clickhouse, увеличил производительность типовых запросов аналитиков в ~ 12 раз
Выстроил процессы DQ по данным логирования
Работа с realtime потоком данных
Clickstream с помощью Spark Streaming и Kafka, запись данных в сырой слой хранилища , дальнейшее построение витрин
Разработка ETL процессов поставки, очищения, преобразования данных из источников (RDBMS - MS SQL, Postgresql, Oracle, Redis, Kafka, Rabbitmq) в хранилище данных
Миграция DWH с Clickhouse в Greenplum
Миграция структур данных, данных, кода SQL и PL/SQL из Oracle в Greenplum (PostgreSQL)
Построение витрин данных на Clickhouse и Greenplum (с помощью Apache Spark)
Оптимизация витрин в Clickhouse
Оптимизация sql запросов (Clickhouse, Greenplum)
Сопровождение существующих процессов и витрин, починка багов, доработки и тд
Мониторинг качества данных
Подготовка данных для работы командам DS
Ad hoc задачи
Разработка архитектуры БД каталога (DV)
Разработка процесса автоматического наполнения каталога данных
Мониторинг работы приложения, качества данных в каталоге
Описание существующих витрин для каталога данных
Разработка ETL потоков для обработки данных (транзакционные , сессионные, данные о клиентах) в реальном времени, очистки, трансформации, обогащения, приведения к необходимому формату, отправка в систему противодействия мошенничества для анализа, получения результата проверки и отправки интеграционного сообщения в мастер-системы
Разработка ETL процессов
Тестирование ETL процессов
Администрирование и сопровождение инфраструктуры ETL
Мониторинг функциональности, производительности системы и качества данных
Разработка архитектуры интеграционных решений
Решение инцидентов связанных с работой ETL систем
Обучение сотрудников, ревью кода/потоков Apache Nifi
Стек специалиста на проекте
Trino, .NET 4.5, batch, Spark Streaming, clickstream, ClickHouse, Hive, Data, Bash, Git, Oracle, Redis, Pytest, Hadoop, ETL, Kafka, Apache NiFi, Apache Spark, MinIo, Big Data, DWH, S3, RDBMS, Vault, Flake8, PySpark, SQL, Docker, Python, GreenPlum, elt, Apache AirFlow, Microsoft, RabbitMQ, Unit testing, PostgreSQL, CI/CD, Kubernetes
Отрасль проекта
FinTech & Banking
Период работы
Август 2020 - По настоящее время
(4 года 10 месяцев)
Работа с хранением данных и техническая поддержка пользователей
Роль
Data Engineer
Обязанности
Команда: 10-12 человек
Архитектура: Микросервисная
Обязанности:
Техническая поддержка пользователей
Обслуживание вычислительной техники
Service Desk
Help Desk
Обучение сотрудников, ревью
Стек специалиста на проекте
Hadoop, Helpdesk, Service desk
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2019 - Август 2019
(5 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Сибирский Государственный Университет Телекоммуникаций и Информатики
Специальность
Бакалавр, информатика и вычислительная техника
Завершение учебы
2025 г.
Среднее
Учебное заведение
Сибирский Государственный Университет Телекоммуникаций и Информатики
Специальность
Среднее-профессиональное образование, Информационная Безопасность Телекоммуникационных систем
Завершение учебы
2020 г.