Денис Ф. Data инженер, Middle

ID 16808
ДФ
Денис Ф.
Мужчина, 27 лет
Россия, Самара, UTC+4
Ставка
2 825,85 Р/час
вкл. НДС 5% (104.76 Р)
Специалист доступен с 4 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle
Навыки
Apache
Apache AirFlow
Apache Kafka
Bash
Docker
Git
Google colab
Matplotlib
NiFi
Numpy
Pandas
Plotly
Power BI
PySpark
ClickHouse
GreenPlum
Hive
Identity Server
Microsoft
PostgreSQL
SQL
Python
Linux
MS Windows
Kafka
Jira
Hadoop
T-SQL
pl
PL/pgSQL
ETL
DWH
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B1
Главное о специалисте
развитые коммуникативные навыки; опыт работы с Python для разработки, сбора данных, анализа данных, работы с большими данными, в том числе с помощью PySpark; работа с SQL на уровне продвинутых запросов: оконные функции, подзапросы, условные функции; опыт работы с UNIX-системами на уровне простых операций: опыт написания простых bash команд; опыт написание тестов для разработанного функционала; опыт рефакторинга кода; участие в создании ETL\ELT процессов; опыт работы с большими данными в экосистеме Hadoop (PySpark, Hive); опыт работы с git; опыт работы с Apache Airflow; опыт работы с Docker в рамках локального запуска контейнеров; умею читать техническую документацию на английском языке.
Проекты   (4 года 1 месяц)
Мониторинг и оценка качества воздуха в городской среде
Роль
Data Engineer
Обязанности
Описание проекта Поддержка работоспособности мониторинга загрязнение окружающей среды и контроль состояния загрязнения атмосферы в населенных пунктах. Состав команды 1 PO, 2 BE, 1 FE, 1 DA, 2 DE Технологии на проекте Airflow, Hadoop, PySpark, SQL, Python, Bash, Git, ClickHouse Задачи/реализованный функционал Поначалу занимался задачами, связанными с качеством данных: выяснял возникновение ошибок в Airflow и исправлял их; интегрировал данные в таблицы за отсутствующие периоды; описывал документацию по потокам данных: создавал схемы потоков данных и описание трансформаций данных. Также создавал ETL-процессы под новые бизнес запросы, или с учетом масштабирования при помощью Apache Airflow. Работал с большими и нагруженными системами
Стек специалиста на проекте
Git, SQL, Python, Bash, ClickHouse, Hadoop, Apache AirFlow, PySpark
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2023 - По настоящее время  (2 года 4 месяца)
Анализ кредитных рисков стартапов
Роль
Data Engineer / Data Analyst
Обязанности
Описание проекта Проект направлен на создание системы для анализа и оценки кредитных рисков различных стартапов. Система использует данные о заемщиках, их финансовую историю и другие факторы для моделирования вероятности дефолта и определения оптимальных условий кредитования. Состав команды 1 PO, 1 BA, 1 SA, 2 BE, 1 FE, 1 QA, 1 DS, 2 DE Технологии на проекте Airflow, Hadoop, PySpark, SQL, Python, GreenPlum, Git, Linux, Bash Задачи/реализованный функционал Проводил исследование данных, которые есть у компании и которые были бы необходимы в рамках проекта, по итогу выделил данные о заемщиках, о конкурентах и об экономическом рынке на текущий момент. Далее занимался созданием ETL-процесса для сбора, обработки и загрузки этих данных в схему нашей команды. В том числе имел опыт создание витрин данных в архитектуре Data Vault. В последующем занимался исправлением ошибок, которые могли возникать в DAG-ах при сборе, обработке и загрузке данных. Также подготавливал данные для визуализации и отчетности. Помимо этого занимался описанием всех ETL-процессов внутри проектов и создал схему потоков данных, SLA регламентов. Составлял сложные SQL-запросы и разрабатывал на SQL-диалекте (PL SQL).
Стек специалиста на проекте
Git, SQL, Python, Bash, Linux, Hadoop, GreenPlum, Apache AirFlow, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Июль 2021 - Март 2023  (1 год 9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Самарский университет путей сообщения
Специальность
Специалитет
Завершение учебы
2020 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
EdTech • Hardware
СП
Сергей П.
Санкт-Петербург
Data инженер
Lead
4 349,14 Р/час
Agile
Apache
Apache Hadoop
Apache Spark
Apache Superset
arch
arrow
Bash
C/C++
CentOS
+63

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее

Недавно просмотренные специалисты

Insurance • Telecom
НЧ
Нарек Ч.
Краснодар
QA авто
Senior
3 116,88 Р/час
Тест-дизайн
console
BloomRPC
Работа с базами данных
Регрессионное тестирование
кд
NX
UI
PosrgteSQL
grace
+96

Нарек — опытный QA-инженер с навыками автоматизации тестирования. Обладает глубоким пониманием микросервисной архитектуры, работы с Docker и Kubernetes, а также опытом использования GitLab для непрерывной интеграции. Нарек способен тестировать бэкенд HTTP и gRPC, работать с базами данных PostgreSQL и библиотеками запросов requests и psycopg2. Умеет писать тестовые фреймворки на Pytest и использовать Allure для отчётности. Имеет опыт работы в проектах для компаний из сфер телекоммуникаций и страхования. Нарек успешно справляется с различными видами тестирования, написанием тест-кейсов, менторингом и обучением других автоматизаторов. Обладает навыками работы с API, REST, SQL, Python, Selenium, Jenkins, Jira и Confluence. Способен анализировать и читать техническую документацию, а также взаимодействовать с разработчиками для повышения коммуникации и ускорения ликвидации багов.

Подробнее