Денис Ф. Data инженер, Middle

ID 16808
ДФ
Денис Ф.
Мужчина, 27 лет
Россия, Самара, UTC+4
Ставка
2 825,85 Р/час
вкл. НДС 5% (104.76 Р)
Специалист доступен с 12 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle
Навыки
Apache
Apache AirFlow
Apache Kafka
Bash
Docker
Git
Google colab
Matplotlib
NiFi
Numpy
Pandas
Plotly
Power BI
PySpark
ClickHouse
GreenPlum
Hive
Identity Server
Microsoft
PostgreSQL
SQL
Python
Linux
MS Windows
Kafka
Jira
Hadoop
T-SQL
pl
PL/pgSQL
ETL
DWH
Отрасли
E-commerce & Retail
FinTech & Banking
Знание языков
Английский — B1
Главное о специалисте
развитые коммуникативные навыки; опыт работы с Python для разработки, сбора данных, анализа данных, работы с большими данными, в том числе с помощью PySpark; работа с SQL на уровне продвинутых запросов: оконные функции, подзапросы, условные функции; опыт работы с UNIX-системами на уровне простых операций: опыт написания простых bash команд; опыт написание тестов для разработанного функционала; опыт рефакторинга кода; участие в создании ETL\ELT процессов; опыт работы с большими данными в экосистеме Hadoop (PySpark, Hive); опыт работы с git; опыт работы с Apache Airflow; опыт работы с Docker в рамках локального запуска контейнеров; умею читать техническую документацию на английском языке.
Проекты   (4 года 1 месяц)
Мониторинг и оценка качества воздуха в городской среде
Роль
Data Engineer
Обязанности
Описание проекта Поддержка работоспособности мониторинга загрязнение окружающей среды и контроль состояния загрязнения атмосферы в населенных пунктах. Состав команды 1 PO, 2 BE, 1 FE, 1 DA, 2 DE Технологии на проекте Airflow, Hadoop, PySpark, SQL, Python, Bash, Git, ClickHouse Задачи/реализованный функционал Поначалу занимался задачами, связанными с качеством данных: выяснял возникновение ошибок в Airflow и исправлял их; интегрировал данные в таблицы за отсутствующие периоды; описывал документацию по потокам данных: создавал схемы потоков данных и описание трансформаций данных. Также создавал ETL-процессы под новые бизнес запросы, или с учетом масштабирования при помощью Apache Airflow. Работал с большими и нагруженными системами
Стек специалиста на проекте
Git, SQL, Python, Bash, ClickHouse, Hadoop, Apache AirFlow, PySpark
Отрасль проекта
E-commerce & Retail
Период работы
Апрель 2023 - По настоящее время  (2 года 4 месяца)
Анализ кредитных рисков стартапов
Роль
Data Engineer / Data Analyst
Обязанности
Описание проекта Проект направлен на создание системы для анализа и оценки кредитных рисков различных стартапов. Система использует данные о заемщиках, их финансовую историю и другие факторы для моделирования вероятности дефолта и определения оптимальных условий кредитования. Состав команды 1 PO, 1 BA, 1 SA, 2 BE, 1 FE, 1 QA, 1 DS, 2 DE Технологии на проекте Airflow, Hadoop, PySpark, SQL, Python, GreenPlum, Git, Linux, Bash Задачи/реализованный функционал Проводил исследование данных, которые есть у компании и которые были бы необходимы в рамках проекта, по итогу выделил данные о заемщиках, о конкурентах и об экономическом рынке на текущий момент. Далее занимался созданием ETL-процесса для сбора, обработки и загрузки этих данных в схему нашей команды. В том числе имел опыт создание витрин данных в архитектуре Data Vault. В последующем занимался исправлением ошибок, которые могли возникать в DAG-ах при сборе, обработке и загрузке данных. Также подготавливал данные для визуализации и отчетности. Помимо этого занимался описанием всех ETL-процессов внутри проектов и создал схему потоков данных, SLA регламентов. Составлял сложные SQL-запросы и разрабатывал на SQL-диалекте (PL SQL).
Стек специалиста на проекте
Git, SQL, Python, Bash, Linux, Hadoop, GreenPlum, Apache AirFlow, PySpark
Отрасль проекта
FinTech & Banking
Период работы
Июль 2021 - Март 2023  (1 год 9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Самарский университет путей сообщения
Специальность
Специалитет
Завершение учебы
2020 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
EdTech • Hardware
СП
Сергей П.
Санкт-Петербург
Data инженер
Lead
4 349,14 Р/час
Agile
Apache
Apache Hadoop
Apache Spark
Apache Superset
arch
arrow
Bash
C/C++
CentOS
+63

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • HRTech • Travel, Hospitality & Restaurant business
ЕК
Егор К.
Сарапул
Full Stack разработчик
Middle+
2 337,66 Р/час
temporal
HTML5
Clean Architecture
Payload CMS
SOLID
Git
MongoDB
Linux
Jest
CSS3
+36

Егор — опытный fullstack-разработчик, специализирующийся на React, Node.js, MongoDB, Python и других технологиях. Опыт работы: - Облачная платформа АРМ казначейства (FinTech & Banking): переписал модуль расчёта справедливой стоимости с Python на JavaScript, ускорил загрузку страниц, разработал интерфейс приложения с использованием Ant Design. - Платформа автогарантий (FinTech & Banking): рефакторинг кода, разработка системы вознаграждений агентов, создание отчётов для бизнес-аналитики. - Платформа для бронирования мест проведения мероприятий (Travel, Hospitality & Restaurant business): внедрение зависимостей на базе DI-контейнера InversifyJS, разработка модульной архитектуры приложения. - Платформа для аутстаффинга (HRTech): внедрение системы DI на базе InversifyJS для backend-части приложения, проектирование и реализация модульной архитектуры backend-приложения.

Подробнее
AgroTech • FinTech & Banking • Government & Public Sector • Information Security • Marketing, Advertising & Design • Realty & Constructoring
ИР
Илья Р.
Москва
QA ручной
Senior
3 596,53 Р/час
Регрессионное тестирование
Jira Zephyr
Redmine
client
BSC
dbeather
IOS
Смарт Лидз
Kanban
СМЭВ
+87

Высокая компьютерная грамотность. Опыт работы с багтрекинговыми программами и инструментами тестирования: TFS, HP ALM, Redmine, Jira. Понимание работы протоколов SOAP, JSON, http Есть опыт работы с html, xml. С инструментами: Wireshark, Hermes, SoapUI Небольшой опыт работы с базами данных MySQL, Oracle, PostgreSql, Microsoft Access Написание SQL запросов средней сложности: с использование условий where, distinct, а так же goup by, left/ right/inner/outer join, union. Базовые навыки программирования. Школьный курс Pascal, Basic. Самостоятельное изучение php, java(2014г), python(2018-2019) Свободное чтение технической литературы и ведение деловой переписки на английском языке. Знание Английского, что позволяет взаимодействовать в в международных командах разработчиков

Подробнее