Данила М. Data инженер, Middle+

ID 18674
ДМ
Данила М.
Мужчина, 25 лет
Россия, Санкт-Петербург, UTC+3
Ставка
3 339,64 Р/час
вкл. НДС 5% (123.81 Р)
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Middle+
Навыки
Linux
macOS
MS Windows
Python
SQL
Apache AirFlow
Apache Superset
Docker
Git
Jinja
Jupyter
Lightgbm
Matplotlib
Numpy
Optuna
Pandas
Plotly
PyCharm
PyMorphy
PySpark
SciPy
Seaborn
Sklearn
SQLAlchemy
XGBoost
deeppavlov
ClickHouse
GreenPlum
Oracle
PostgreSQL
Отрасли
E-commerce & Retail
FinTech & Banking
HRTech
Logistics & Transport
Главное о специалисте
Данила — опытный Data инженер с опытом работы более 3,5 лет. Он обладает глубокими знаниями и навыками в области работы с данными, включая Linux, macOS, MS Windows, Python, SQL, Apache AirFlow, Apache Superset, Docker, Git, Jinja, Jupyter и другие инструменты. Данила работал над несколькими проектами в таких отраслях, как eFinTech (банки, инвестиции), Toll Road (платные автодороги), MedTech (медицинские учреждения), Retail (магазины). На проектах он занимался разработкой и поддержкой витрин данных, ETL/ELT процессов, а также решением инцидентов и ad-hoc задач. Среди реализованных проектов Данилы можно выделить: - приложение инвентаризации для крупных складов; - анализ и планирование выручки и трафика платной автодороги; - система торговли на фондовых рынках; - приложение для рекомендации изображений; - систему матчинга резюме и вакансий. Профессиональные навыки: - менторство младших разработчиков; - ставил задачи в канбан; - работал с чистым SQL на уровне продвинутых запросов (оконные функции, подзапросы.); - опыт работы с UNIX-системами на уровне простых операций; - развитые коммуникативные навыки; - участие в создании ETL процессов - опыт сбора информации из Интернета путем парсинга - применял как уже обученные модели машинного обучения/глубокого обучения, так и занимался их - - - обучением самостоятельно - опыт работы с большими данными в Hadoop и Spark и в составлении сложных SQL запросов в Apache Hive - участие в проектировании и анализу DWH хранилищ - опыт работы с Apache Airflow - опыт работы с Python для анализа данных (pandas, numpy, matplotlib, seaborn)
Проекты   (3 года 9 месяцев)
Приложение инвентаризации для крупных складов
Роль
Data Engineer
Обязанности
Описание проекта Приложение для ежедневной и ежегодной инвентаризации товаров на складах и полках магазина. Состав команды 2 Data Engineer, Team lead, PM, 4 backend, 3 frontend, DevOps, 2 QA, бизнес-аналитик, application manager Технологии на проекте Airflow, PostreSQL, Greenplum, Clickhouse, Oracle, Python, Jenkins, Задачи/реализованный функционал Разработал и поддерживал витрины данных для инвентаризации товаров. Витрины для отчетов обновлялись с периодичностью в 1час/1день с помощью Airflow. DAG’и служили для перекачки данных между БД (Oracle - Postgres - Greenplum), для обработки данных с помощью Python/SQL. Поддерживал SQL функции на 500-3000 строк для работы с данными. Собирал информацию по продукту у заказчика, а также занимался решением инцидентов и ad-hoc задач, связанных с витринами данных. Полностью поддерживал ETL/ELT процессы на проекте самостоятельно.
Стек специалиста на проекте
PostgreSQL, Python, Oracle, Jenkins, ClickHouse, GreenPlum, Apache AirFlow
Отрасль проекта
E-commerce & Retail
Период работы
Ноябрь 2023 - Ноябрь 2024  (1 год 1 месяц)
Анализ и планирование выручки и трафика платной автодороги
Роль
Data Engineer
Обязанности
Описание проекта Система предиктивной аналитики для прогнозирования бюджета и трафика на автодороге на следующий месяц / год. Проект является системой поддержки принятия решений аналитического отдела с целью расчета бюджета компании. Состав команды data engineer, 2 data аналитика, teamlead, PM Технологии на проекте Python, Scipy, Pandas, Matplotlib, Plotly, Seaborn, Sklearn, XGBoost, LightGBM, Optuna, Git, Jupyter, SQLAlchemy, DeepPavlov Задачи/реализованный функционал Разработал витрины данных и их наполнение/обновление с помощью Airflow (Python + SQL). Полученные данные поступали в отчеты на Superset. Развернул Airflow + Superset через Docker. Поддерживал ETL/ELT процессы в компании и собирал требования напрямую у внутренних заказчиков. Разработал систему прогнозирования выручки компании на основе показателей технического анализа временного ряда, а также сезонной компоненты на месяц / год вперед. Это позволило снизить расхождения бюджета с фактическим значением. Разработал систему прогнозирования трафика на платной автодороге на основе компонент временного ряда, а также показателей погоды и тарифов. Это позволило планировать краткосрочные перекрытия дороги для ремонтных работ.
Стек специалиста на проекте
Git, Python, Pandas, SciPy, SQLAlchemy, Matplotlib, Seaborn, XGBoost, Sklearn, Jupyter, Plotly, Lightgbm, Optuna
Отрасль проекта
Logistics & Transport
Период работы
Март 2023 - Октябрь 2023  (8 месяцев)
Система торговли на фондовых рынках
Роль
Data Engineer
Обязанности
Описание проекта Построение автоматизированной торговой системы. Торговля производится роботом на основе более 40 различных торговых стратегий. Каждая торговая стратегия разработана с применением методов оптимизации, математического анализа, машинного обучения. Состав команды Data Engineer, 2 data аналитика, 5 quantitative аналитиков, 4 backend разработчика, 1 ПМ Технологии на проекте Python, Scipy, Pandas, Matplotlib, Plotly, Seaborn, Sklearn, XGBoost, LightGBM, Optuna, Git, Jupyter Задачи/реализованный функционал Разработал и поддерживал инфраструктуру сбора, хранения и обработки больших объемов финансовых данных - котировок, новостей, показателей компаний и т.д. Ежедневно в базу поступало >100ГБ данных. Разработал ETL-процессы для преобразования и очистки данных в удобный для анализа формат.
Стек специалиста на проекте
Git, Python, Pandas, SciPy, Matplotlib, Seaborn, XGBoost, Sklearn, Jupyter, Plotly, Lightgbm, Optuna
Отрасль проекта
FinTech & Banking
Период работы
Апрель 2021 - Апрель 2022  (1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
EdTech • Hardware
СП
Сергей П.
Санкт-Петербург
Data инженер
Lead
4 349,14 Р/час
Agile
Apache
Apache Hadoop
Apache Spark
Apache Superset
arch
arrow
Bash
C/C++
CentOS
+63

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Подробнее
E-commerce & Retail • Urban technology
АТ
Александр Т.
Гродно
Data инженер
Middle
3 147,27 Р/час
Apache AirFlow
Bitbucket
ClickHouse
Django
Django Rest Framework
Docker
Git
GreenPlum
HDFS
Hive
+30

Опыт работы на всех этапах жизненного цикла разработки программного обеспечения, включающий в себя: работа с базами данных PostgreSQL, ClickHouse, GreenPlum; исследовательский анализ данных с использованием Pandas, Numpy, Seaborn; построение ML-моделей для дополнения отсутствующих данных; проектирование и разработка ETL-процессов с использованием Apache Airflow, SQL, Python, Spark; инструменты скрейпинга BeautifulSoup, Selenium; работа с экосистемой Hadoop - HDFS, YARN, Spark, HBase, Hive, Pig; создание информационных дашбордов с помощью Tableau, Redash, Superset; back-end разработка с помощью Python, Django, DjangoRestFramework. Дополнительная информация: Курсы: Karpov.Courses (01/2021 – 07/2021) Аналитик данных Karpov.Courses (11/2021 – 12/2021) Симулятор аналитика Karpov.Courses (03/2022 – 09/2022) Инженер данных Тренинг-центр ISSoft (06/2022 – 09/2022) «Школа Big Data»

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking • HRTech • Logistics & Transport
ДМ
Данила М.
Санкт-Петербург
Data инженер
Middle+
3 339,64 Р/час
Apache Superset
MS Windows
ClickHouse
SQLAlchemy
Numpy
Git
Pandas
SciPy
Oracle
Linux
+30

Данила — опытный Data инженер с опытом работы более 3,5 лет. Он обладает глубокими знаниями и навыками в области работы с данными, включая Linux, macOS, MS Windows, Python, SQL, Apache AirFlow, Apache Superset, Docker, Git, Jinja, Jupyter и другие инструменты. Данила работал над несколькими проектами в таких отраслях, как eFinTech (банки, инвестиции), Toll Road (платные автодороги), MedTech (медицинские учреждения), Retail (магазины). На проектах он занимался разработкой и поддержкой витрин данных, ETL/ELT процессов, а также решением инцидентов и ad-hoc задач. Среди реализованных проектов Данилы можно выделить: - приложение инвентаризации для крупных складов; - анализ и планирование выручки и трафика платной автодороги; - система торговли на фондовых рынках; - приложение для рекомендации изображений; - систему матчинга резюме и вакансий. Профессиональные навыки: - менторство младших разработчиков; - ставил задачи в канбан; - работал с чистым SQL на уровне продвинутых запросов (оконные функции, подзапросы.); - опыт работы с UNIX-системами на уровне простых операций; - развитые коммуникативные навыки; - участие в создании ETL процессов - опыт сбора информации из Интернета путем парсинга - применял как уже обученные модели машинного обучения/глубокого обучения, так и занимался их - - - обучением самостоятельно - опыт работы с большими данными в Hadoop и Spark и в составлении сложных SQL запросов в Apache Hive - участие в проектировании и анализу DWH хранилищ - опыт работы с Apache Airflow - опыт работы с Python для анализа данных (pandas, numpy, matplotlib, seaborn)

Подробнее
BioTech, Pharma, Health care & Sports • EdTech • IoT • LifeStyle • Logistics & Transport • Realty & Constructoring • Telecom
АГ
Антон Г.
Брест
React Native разработчик
Middle
3 339,64 Р/час
React Query
Reanimated
Redux
React Navigation
code
push
Native Modules
API
Jest
Bluetooth
+27

React Native разработчик с глубоким пониманием мобильной разработки и акцентом на создание удобных, высокопроизводительных приложений. Имею успешный опыт внедрения сложной бизнес-логики, интеграции с API и соблюдения международных стандартов. Разрабатываю кросс-платформенные приложения с интуитивным интерфейсом, используя современные подходы, включая Feature-Sliced Design и CI/CD. Уверенно работаю с анимациями, BLE и Native Modules, улучшая пользовательский опыт и стабильность приложений. Обеспечиваю оптимизацию производительности и интеграцию аналитики для точного отслеживания пользовательской активности. Активно участвую в онбординге новых разработчиков, внедряя лучшие практики и организуя эффективную командную работу.

Подробнее
BioTech, Pharma, Health care & Sports • Blockchain • E-commerce & Retail • FinTech & Banking • Insurance • Logistics & Transport • Social Networking • Telecom
НД
Никита Д.
Гомель
Frontend разработчик
Middle+
3 376,62 Р/час
MobX
UI
Sass
Redux
Styled-Components
vuetestutils
AntD
Git
Cypress
Webpack
+46

Никита — опытный frontend-разработчик с опытом работы более трёх лет. Он участвовал в разработке нескольких проектов, связанных с e-commerce, блокчейном, логистикой, финансами и другими отраслями. На проектах Никита занимался разработкой систем по требованиям аналитиков, поддержкой и оптимизацией старого кода, оценкой сроков и приоритетности задач, коммуникацией с командой, проведением код-ревью, настройкой инструментов сборки, подбором и применением технологий для старта новых проектов. Также он проводил технические собеседования, развивал инженерную культуру команды и участвовал в планировании развития отдела разработки. Никита обладает навыками работы с JavaScript, HTML, CSS, Vue.js, React, Firebase, Gulp и другими инструментами. Он готов к новым вызовам и проектам.

Подробнее
E-commerce & Retail • FinTech & Banking • GameDev • Logistics & Transport
МА
Максим А.
Москва
Архитектор
Senior
4 155,84 Р/час
Управление командой
паттерны
Redmine
designer
Information
rewrite
search
HTML5
payments
deployment
+148

Основные навыки - Более 18 лет в разработке - Опыт управления командами - Наставничество, проведение 1-1 митингов - Certified AWS Solution Architect Associate - Zend certified php engineer - Отличное знание жизненного цилка проекта - Проектирование архитектуры высоконагруженных, маштабируемых приложений - Дизайн API для разного типа сервисов (мобильные, партнерские системы и тд) - Глубокое знание ООП/ООД, SOLID принципов, DRY, KISS - Проектирование баз данных, оптимизация структур (денормализация, тюнинг и тд) и sql запросов (индексы, блокировки и тд) - Код ревью, рефакторинг, оптимизация - Фреймворки (Spring, Spring Boot, Symfony 2/3/4, Codeigniter and etc ) - Проекты разных типов (крупные, стартапы, с легаси кодом) - Ориентированный на результат, открытый, командный игрок, люблю изучать новое

Подробнее