Данила М. Data инженер, Middle+

Data Engineer с более чем 3 годами опыта в автоматизации ETL-процессов и проектировании аналитических хранилищ данных (DWH). Специализируется на построении витрин данных (raw, ODS, data marts) с использованием Apache Airflow, Python, SQL и GreenPlum. Оптимизировал SQL-запросы, внедрил проверку качества данных (Great Expectations) и разработал архитектуру для BI-дашбордов (Power BI, Apache Superset). Имеет опыт работы с большими данными (Hadoop, Spark) и интеграции данных между PostgreSQL, GreenPlum и BI-решениями. Обладает навыками настройки DAG’ов Airflow, контейнеризации (Docker) и анализа данных с использованием Pandas, NumPy и Scikit-learn. Коммуникабелен, ориентирован на улучшение процессов и командное взаимодействие.

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

развитые коммуникативные навыки; опыт работы с Python для разработки, сбора данных, анализа данных, работы с большими данными, в том числе с помощью PySpark; работа с SQL на уровне продвинутых запросов: оконные функции, подзапросы, условные функции; опыт работы с UNIX-системами на уровне простых операций: опыт написания простых bash команд; опыт написание тестов для разработанного функционала; опыт рефакторинга кода; участие в создании ETL\ELT процессов; опыт работы с большими данными в экосистеме Hadoop (PySpark, Hive); опыт работы с git; опыт работы с Apache Airflow; опыт работы с Docker в рамках локального запуска контейнеров; умею читать техническую документацию на английском языке.

Опыт работы на всех этапах жизненного цикла разработки программного обеспечения, включающий в себя: работа с базами данных PostgreSQL, ClickHouse, GreenPlum; исследовательский анализ данных с использованием Pandas, Numpy, Seaborn; построение ML-моделей для дополнения отсутствующих данных; проектирование и разработка ETL-процессов с использованием Apache Airflow, SQL, Python, Spark; инструменты скрейпинга BeautifulSoup, Selenium; работа с экосистемой Hadoop - HDFS, YARN, Spark, HBase, Hive, Pig; создание информационных дашбордов с помощью Tableau, Redash, Superset; back-end разработка с помощью Python, Django, DjangoRestFramework. Дополнительная информация: Курсы: Karpov.Courses (01/2021 – 07/2021) Аналитик данных Karpov.Courses (11/2021 – 12/2021) Симулятор аналитика Karpov.Courses (03/2022 – 09/2022) Инженер данных Тренинг-центр ISSoft (06/2022 – 09/2022) «Школа Big Data»

-Увлекаюсь программированием и тестирование и постоянно совершенствую свои навыки в этой области. -Обладаю отличными коммуникативными качествами, что помогает эффективно взаимодействовать с коллегами и находить решения даже в сложных ситуациях. -Доброжелателен и открыт к новым идеям, проявляю усидчивость и внимание к деталям ввыполнении задач. -Критическое мышление позволяет мне глубоко анализировать проблемы и находить оптимальные пути их решения. -Ответственность—мой ключевой принцип в работе и отношениях с людьми. -Уверенно пользуюсь API для тестирования для решения и локализации задач для web-приложений. -Изучаю новые материалы на YouTube, Habr, Stepik. -В свободное от работы время уделяю внимание спорту, музыке, кино и сериалам api sql web qa qc postman jira get ui ux redmine soap mysql

- Опыт в коммерческой разработке на Java более 4 лет, на Kotlin более 2х лет; - Умение составлять запросы к БД (MySQL, PostgreSQL, Redis, MongoDB); - Опыт использования Docker, docker-compose (4 года), Portainer (2 года); - Знание Spring 5.x (MVC, DATA, Security, WebFlux, JPA); - Опыт работы со сборщиками (Maven, Gradle); - Умение разбираться в чужом коде и проводить качественные code review; - Опыт участия в модульном тестировании (JUnit, Mockito, Cucumber, TestContainers); - Знание и понимание принципов DI, SOLID; - Опыт разработки и проектирования REST API; - Опыт профилирования и поиска узких мест; - Опыт использования и настраивания CI/CD; - Умение работать с очередями сообщений (RabbitMQ, Apache Kafka); - Высокая организованность, ответственность, мотивация работать на результат. Умеет эффективно работать самостоятельно и в составе распределенной команды

Занимается программированием с 2011 года (Школа - нынешнее время), имеет опыт работы с 2018 года в рамках дипломной работы в сфере машинного обучения и по сей день. Писал код на разных языках: Pascal, c++, c#, java, python. Предпочтение отдал последнему, на данный момент является python backend разработчиком. Навыки владения английским языком на уровне чтения документации. Опыт в проектах: Разработка desktop приложения в сфере геофизики с использованием машинного обучения. Автоматизация и проектирование бизнес процессов с использованием сервиса Bitrix24. Контроль за проведением строительных работ в режиме реального времени (django + rest) https://stroykapp.ru/ Онлайн сервис для проверки домашних работ учеников с использованием алгоритмов машинного обучения в рамках гранта МинПросвещения РФ "Quick check". Автоматизация рабочего процесса с использованием restful api для ios\android. Научно-исследовательский проект (3d моделирование) в сфере медицины с использованием Unity (c#). Имеет опыт работы со следующими технологиями на python: django, djangorestframework, celery, numpy, pandas, openpyxl (и др. библиотеки для формирования документов), Scikit-learn, opencv, pyqt.