Максим У. Data инженер, Senior

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Кандидат обладает более чем 10-летним опытом работы в области Data Engineering, включая опыт работы с Oracle, SQL, Python, Spark, Hadoop, Airflow, и Grafana. Участвовал в миграции DWH, оптимизации SQL-запросов и разработке ETL-процессов. Руководил командами и обеспечивал высокое качество данных.

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Занимаюсь разработкой на Ruby on Rails около 14 лет. Умение писать оптимизированный и безопасный код, покрытый тестами, понимание принципов ООП и паттернов проектирования. Опыт разработки REST API по спецификации JSONAPI и написанием контрактов для Swagger. Знание паттернов проектирования в ООП, принципы проектирования архитектуры (12-factor app, solid, dry, yagni, kiss, inversion of control, dependency injection, DI-Container, sqrs, event-sourcing) Опыт разработки мультитенантной архитектуры и api для мобильных приложений. Опыт работы в команде (gitlab, jira, confluence, kanban, ci/cd) Опыт full-stack разработки новостного портала с посещаемостью >9млн/мес. Умение самостоятельно решать задачи, самообучаемость, стремление к наилучшему решению.

Фарит — Senior Python разработчик из Москвы с опытом работы 13 лет 2 месяца. Специализируется на разработке в области E-commerce & Retail. Имеет квалификацию кандидата технических наук по специальности «Системный анализ» и инженера по специальности «Промышленная электроника». Ключевые навыки: Apache AirFlow, Asyncio, asyncpg, Django, Docker, FastAPI, Flask, Git, Google Docs, Hadoop, htmlxml, Kafka, Kubernetes, Linux, Machine learning, MS Windows, Numpy, Pandas, PostgreSQL, Pydantic, Pytest, Python, PyTorch, SQL, SQLAlchemy, API, Celery, CI/CD, code-review, Compose, Confluence, Django ORM, ELK Stack, GitLab, Grafana, Jira, MongoDB, MyPy, Poetry, Prometheus, Redis, Requests, ruff, Sentry, SOLID, Unit testing, нереляционные БД (NoSQL). Владеет английским языком на уровне C1. Принимал участие в следующих проектах: - RUSH Agency: роль — Python developer/Team Lead. Проектирование архитектуры сервисов и их взаимной связи, алгоритмов работы сервисов, внутренних и внешних интерфейсов. Управление командой разработки. - Модуль парсинга сайтов фирм-производителей с выстраиванием дерева зависимостей дополнений и апдейтов программного обеспечения: роль — Python developer. Парсинг сайтов, работа с Pytest, реляционными и nosql БД (Mongo), Sqlalchemy. - ASDI Programming: роль — Python and JAVA developer. Проектирование архитектуры, выбор и адаптация алгоритмов работы, проектирование внутренних и внешних интерфейсов, кодирование, установка и сопровождение программных модулей.

Python-разработчик уровня Junior+. Специализируюсь на разработке с использованием Python, включая работу с Selenium, requests, Django, Flask и aiogram3. Также владею базой Java, PostgreSQL, Docker, Redis, Git, SQLAlchemy, Linux, SQL, Asyncio. Имеет опыт работы в отрасли AI & Robotics. Участвовал в проекте по разработке телеграм-бота для поиска автозапчастей, где полностью разработал бота с использованием библиотеки aiogram3, базы данных PostgreSQL и Redis. Написал документацию и завернул в Docker.