Артур Х. Data инженер, Senior

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

За всю карьеру было реализовано большое количество проектов. Начиная от систем контроля доступа, заканчивая разработкой LLM моделей для автоматизации работы менеджеров и ОКК. Также разрабатывал архитектуру для высоконагруженных систем. Разрабатывал DataLake и DWH для дальнейшего построения системы аналитики данных. Разрабатывал системы отчетности. Работал с машинным зрением (классификация изображении). Реализовывал системы речевой аналитики на Pytorch (как самостоятельно разрабатывал сети, так и использовал BERT модели). В работе обычно использую Python, PSQL, Mongo, Redis, Kafka, Airflow, Docker, K8s По мимо этого, руководил проектом по внедрению VDI для работы удаленных пользователей.

В Data с 2021 года, коммерческий опыт Data Engineer более 4 лет. Занимался тестированием ETL процессов, написанием автотестов и инструментов для тестирования в команде из 6 ETL QA инженеров. Занимался разработкой и внедрением фреймворка DQ для проверки качества данных в команде из 13 DQ инженеров. Также разрабатывал ETL процессы для построения витрин для дальнейшего анализа и выявления аномалий при сравнении данных из разных источников. Ключевые навыки: SQL, Python, Apache Spark, Hadoop, S3, Apache Airflow, Parquet, Kafka, ETL, ClickHouse, Trino, Git, CI/CD, Системный анализ, Тестирование (Data Quality), РСУБД (ClickHouse, Greenplum, Oracle, PostgreSQL), XML, JSON, Data Analysis, Big Data, DWH, Docker, Apache Hive, Apache Iceberg, Soda Core, Pytest, BI, SAS, Git, CI/CD, BI, Jira, Confluence

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

- Более 5-ти лет опыта бизнес- и системного анализа в коммерческих или государственных проектах - Опыт работы с внешними и внутренними интеграционными взаимодействиями (REST API, SOAP, ESB, Apache Kafka, RabbitMQ) - Опыт работы с СУБД: PostgreSQL, MS SQL, Oracle DB - Опыт разработки технических заданий, руководства пользователей, программ и методик испытаний - Опыт выявления и управления требованиями (бизнес-требования, функциональные и нефункциональные требования к ПО) - Участие более чем в 16-ти проектах различных сфер в качестве бизнес- и системного аналитика, а также product owner или менеджера проектов - Опыт работы в каскадных (Waterfall) и гибких (Scrum) методологиях Участие в качестве спикера на конференциях, презентациях

Технические компетенции: Системное администрирование: - Администрирование Windows и Linux систем - Работа с терминальными средами (cmd, PowerShell, bash, zsh, alias) - Управление доменными структурами - Настройка и мониторинг файрволов (iptables, Windows Firewall) - Конфигурация DNS-серверов - Конфигурация маршрутизации и сетевой инфраструктуры Разработка и веб-технологии: - Фронтенд: HTML5, CSS3, JavaScript - Бэкенд: PHP, Python - Работа с базами данных: MariaDB, MySQL - Фреймворки: Flask, FastAPI - Версионирование: Git, GitLab Практический опыт и достижения: Автоматизация процессов: - Разработка bash-скриптов для автоматизации рутинных задач - Автоматизация установки Linux-систем с дополнительным ПО (ускорение процесса на 50%) - Скрипты для введения компьютеров в домен (ускорение процесса на 40%) - Автоматизация установки и обновления драйверов - Оптимизация процессов удаления и установки программного обеспечения (ускорение процесса на 60%) Веб-разработка: - Разработка и поддержка веб-проектов (доступны на GitHub и в облачном хранилище) - Создание веб-приложений с регистрацией и интеграцией с базами данных - Опыт работы с REST API - Внедрение систем аутентификации и авторизации

люблю развиваться, хочу расти, изучать новое и помогать команде в любых проектах

Разносторонний специалист с инженерным складом ума.

Андрей, Lead Java разработчик Андрей имеет опыт работы в проектах, связанных с разработкой программного обеспечения для e-commerce и retail, fintech и banking, а также здравоохранения. Он успешно участвовал в разработке продуктов. В своей работе Андрей активно использует Java, Spring, Docker, Spring Boot, PostgreSQL, Hibernate, Kafka, SQL, REST, Gradle, Jira, Kubernetes, Liquibase. Он также обладает навыками работы с Maven, Apache Karaf, JUnit, Python, SQL и PL/SQL, Git, Markdown. На своих проектах Андрей выполнял следующие задачи: - разработка продукта «Динамическое ценообразование»: ведение полного жизненного цикла разработки данного продукта, от идеи до внедрения; - активное участие в проектировании и разработке архитектуры микросервисов; - управление требованиями и постановка задач; - формирование backend-команды; - проведение тщательных интервью по hard и soft skills для обеспечения качественного пополнения команды новыми членами; - контроль качества кода и тестирование; - планирование и отслеживание выполнения задач; - выбор технологического стека; - менторство и обучение участников команды. Опыт работы Андрея включает участие в начальной стадии развития проекта, разработку MVP проекта на базе микросервисной архитектуры, интеграцию с внешними системами, обеспечение масштабируемости продукта, выпуск нескольких релизов в продакшн, программирование на 80%, менеджерские задачи на 20% от общего рабочего времени.