Андрей К. Data инженер, Middle+

Участие в проектировании архитектуры ETL/ELT процессов и дата-платформ Уверенное знание Apache Spark Разработка, тестирование и мониторинг ETL/ELT процессов с использованием Apache Airflow, Apache NiFi для автоматизации потоков данных Опыт использования GIT, Docker, Confluence, Jira Опыт создания API-интеграций с внешними сервисами (Kafka, RabbitMQ и др.) Знание SQL и опыт работы с PostgreSQL, Greenplum, Clickhouse, Hadoop, Hive Разработка и поддержка инструментов доступа к Data Lake Опыт работы с Unix-системами и CLI Опыт командной работы и взаимодействия с инженерами, аналитиками и бизнесом Аналитические и организационные навыки

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

В Data с 2021 года, коммерческий опыт Data Engineer более 4 лет. Занимался тестированием ETL процессов, написанием автотестов и инструментов для тестирования в команде из 6 ETL QA инженеров. Занимался разработкой и внедрением фреймворка DQ для проверки качества данных в команде из 13 DQ инженеров. Также разрабатывал ETL процессы для построения витрин для дальнейшего анализа и выявления аномалий при сравнении данных из разных источников. Ключевые навыки: SQL, Python, Apache Spark, Hadoop, S3, Apache Airflow, Parquet, Kafka, ETL, ClickHouse, Trino, Git, CI/CD, Системный анализ, Тестирование (Data Quality), РСУБД (ClickHouse, Greenplum, Oracle, PostgreSQL), XML, JSON, Data Analysis, Big Data, DWH, Docker, Apache Hive, Apache Iceberg, Soda Core, Pytest, BI, SAS, Git, CI/CD, BI, Jira, Confluence

Data Engineer с 3-летним опытом работы и 4-летним стажем в IT. Начинал как веб-разработчик на Python/Django/Rest. За это время я успел поработать в 4 компаниях, получив разносторонний опыт в проектировании баз данных, разработке ETL/ELT пайплайнов, управлении и трансформации данных. Привык разбираться в сложных задачах и находить эффективные решения. Я постоянно стремлюсь расширять свои знания и навыки, слежу за новыми тенденциями в области Data Engineering. Умею находить информацию, систематизировать ее и применять на практике. Буду рад достичь новых высот в этой сфере и внести вклад в развитие компании.

Ухаживает за проектами, как за домашним садом Стек кандидата на данный момент: • Android • Kotlin / Java • View / Compose • Coroutines • Dagger2 / Hilt / Koin • JUnit, Mockito / Espresso Также владеет следующими технологиями: • Nginx • Docker • Jenkins • SQL • NoSQL • HTTP • WebSocket • WebRTC • Node.js (JavaScript / TypeScript) • Fastify / Express.js • Next.js (React + Redux) • Python

Опыт внедрения автотестов на проектах “с нуля” Опыт в автотестировании - 7 лет, опыт автоматизации тестирования мобильных приложений более 2-х лет Опыт работы с разными продуктами в разных сферах бизнеса (телеком, госпроекты, e-commerce)