Андрей Б. Data инженер, Senior

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Владлена — data-инженер уровня middle+ из Минска (Беларусь). Обладает опытом работы с различными инструментами и технологиями, включая Alembic, Apache AirFlow, AWS, Docker, ETL, FastAPI, GitHub Actions, GitLab CI/CD, Python, SQLAlchemy и другие. Владлена участвовала в нескольких проектах в сферах FinTech & Banking и E-commerce & Retail: - Обрабатывала и трансформировала большие данные из разных источников в хранилище. - Разрабатывала и оптимизировала ETL-пайплайны на Apache Airflow, Python и SQL. - Интегрировала данные из различных источников в централизованное хранилище. - Оптимизировала SQL-запросы в Snowflake, PostgreSQL и других базах данных. - Настраивала механизмы ретраев, SLA и уведомлений в Airflow. - Автоматизировала процессы очистки, нормализации, дедупликации и агрегации данных.

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Дата-инженер с опытом работы более 5 лет. Языки программирования Python, SQL. Инженерия данных HDFS, Apache Hadoop, Apache Hive, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (Object Storage, Compute Cloud, Data Proc, Virtual Machines, Managed Kubernetes, IAM, Cloud Functions, Managed Service for PostgreSQL). Базы данных PostgreSQL, ClickHouse, Greenplum, MongoDB, Elasticsearch, MS SQL, Redis. Брокеры сообщений Apache Kafka. Анализ данных Pandas, NumPy. Визуализация данных Power BI, Kibana. Бэкенд FastAPI, Flask. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Медальонная Архитектура, Data Vault, Нормализация / Денормализация. DevOps Docker, Docker Compose, Kubernetes, Bash scripting. Системы контроля версий Git, GitHub, Bitbucket.

Системный аналитик с опытом работы в проектах по автоматизации бизнес-процессов, оптимизации и анализу бизнес-процессов в сферах IoT, E-commerce & Retail и FinTech & Banking. На проектах выполнял следующие обязанности: - разработка и поддержка внутренних программных продуктов; - сбор и анализ требований для новых функций и улучшений существующих решений; - подготовка технической документации; - моделирование бизнес-процессов с использованием BPMN и UML; - взаимодействие с командами разработки и тестирования; - участие в планировании спринтов и мероприятиях по методологии Agile/Scrum; - интеграция нейросетевых решений и автоматизация отчётности. Достижения: - создание платформы для автоматизации бизнес-процессов; - повышение эффективности команд на 20 % благодаря консультированию по оптимизации бизнес-процессов с применением BPMN; - ускорение обработки данных на ~40 % за счёт интеграции REST API и нейросетей; - сокращение ручных операций на 50 % путём автоматизации отчётности для малого бизнеса.

Опыт работы в сфере IT-технологий составляет 11 лет. Основными навыками являются разработка фронтэнда с использованием фреймворка React. Работал с серверами приложений JBoss AS / WildFly и Tomcat. Пользовался системой контроля версий Git и системой непрерывной интеграции Jenkins. Так же участвовал в качестве тестировщика-автоматизатора на проектах с использованием технологий Selenium и RobotFramewok. В качестве разработчика участвовал в работе над приложениями на Java с использованием GWT и JavaFX.

Python JavaScript MySQL PostgreSQL HTML React API Django Framework CSS Веб-программирование Backend Git Доп скилы (в процессе осноения): Fast API, Redis, Celery, Docker