Максим У. Data инженер, Senior

Data Engineer с более чем 7 годами опыта в разработке ETL-процессов, аналитических витрин и интеграций данных. Специализируется на автоматизации пайплайнов данных с использованием Apache Airflow, Apache NiFi, dbt и других инструментов. Имеет опыт работы с MPP-базами (Greenplum, Snowflake, Teradata), большими данными (Hadoop, Kafka) и BI-инструментами (Datalens, Power BI, Looker). Разрабатывал решения для классификации контента с использованием ML-моделей (CatBoost) и LLM, а также интеграции с 1С, Salesforce и Zendesk. Руководил командами, оптимизировал процессы миграции данных и обеспечивал контроль качества данных. Обладает навыками построения дашбордов, оптимизации производительности баз данных и разработки методологий валидации данных.

Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат. Технические компетенции: Разработка и оптимизация ETL-пайплайнов с использованием Python, PySpark, Airflow, Dbt. Создание и поддержка аналитических хранилищ данных (Greenplum, PostgreSQL, Arenadata DB). Интеграция данных с использованием REST API, Kafka, ClickHouse, SFTP. Парсинг данных из открытых источников (requests, selenium, aiohttp). Визуализация данных в Apache Superset и Datalens. Настройка CI/CD процессов для автоматизации развертывания. Разработка хранимых процедур (PL/pgSQL) и скриптов на Bash. Оптимизация производительности хранилищ и ETL-процессов. Формирование архитектурных решений для миграции данных. Оптимизация произвожительности MPP (Greenplum, Snowflake, Teradata) Работа с большими объемами данных и их обработка (pandas, NumPy, SQL).

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Data Engineering: Проектирование и разработка высоконагруженных ETL/ELT-процессов, оркестрация (Airflow), оптимизация производительности. Базы данных: Глубокие знания SQL, оптимизация сложных запросов. Опыт с MPP-системами (GreenPlum, Teradata), традиционными СУБД (Oracle, PostgreSQL, MS SQL Server) и Hadoop-экосистемой (HDFS, Hive, Impala). Программирование: Python (разработка ETL), Java (интеграционные шины, Spring Boot), опыт с Scala-окружением (Apache Spark, Kafka). Инструменты: Airflow, dbt, Apache Kafka, Trino, Apache Spark, Debezium, Pentaho, Talend DI. Инфраструктура: Kubernetes, Docker, Yandex Cloud (YC), S3, опыт развертывания и миграции на container-based инфраструктуру Сертификаты обучения: Informatica, SAS DIS, Oracle, Golden Gate

Тестировщик 1С с более чем 4--летним опытом, специализирующийся на ручном и автоматизированном тестировании 1С, web-систем и интеграционных решений. Участвовал в построении QA-инфраструктуры с нуля, настройке пайплайнов, CI/CD, взаимодействии с аналитиками, разработчиками и DevOps-инженерами. Эксперт в применении Vanessa Automation, Jenkins, Azure DevOps, а также в сопровождении тестирования в корпоративных системах (логистика, ERP, фармацевтика).

Ксения — опытный QA-специалист. Участвовала в разработке общих микросервисов для контроля лимитов и правильности списания средств, цифрового рубля, СБП. Выполняла задачи по разработке автотестов для backend микросервисов (интеграционные и e2e) на Kotlin, Java, Groovy, а также рефакторинг и поддержку старых тестов. Занималась разработкой нагрузочных тестов (Gatling, Scala), настройкой CI/CD и встраиванием тестов в пайплайн, организацией процессов автоматизации тестирования и взаимодействием с командой разработки и менеджментом. Работала над проектом мобильного банковского приложения, где выстраивала процессы тестирования и автоматизации, разрабатывала тестовые фреймворки, обеспечивала качество продукта и отсутствие критичных багов, анализировала спецификации, оценивала трудоёмкость и сроки выполнения работ в части тестирования, проводила код-ревью.

Инженер данных с более чем шестилетним опытом в разработке и сопровождении ETL-процессов, оптимизации баз данных и построении аналитических систем. Работал в сферах промышленной автоматизации, финансового сектора, консалтинга и e-commerce, последовательно развивая экспертизу в управлении потоками данных, трансформации бизнес-логики и интеграции разнотипных систем. Обладает углублёнными техническими компетенциями в языках программирования Python, SQL, PySpark, владеет инструментами Apache Airflow, Knime, Alteryx, Git и системами визуализации — Tableau, Power BI, SSRS. Уверенно работает с аналитическими СУБД: ClickHouse, Vertica, Hive, MSSQL, PostgreSQL, реализует надёжные пайплайны обработки данных для хранилищ и Data Lake-сред. Его решения помогли сократить задержки обработки данных, увеличить надёжность поставки информации и повысить скорость генерации ключевых бизнес-показателей. Активно взаимодействует с бизнесом и разработчиками, умеет переводить бизнес-требования в технологические архитектуры, ведёт документацию и сопровождает проекты end-to-end.

Java-разработчик с опытом работы на проектах в сфере IoT более 3 лет. Участвовал в разработке микросервисных веб-приложений для управления цепочками поставок и системы управления закупками. В рамках проектов занимался разработкой сервисов с нуля, оптимизацией кода, интеграцией с внешними сервисами, проведением код-ревью и оценкой задач. На проекте по созданию микросервисного веб-приложения для управления цепочками поставок разработал Supplier service (отслеживание контрактов, ведение истории взаимодействий, управление закупками, разработка рейтинговой системы) и Order Service (интеграция с различными платёжными системами для глобальной торговли). В рамках проекта по разработке системы управления закупками создал сервисы управления заказами и инвентарём, а также сервис заявок на закупку с многоступенчатым согласованием.

Специализации: — Технический директор (CTO) — Руководитель проектов — Программист, разработчик — Руководитель группы разработки — Директор по информационным технологиям (CIO)