Ислам И. Data инженер, Senior

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

В Data с 2021 года, коммерческий опыт Data Engineer более 4 лет. Занимался тестированием ETL процессов, написанием автотестов и инструментов для тестирования в команде из 6 ETL QA инженеров. Занимался разработкой и внедрением фреймворка DQ для проверки качества данных в команде из 13 DQ инженеров. Также разрабатывал ETL процессы для построения витрин для дальнейшего анализа и выявления аномалий при сравнении данных из разных источников. Ключевые навыки: SQL, Python, Apache Spark, Hadoop, S3, Apache Airflow, Parquet, Kafka, ETL, ClickHouse, Trino, Git, CI/CD, Системный анализ, Тестирование (Data Quality), РСУБД (ClickHouse, Greenplum, Oracle, PostgreSQL), XML, JSON, Data Analysis, Big Data, DWH, Docker, Apache Hive, Apache Iceberg, Soda Core, Pytest, BI, SAS, Git, CI/CD, BI, Jira, Confluence

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

4.5+ лет опыта в роли Data Engineer: проектирование архитектуры, разработка и оптимизация высоконагруженных DWH и ELT/ETL процессов. Опыт с Big Data и потоковой обработкой: реализация пайплайнов на Spark и Flink, обработка десятков ТБ данных в час. Построение DWH с нуля: Wildberries — централизованный DWH для всех бизнес-доменов, включая 50+ интеграций и Clickstream (50+ ТБ/день). Оптимизация производительности: сокращение инцидентов на 90%, ускорение выполнения ETL-процессов в 2 раза, рост доступности данных благодаря внедрению DQ и Data Governance. Работа с распределёнными системами хранения и СУБД: HDFS, Iceberg, Hive, Clickhouse, Greenplum, MongoDB, Oracle, PostgreSQL. Организация интеграций и CDC: внедрение Debezium + Kafka Connect, миграция с Hadoop на Clickhouse (500+ ТБ данных). Опыт менторства и лидерства: наставничество, проведение технических собеседований, обучение команд-заказчиков по работе с ресурсами DWH. Широкий технологический стек: Airflow, Dagster, dbt, Spark, Flink, Kafka, Trino, Kubernetes, Docker, Gitlab CI/CD, OpenMetadata.

Дата инженер / Системный Аналитик с опытом работы более 5 лет. Я являюсь опытным специалистом, которому нравится создавать новаторские и эффективные решения. У меня обширный опыт в разработке и глубокое понимание современных технологий. Проактивный командный игрок с отличными навыками коммуникации, способен быстро осваивать новые технологии и методологии. Ставлю требования бизнеса на первое место. Независимо от того, работаю я самостоятельно или в составе команды, моя цель – достигать результатов, которые превосходят ожидания и способствуют успеху бизнеса. Языки программирования Python, SQL. Инженерия данных Apache Hadoop, HDFS, Apache Spark, PySpark, Apache Airflow. Облачные технологии Yandex Cloud (DataLens, Object Storage, Virtual Machines, Data Proc, Cloud Functions, Managed Kubernetes, Managed Service for PostgreSQL, KMS, IAM, Monitoring). Базы данных PostgreSQL, Greenplum, Oracle, ClickHouse, MongoDB, Redis. Брокеры сообщений Apache Kafka. Data Science Pandas, NumPy. Моделирование данных Многомерное Моделирование (Схема «Звезда»,, Схема «Снежинка»,), Сущность-Связь (ER) Моделирование, Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Kubernetes, Bash скриптинг. Системы контроля версий Git, GitLab, GitHub.

В работе нравятся математические задачи, стратегический подход и планирование. Большая часть опыта связана с разработкой финтех проектов (фонды, инвестиции). Также участвовал в разработке мессенджеров с повышенной системой безопасности, health care/sport приложений.

Занимаюсь фронтом уже 3 года. Уверенно чувствую себя в разработке SPA-приложений с flux архитектурой. Умею хорошо вписываться в команду, выстраивать границы и выжимать из командной игры максимальную пользу

Golang разработчик с 3-х летним опытом работы.