Николай М. Data инженер, Senior

Опыт в data engineering и системной интеграции более 18 лет Проектирование и развитие DWH/Lakehouse-архитектуры (Data Vault 2.0), объемы платформ 10+ PB Разработка и сопровождение высоконагруженных ETL/ELT-пайплайнов (Spark, Flink, Airflow) Экспертиза в Apache Spark/PySpark, Hadoop/HDFS, Hive, HBase, Kafka, Iceberg, S3 Оркестрация пайплайнов в Apache Airflow; кастомные операторы, инкременты, batch-slicing Интеграция и миграции в Greenplum, Trino, ClickHouse, YTsaurus/YQL, S3/Iceberg Разработка backend на Java/Spring и Python/FastAPI; AI/LLM (LangChain, LangGraph, Qdrant) Data Quality, мониторинг и надежность контуров до SLA 99.9% Декомпозиция задач, техдокументация, координация команд (Jira, Confluence, CI/CD)

Здравствуйте! Меня заинтересовала данная позиция, поскольку мой профессиональный опыт напрямую связан с построением корпоративных Data Platform, разработкой высоконагруженных ETL/ELT процессов, развитием DWH/Data Lake решений и обработкой больших объемов данных. Более 18 лет работаю в области системной интеграции, аналитики данных и Data Engineering, последние 6 лет — в роли Senior Data Engineer в Сбербанке. Имею практический опыт работы с Apache Spark, PySpark, Kafka, Flink, Hadoop ecosystem (HDFS, Hive, HBase), Airflow, ClickHouse, Greenplum, Trino, Iceberg, PostgreSQL и dbt. Разрабатывал и сопровождал высоконагруженные пайплайны обработки данных, участвовал в построении Data Lake и DWH платформ объемом более 10 PB данных, реализовывал инкрементальные и streaming-сценарии обработки данных, а также занимался проектированием и развитием аналитических витрин. В рамках проектов активно использовал Data Vault 2.0, занимался построением моделей данных, разработкой ETL/ELT процессов, контролем качества данных, миграцией аналитических контуров и интеграцией корпоративных систем через Kafka и другие интеграционные решения. Имею опыт работы с современными форматами хранения данных, включая Iceberg, а также опыт построения контуров обработки данных от источника до аналитической витрины. Дополнительно занимаюсь разработкой backend-сервисов на Java и Python, участвовал в создании AI/LLM решений с использованием LangChain, LangGraph, Qdrant и RAG-подходов. Имею опыт технического лидерства, декомпозиции задач, подготовки архитектурной документации, взаимодействия с заказчиками и сопровождения production-систем. Считаю своими сильными сторонами системное мышление, глубокое понимание архитектуры данных, опыт работы с высоконагруженными платформами и способность быстро погружаться в новые технологии и предметные области. Буду рад подробнее рассказать о своем опыте и обсудить возможности сотрудничества.

Алексей — Data инженер уровня Senior с опытом работы в сферах E-commerce & Retail и LifeStyle. Имеет высшее образование по специальности «Вычислительная математика и кибернетика» Московского государственного университета. Владеет английским языком на уровне B2. Участвовал в разработке и поддержке нескольких проектов: - Платформа для мониторинга и расчётов в сфере тарифного регулирования, где занимался разработкой и внедрением архитектурных решений для ETL/ELT, проектированием и поддержкой ETL-процессов, работой с базами данных Postgres, Oracle, ClickHouse, MySQL. - Высоконагруженная микросервисная платформа, обрабатывающая юридически значимый документооборот органов власти и коммерческих контрагентов, где занимался проектированием и поддержкой ETL-процессов, оптимизацией SQL/PLpgSQL-запросов, разработкой микросервисов. - Модуль генерации карт из PostGIS с реактивной выдачей изображений и MVP интернет-магазина с каталогом, корзиной и личным кабинетом, где занимался реализацией реактивного backend для e-commerce, проектированием MVC-архитектуры, REST-эндпоинтов и схемы PostgreSQL. - Контент-платформа для публикации философских эссе с админ-панелью и гибкой категоризацией, где занимался развёртыванием Laravel 8 и интеграцией Voyager CMS, настройкой ролей и прав доступа.

Даниил — Data инженер уровня Senior с опытом работы 11 лет 2 месяца. Специализируется на разработке и оптимизации data-платформ, обработке и анализе больших объёмов данных. Владеет английским языком на уровне C1. Имеет опыт работы с технологиями: Apache Kafka, PySpark, Apache AirFlow, ClickHouse, GreenPlum, PostgreSQL, Oracle, MySQL, MS SQL Server, SAS Data Integration Studio (SAS DIS), Informatica PowerCenter, Apache NiFi, Sqoop, Apache Flume, Hadoop ecosystem, Kafka, Flink, Cosmos DB, Prometheus, Grafana, VictoriaMetrics, Zabbix, GitHub Actions, pytest, DBT, Confluence, Debezium. Участвовал в проектах в отраслях E-commerce & Retail и Marketing, Advertising & Design. В рамках проекта по созданию платформы обработки рыночных данных для алгоритмической торговли Даниил построил data-платформу с нуля, реализовал потоковую обработку данных через Kafka (Redpanda), разработал и оптимизировал PySpark-пайплайны, работал с внутренней архитектурой Apache Spark, построил Data Lake на базе S3/HDFS, разработал витрины данных и трансформационную логику в различных системах, реализовывал orchestration загрузок, разрабатывал кастомные операторы и hooks для Apache Airflow, настраивал интеграционные потоки между системами. Также участвовал в проекте по созданию платформы маркетинговой аналитики и обработки пользовательских данных, где анализировал большие объёмы данных, разрабатывал аналитические модели и метрики, использовал Pandas/NumPy для обработки данных, автоматизировал отчётность и обработку данных, работал с BI-инструментами.

Опыт в IT более 4 лет в роли Data Engineer, Backend и Full-stack Developer Опыт проектирования и поддержки ETL/ELT-процессов, построения Lakehouse/Data Lake решений Практический опыт работы с Airflow, Spark, Kafka, dbt, Flink, Trino, Hadoop/Hive Опыт разработки высоконагруженных Java-микросервисов и интеграционных сервисов на Spring Boot Уверенная работа с PostgreSQL, Oracle, ClickHouse, MySQL, Redis, Elasticsearch, MongoDB, PostGIS Опыт оптимизации SQL/PLpgSQL-запросов, работы с большими объёмами данных и аналитическими витринами Опыт потоковой обработки данных и построения realtime-пайплайнов Практика интеграции REST/SOAP сервисов, работы с государственными системами и платёжными шлюзами Опыт контейнеризации и сопровождения сервисов с использованием Docker, Rancher, GitLab CI/CD Опыт работы с геопространственными данными и генерацией карт на базе PostGIS/OpenStreetMap Навыки анализа требований, проектирования архитектуры данных и подготовки технической документации Опыт взаимодействия с DevOps-командами, сопровождения деплоя и миграции данных

DevOps инженер с 4 годами практического опыта работы в различных ИТ-средах. Специалист по администрирования linux серверов, внедрению конвейеров CI/CD и микросервисной архитектуры в Kubernetes. Командный игрок с акцентом на эффективную работу в условиях высокой нагрузки и многозадачности. Основной опыт: Управление CI/CD с использованием Jenkins и GitLab CI для автоматизации сборки и развертывания приложений. Применение Helm для управления приложениями в Kubernetes и Kaniko для сборки образов Docker; Опыт в контейнеризации приложений с использованием Docker и Docker Compose; Использование и управление системами мониторинга на основе Prometheus, Alertmanager, Grafana. Развертывал ELK стек (ElasticSearch, Logstash, Kibana), Loki и Promtail, Graylog в связке AWS OpenSearch. Также писал собственные экспортеры для мониторинга приложений; Опыт оркестрации с использованием Kubernetes, а таже развертывания, конфигурирования и устранение ошибок кластера в AWS EKS и Yandex Managed Service for Kubernetes; Использование Ansible и Terraform для автоматизации развертывания и управления инфраструктурой.

- Кроссбраузерная вёрстка сайтов и веб-приложений; - Разработка SPA-приложений на базе Vue.js; - Системы сборки Gulp, Webpack; - Среда разработки PHPStorm; - Работа в графических редакторах Adobe Photoshop, Adobe Illustrator; сервисах Zeplin, Figma; - Опыт работы с CMS 1С-Bitrix.

System/ Business Analyst в части разработки, доработки, анализа информационных систем или другого программного обеспечения (далее-ПО). Знаком с методологий Scrum и Kanban, а также каскадной моделью разработки ПО. Описываю процессы в нотации BPMN 2.0, IDEF0, UML. Комфортно себя чувствую в рабочем коллективе, легко нахожу общий язык с коллегами, имею опыт организации работы команды. В свободное от работы время занимаюсь самообразованием, хожу в тренажерный зал,катаюсь на сноуборде, а так же провожу время с друзьями, люблю ходить в театр или кино. Ключевые навыки Business Studio Redmine Sipoc Static Agile MS Visio MS PowerPoint Scrum Kanban Postman MySQL UML PostgreSQL MySQL JSON Confluence Websocket Системный анализ Бизнес-анализ Аналитическое мышление Работа в команде Ведение переговоров Оптимизация бизнес-процессов Разработка технических заданий

Общий стаж: 5 лет 7 месяцев -Языки программирования: Java, PHP. -Инструменты автоматизации тестирования: Selenium WebDriver, Codeception, Behat, JUnit,TestNG, AutoIT, Selenide, Cucumber, Rest Assured. -Системы контроля версий: Git. -Системы непрерывной интеграции: Jenkins. -Инструменты сборки: Maven. -Базы данных: MySQL. -Инструменты тестирования API: Postman.Xpath, селекторы CSS.HTML / CSS.SQL. -Понимание принципов ООП.Знание паттернов проектирования. -Опыт написания тестовой документации. -Понимание клиент-серверной архитектуры. -Опыт работы с Linux и MacOS. -Хорошее знание процессов обеспечения качества и техник тест-дизайна. -Опыт работы с Agile методологиями.