Андрей У. Data инженер, Middle

Ведущий Data Engineer с опытом работы в проектировании ETL-процессов, построении хранилищ данных и реализации CDC-решений. Основные достижения: автоматизация отчетности (ускорение в 6 раз), декомпозиция Hadoop-стека для НЛМК, внедрение real-time загрузки данных и оптимизация рабочих процессов (повышение эффективности в 5 раз). Владеет полным циклом работы с данными: от разработки DAG'ов и витрин до настройки мониторинга. Имеет опыт интеграции с 1С и промышленными системами.

Разработчик с опытом работы более 3 лет. Имею практический опыт разработки и поддержки системы Oracle Siebel CRM. Помимо этого, имею небольшой опыт разработки Android-приложений на Java и Kotlin, опыт разработки клиент-серверного приложения на Python, а также небольшой опыт разработки ETL-процессов при помощи Airflow

Data-инженер с опытом работы более 3 лет в разработке ETL-процессов и аналитических хранилищ данных. Специализируется на создании и оптимизации ETL-пайплайнов, разработке аналитической отчетности и интеграции данных с использованием Python, Spark, Airflow, Greenplum, PostgreSQL и других инструментов. Имеет опыт миграции хранилищ, настройки CI/CD и работы с большими объемами данных. Обладает навыками автоматизации процессов, аналитическим мышлением и стремлением к созданию эффективных решений. Коммуникабелен, ответственен и ориентирован на результат. Технические компетенции: Разработка и оптимизация ETL-пайплайнов с использованием Python, PySpark, Airflow, Dbt. Создание и поддержка аналитических хранилищ данных (Greenplum, PostgreSQL, Arenadata DB). Интеграция данных с использованием REST API, Kafka, ClickHouse, SFTP. Парсинг данных из открытых источников (requests, selenium, aiohttp). Визуализация данных в Apache Superset и Datalens. Настройка CI/CD процессов для автоматизации развертывания. Разработка хранимых процедур (PL/pgSQL) и скриптов на Bash. Оптимизация производительности хранилищ и ETL-процессов. Формирование архитектурных решений для миграции данных. Оптимизация произвожительности MPP (Greenplum, Snowflake, Teradata) Работа с большими объемами данных и их обработка (pandas, NumPy, SQL).

Data Engineer с более чем 7 годами опыта в разработке ETL-процессов, аналитических витрин и интеграций данных. Специализируется на автоматизации пайплайнов данных с использованием Apache Airflow, Apache NiFi, dbt и других инструментов. Имеет опыт работы с MPP-базами (Greenplum, Snowflake, Teradata), большими данными (Hadoop, Kafka) и BI-инструментами (Datalens, Power BI, Looker). Разрабатывал решения для классификации контента с использованием ML-моделей (CatBoost) и LLM, а также интеграции с 1С, Salesforce и Zendesk. Руководил командами, оптимизировал процессы миграции данных и обеспечивал контроль качества данных. Обладает навыками построения дашбордов, оптимизации производительности баз данных и разработки методологий валидации данных. Технические компетенции Разработка и миграция ETL-процессов (Airflow, NiFi, dbt, Informatica Power Center). Построение аналитических витрин для BI-решений (Datalens, Power BI, Looker, Superset). Интеграция данных из внешних источников (API, веб-сайты, облачные хранилища, 1С). Оптимизация производительности MPP-баз (Greenplum, Snowflake, Teradata). Разработка и обучение ML-моделей для классификации контента (CatBoost, LLM). Настройка мониторинга и контроля качества данных. Автоматизация миграции данных и очистка данных. Работа с большими данными (Hadoop, Kafka, Ytsaurus). Разработка дашбордов и визуализация данных. Руководство командами и постановка задач разработчикам.

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

CI/CD • Jenkins Web • CSS • HTML • HTTP • JSON • XML Автоматизированное тестирование • Allure • Appium • CI (Jenkins/TeamCity/Bamboo) • UIAutomator Базы данных • DBeaver • MySQL • Oracle Database • PostgreSQL • группирующие / агрегатные функции • джоины • подзапросы • простые sql-запросы Веб-серверы • nginx Виртуальные машины • VirtualBox • VMware Документация • спецификация требований программного обеспечения (SRS) • use cases • user guides (мануалы) • user stories • отчет о тестировании • отчеты о дефектах • план тестирования • тест-кейсы • тестовые стратегии • ТЗ • чек-листы • чит-листы Инструменты • Charles • Denwer • DevTools • Fiddler • IntelliJ IDEA • Microsoft Visual Studio • PerfectPixel • RDP • Xcode Интеграционное тестирование (Тестирование API) • Postman • REST • SOAP • SoapUI • Swagger Используемые библиотеки • Allure / ReportPortal • Faker • HtmlElements Используемые фреймворки разработки • Appium • Cucumber / JBehave • JUnit/NUnit • Selenide • Selenium • TestNG Мобильное тестирование • ADB (Android Debug Bridge) • Android Studio • xCode Моделирование процессов • UML Нагрузочное тестирование • Jmeter • нет опыта в НТ, только теория Операционные системы • Android • iOS • Linux • macOS • Windows Паттерны автоматизации • BDD • PageObject Проектирование и прототипирование UX/UI • draw.io • Figma Прочие навыки • Confluence • GitHub • JQL • MindMap • методологии разработки ПО • офисные приложения • управление рисками Ручное тестирование • воспроизведение пользовательских ошибок • интеграционное тестирование • исследовательское тестирование • кроссбраузерное тестирование • регрессионное тестирование • смоук-тестирование • тестирование «белого ящика» • тестирование «черного ящика» • тестирование на мобильных устройствах • тестирование требований • функциональное тестирование • юзабилити-тестирование Занимаюсь тестированием с 2018 года. За это время успел поучаствовать в разнообразных проектах: CryptoExchange, Tender, Налоговая. Имею большой опыт автоматиза

● Опыт написания документации: БТ, ФТ, АС ● Опыт написания технической (технический проект) и эксплуатационной документации (инструкции пользователя, администратора) ● Сбор, анализ, трассировка, документирование требований (US, UC) ● Навык проработки детальных сценариев взаимодействия пользователя и системы, взаимодействия frontend и backend ● Опыт проектирования интеграций между различными системами: Управление эмиссией карт. Внутреннее взаимодействие - Kafka, АБС - реестры, управление счетами - rest api ● Опыт написания технических спецификаций на интеграцию ● Опыт проектирования систем с микросервисной архитектурой ● Опыт создания архитектурных диаграмм ● Опыт проектирования БД ● Опыт проектирования сервисных взаимодействий, в том числе с использованием корпоративных сервисных шин ● Опыт работы с API-документацией сторонних систем ● Опыт самостоятельной работы над проектом: подготовки прототипов пользовательского интерфейса, проверки результатов разработки ● Опыт описания бизнес-процессов с помощью BPMN 2.0 ● Умение составлять ER-диаграммы ● Опыт подготовки ТЗ по ГОСТ серии 34 ● Понимание принципов интеграции корпоративных приложений (MQ etc) ● Понимание процесса выявления бизнес-требований путем интервьюирования бизнес-пользователей ● Знания и навыки работы с бизнес требованиями ● Знания и навыки работы с нефункциональными требованиями ● Умение формировать требования к административному разделу системы ● Знания типовых элементов пользовательского интерфейса мобильных приложений: названия, назначение ● Опыт функционального и интеграционного тестирования ● Опыт разработки тестовых сценариев (помощь QA, в частности, ревью тестовой модели) ● Опыт моделирования данных на реальных проектах ● Навыки составления концептуальных моделей данных ● Знания об использовании брокеров сообщений и умение проектировать с Kafka, RabbitMQ и т.д. ● Понимание способов взаимодействия браузера и сервера: сессии, HTTP, AJAX,поллинг, сокеты ● Знание стандартов аутентификации и авторизации

Рассматриваю трудоустройство самозанятость / ИП. Быстро обучаюсь и привык работать с большим объемом данных. В свободное время занимаюсь профессиональным саморазвитем, фитнесом, велоспортом и туризмом. Проекты по анализу данных : https://github.com/soulxcage/data_analyst/blob/main/README.md

Стремление к постоянному самообразованию и развитию в IT, сильные навыки R&D Преданность и надежность Добросовестное выполнение обязанностей вовремя Честность и хорошие коммуникативные навыки Самокритичность и доброжелательное отношение к людям Позитивный настрой и энтузиазм Способность сохранять спокойствие в сложных ситуациях