Сергей М. Data инженер, Senior

На 3 курсе в университете начал работать по специальности. На работе коллеги занимались машинным обучением, тогда изаинтересовался аналитикой. По мере погружения в эту сферу, остановился на профессии дата-инженера. На данный моментчувствую, что готов решать более сложные техническиезадачи.

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

В Data с 2021 года, коммерческий опыт Data Engineer более 4 лет. Занимался тестированием ETL процессов, написанием автотестов и инструментов для тестирования в команде из 6 ETL QA инженеров. Занимался разработкой и внедрением фреймворка DQ для проверки качества данных в команде из 13 DQ инженеров. Также разрабатывал ETL процессы для построения витрин для дальнейшего анализа и выявления аномалий при сравнении данных из разных источников. Ключевые навыки: SQL, Python, Apache Spark, Hadoop, S3, Apache Airflow, Parquet, Kafka, ETL, ClickHouse, Trino, Git, CI/CD, Системный анализ, Тестирование (Data Quality), РСУБД (ClickHouse, Greenplum, Oracle, PostgreSQL), XML, JSON, Data Analysis, Big Data, DWH, Docker, Apache Hive, Apache Iceberg, Soda Core, Pytest, BI, SAS, Git, CI/CD, BI, Jira, Confluence

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Айк — опытный QA FullStack-специалист с навыками работы в различных областях IT. Он обладает глубоким пониманием процессов тестирования и разработки, а также опытом руководства командами. Айк работал над проектами в сфере FinTech & Banking, где выполнял функциональное тестирование, тестирование API, интеграционное тестирование и тестирование локализации. Он также имеет опыт работы с инструментами автоматизации тестирования, такими как Selenium, Appium и Allure. В своей работе Айк использует различные языки программирования, включая Java, JavaScript, NestJS и другие. Он также владеет инструментами DevOps, такими как Git, Jenkins и Kubernetes. За последние 3 года и 9 месяцев Айк накопил значительный опыт работы на проектах EPAM Systems и SoftConstruct, где он выполнял широкий спектр задач по тестированию и обеспечению качества.

знания архитектуры микросервисных приложений и интеграционных паттернов; опыт проведения PBR, декомпозиции и работы в продуктовой команде; знания и опыт в области System Design; понимание специфики финтех-продуктов; опыт работы с финансовыми продуктами (банки, биржи, депозитарии, платёжные системы); знание форматов обмена финансовой информацией; опыт проектирования асинхронного API по спецификации AsyncAPI и др. Soft skills Аналитическое мышление; Критическое мышление; Самостоятельность; Умение работать в команде; Навыки фасилитации; Коммуникативная гибкость; Управление временем; Умение работать в режиме многозадачности; Адаптивность к изменениям; Стратегическое планирование; Гибкость в работе с неопределённостью; Поиск информации у команды; Умение обрабатывать и структурировать большой объем сложной информации.

Анна — эксперт по внедрению ITSM-процессов. Сертифицированный ITIL Expert. Основной опыт работы в банках, операторах связи и системных интеграторах. В подразделениях разработки, сопровождения, сервиса, архитектуры, контакт-центрах. Принимала участие в следующих проектах: - Создание макро-регионального Контакт-центра МТС в Макро-регионе Урал (роль — менеджер проекта). - Создание отдела оперативной технической поддержки в системном интеграторе (роль — менеджер проекта). - Создание сервисного центра системного интегратора (роль — менеджер проекта, впоследствии руководитель Департамента сервиса). - Повышение качества сервисов ИТ (роль — менеджер проекта, управляющий директор центра качества сервисов информационных технологий). Общая продолжительность работы на проектах — 13 лет 5 месяцев.

- Владение системами ERP (SAP, 1C), Microsoft Office, Adobe Photoshop, Keynote, C#, iMovie, iThink, JavaScript, HTML, PHP, системы Confluence, Jira Software, Visio - Владение основами реляционных баз данных MySQL - Владение основами Python - Навыки работы с Git - Навыки работы по Agile (Kanban, Scrum), каскадной системе - Владение системами моделирования бизнес-процессов (Power BI, Tableau, Qlik) - Владение навыками моделирования бизнес процессами IDEF0, eEPC, BPMN, Flowchart - Имею опыт деловой переписки на английском и русском языках - Навыки работы посредством 44, 223, 323, 152-ФЗ - Навыки написания Технических заданий - Владение анализа данных - Знание стандартов BABOK, BPM CBOK, ГОСТ - Навыки работы в продуктах Atlassian (Jira Software, Confluence, Trello, Bamboo) - Умение быстро ориентироваться в различных предметных областях - Желание изучать новые предметные области и требования к процессам - Понимание места аналитика в процессе разработки ПО, опыт работы в проектной команде - Опыт написания документации и проектирования моделей данных и бизнес-процессов - Коммуникабельность, ответственность, собранность, ориентация на результат и профессиональный рост, умение эффективно работать в режиме многозадачности, высокая обучаемость и нацеленность на конечный результат