Илья Л. Data инженер, Senior

Языки программирования: Python, Java. Технологии: PySpark, Pandas, NumPy, Apache Spark, Transact-SQL, Snowflake, IBM Cognos, Power BI, IBM Framework Manager, Apache Superset. Базы данных: PostgreSQL, MySQL, MSSQL, DynamoDB, MongoDB, IBM DB2. Облачные технологии: AWS (S3, EC2, Lambda, CloudWatch, etc.), IBM Cloud, Azure (AKS, Blob Storage, Data Lake, Synapse Analytics, Cosmos DB, MongoDB, DevOps, Azure SQL, VM, etc.). ETL-технологии: Apache Airflow, IBM Datastage, Apache Nifi. DevOps: AWS, Azure, Docker, Docker-compose, Bash scripting, Kubernetes, CI\CD, Jenkins, GitLab CI\CD. Системы контроля версий: Git, GitLab, Bitbucket, GitHub. Навыки ● Отличные знания Python ● Написание сложных SQL-запросов ● Оптимизация запросов ● DWH-моделирование ● Разработка ETL/ELT-пайплайнов ● Облачные сервисы ● Устранение неполадок ● Опыт работы с инструментами DevOps Проекты ● Программа лояльности Goodyear ● IBA Lakehouse ● Интеграция данных и аналитика IBM ● Платформа аналитики розничных запасов и продаж

Middle Data Engineer Навыки ● Python ● Моделирование DWH ● Разработка ETL/ELT-конвейеров ● Опыт визуализации данных ● Опыт работы AWS, Azure и GCP ● Экспертиза в Spark ● Экспертное знание SQL Проекты ● Платформа розничных продаж ● Платформа аналитики распределения ● Платформа анализа продаж ● Платформа аналитики розничной торговли Образование Степень бакалавра в области компьютерных наук Языковые навыки Английский – B2 Опыт работы в сфере Data Engineering более 4-х лет. Языки программирования: Python Технологии: PySpark, Pandas, NumPy, Hadoop, Hive, Openmetadata, Excel Базы данных: PostgreSQL, MySQL, MSSQL, Oracle, Redis, DynamoDB, MongoDB, Clickhouse BI Инструменты: Looker Studio, QuickSight, Apache SuperSet. ETL Инструменты: Apache Airflow, Apache NiFi Брокеры сообщений: Kafka, RabbitMQ Облачные провайдеры: AWS (IAM, S3, RDS, Athena, EC2, ECS, EKS, SQS, Lambda, Redshift, Snowflake, Glue, CloudWatch, etc.), GCP (Cloud Computing, Cloud Monitoring, Dataproc, CloudStorage, BigQuery, Pub/Sub, Cloud SQL, Cloud Firestore, Cloud Functions, Cloud Spanner, Cloud Run, IAM, Looker Studio), Yandex Cloud (Data Proc, Managed Service for ClickHouse, Object Storage, Cloud Functions, Compute Cloud. DevOps: Docker, Docker-compose, Bash scripting, Kubernetes, CI\CD. Системы контроля версий: Git, GitLab, Bitbucket, GitHub

Игорь — senior data engineer из Минска. Обладает опытом работы в проектах для сфер FinTech & Banking, Telecom и RnD. Игорь участвовал в создании Data Lake и построении нового DWH в Greenplum с последующей миграцией текущего он-прем DWH (Oracle) в ООО «Данелекс». Занимался разработкой и внедрением ETL-конвейеров, подготовкой технической документации, профилированием данных и анализом требований заказчика. В другом проекте для ООО «Данелекс» создавал новое хранилище данных в Azure с использованием исходных систем (CRM и биллинг) и последующей миграцией текущего DWH с Oracle на Azure. Разрабатывал и внедрял ETL-конвейеры, создавал модели данных в SAP PowerDesigner, проводил технические интервью. Для компании «ЭПАМ Системз» работал над проектом по обеспечению поддержки текущего бизнеса клиента. Собирал и анализировал требования заказчика, готовил и поддерживал ETL-процессы, создавал комплект документов, проводил тесты, проверял код и планировал конвейеры и потоки данных. Также в роли developer занимался отслеживанием деятельности, связанной с научными исследованиями и затратами на образование в белорусском офисе «ЭПАМ Системз». Работал с flat файлами и проводил анализ данных, писал скрипты и создавал отчёты.

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Свою карьеру в ИТ начал в 2017году. За это время занимал роли как исполняющие, так и ключевые на проектах цифровой трансформации бизнеса в крупном ритейле и финтехе.

Компетенции • Опыт работы с 1С: Предприятие 8.3 – 21 год. • Опыт работы в проектной команде (работа по ТЗ, хранилище конфигураций, работа с различным трекерами задач). • Опыт организации обменов между различными информационными системами. • Доработка типовых правил 1С: Конвертация данных 2.0, 3.0 • Опыт работы с web и http сервисами. • Знания и навыки описания бизнес процессов компании. • Написание ТЗ, инструкций пользователям, работа на проектах внедрения/сопровождения, работа с пользователями. • Опыт разработки и защиты архитектур решений, навыки визуализации архитектурных решений. • Знание стандартов разработки 1С, БСП, СКД, управляемых форм, механизма расширений и регламентных заданий, хорошие знания клиент серверного взаимодействия. • Оптимизация высоконагруженных систем на базе 1С • Знания бизнес-процессов по управленческому, производственному, финансовому, кадровому и бухгалтерскому учету.

Что умею: Писать автотесты Производить нагрузочное тестирование Писать GUI/API тесты. Писать простые запросы в базу Cassandra, MySQL, Postgres, Oracle, MariaDB Смогу развернуть рабочее окружение. Как на виртуалке, так и на локальной машине вне зависимо от Windows, Linux, BSD. Использовал: Docker+Docker Compose

● Разработка CRM/ERP, SaaS. ● Высокая квалификация в разработке API. ● Разработка систем управления для таких сфер как здравоохранение, строительство, дистанционное обучение и продажи. ● Руководство командой разработчиков.