Data инженер, Senior

Инженер данных с более чем шестилетним опытом в разработке и сопровождении ETL-процессов, оптимизации баз данных и построении аналитических систем. Работал в сферах промышленной автоматизации, финансового сектора, консалтинга и e-commerce, последовательно развивая экспертизу в управлении потоками данных, трансформации бизнес-логики и интеграции разнотипных систем. Обладает углублёнными техническими компетенциями в языках программирования Python, SQL, PySpark, владеет инструментами Apache Airflow, Knime, Alteryx, Git и системами визуализации — Tableau, Power BI, SSRS. Уверенно работает с аналитическими СУБД: ClickHouse, Vertica, Hive, MSSQL, PostgreSQL, реализует надёжные пайплайны обработки данных для хранилищ и Data Lake-сред. Его решения помогли сократить задержки обработки данных, увеличить надёжность поставки информации и повысить скорость генерации ключевых бизнес-показателей. Активно взаимодействует с бизнесом и разработчиками, умеет переводить бизнес-требования в технологические архитектуры, ведёт документацию и сопровождает проекты end-to-end.

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Data Engineer с более чем 3 годами опыта в автоматизации ETL-процессов и проектировании аналитических хранилищ данных (DWH). Специализируется на построении витрин данных (raw, ODS, data marts) с использованием Apache Airflow, Python, SQL и GreenPlum. Оптимизировал SQL-запросы, внедрил проверку качества данных (Great Expectations) и разработал архитектуру для BI-дашбордов (Power BI, Apache Superset). Имеет опыт работы с большими данными (Hadoop, Spark) и интеграции данных между PostgreSQL, GreenPlum и BI-решениями. Обладает навыками настройки DAG’ов Airflow, контейнеризации (Docker) и анализа данных с использованием Pandas, NumPy и Scikit-learn. Коммуникабелен, ориентирован на улучшение процессов и командное взаимодействие.

Являюсь Angular разработчиком с опытом 5+ лет. Работал в крупных международных командах, так и поднимал проекты с нуля. В проектах использовал микросервисную и монолитную архитектуру. Работал с задачами в сфере: финтех, марткеплейсы, гос продукты с нагрузкой более 5 млн пользователей. Стэк: angular 12, angular 16, angular 20, typescript, rxjs, javascript, api, git, css, net, rest, html5, scss, ngrx, docker, angular material, figma, agile, scrum, NX, tailwind.

Имею опыт работы более 5 лет в сфере графического дизайна. Отлично знаю инструменты (Illustrator, Photoshop, Figma), умею изучать потребности заказчика и применять их на практике, создавать качественно фирменный стиль и айдентику с учетом технического задания. Дополнительно владею видеомонтажом и программами для звукозаписи.

Системный архитектор и интегратор с 16-летним опытом в ретейле, manufacturing/e-commerce и ИТ-консалтинге. Проектирую целевые архитектуры, формирую требования, выпускаю документацию по ГОСТ 34. Эксперт по интеграции 1С-систем с внешними сервисами, владею Archimate и BPMN, работаю в Archi и draw.io. Провожу аудит процессов, выявляю коллизии требований и защищаю решения перед бизнесом.

Владимир — Java-разработчик уровня Middle из Москвы. Специализируется на разработке REST API, работе с базами данных PostgreSQL, использовании Hibernate ORM, Spring Boot, Kafka и Redis. Имеет опыт интеграции с внешними системами и API, оптимизации SQL-запросов и кода, а также тестирования. Участвовал в проектах в отраслях RnD и FinTech & Banking. Среди проектов — система управления лидами и прозвонами, где занимался разработкой микросервисов, интеграцией с Kafka, оптимизацией SQL-запросов и реализацией очереди звонков. Также принимал участие в разработке системы кредитного скоринга для банков, включая интеграцию с НБКИ и Equifax, оптимизацию расчётов с использованием Redis и автоматизацию решений с помощью Drools.