Data инженер, Middle+

ID 17934
Специалист недоступен
Посмотрите похожих специалистов для решения ваших задач

Похожие специалисты

E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+106

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
E-commerce & Retail • FinTech & Banking
АМ
Артем М.
Москва
Data инженер
Middle+
5 844,15 Р/час
Basics
Java
Pl/SQL
Python
R
SAS
Scala
SQL
Docker
GitLab CI/CD
+49

Артём — опытный Data-инженер, специализирующийся на разработке платформ данных и интеграции различных источников информации. Обладает навыками работы с такими инструментами, как PostgreSQL, Clickhouse, Kafka, Elasticsearch, Airflow, Spring, а также имеет опыт использования технологий Apache Ignite, Hadoop, Hive, Spark, PySpark. Артём участвовал в нескольких проектах, где проявил себя как специалист по разработке сложных архитектур данных. В одном из проектов он разработал платформу данных с нуля, организовал процесс миграции из различных источников и оптимизировал существующие таблицы Clickhouse. В другом проекте Артём разработал продукт для расчёта активов с весом риска для отдела рисков. Он также реализовал конвейеры данных, создал платформу для модульного тестирования и разработал индивидуальную интеграцию с различными внутренними API.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector • Manufacturing
АХ
Артур Х.
Уфа
Data инженер
Senior
4 238,77 Р/час
Ansible
Apache AirFlow
Apache Superset
CI/CD
ClickHouse
Confluence
DBT
Docker
FastAPI
Git
+46

Артур — опытный Data инженер с навыками работы в BI, DWH, SQL и Python. Он обладает глубоким пониманием Apache AirFlow, Apache Superset, CI/CD, Clickhouse, Confluence, DBT, Docker, FastAPI, Git, GitLab, GreenPlum, Jira, Kafka, Kubernetes, Linux, PostgreSQL, RabbitMQ, Redis, REST API, S3, SOAP, TCP/IP и unit-тестирования. Артур работал над несколькими проектами, включая создание платформы для принятия бизнес-решений в металлургической компании, разработку сервиса планирования путешествий, доработку Apache Superset для отображения большого количества данных в дашбордах, создание фреймворка типовых интеграций на базе Apache Airflow, разработку бэкендов для платформы изучения английского языка и системы управления качеством данных. Из достижений можно выделить: Сделал более 12 успешных интеграций с источниками Сделал загрузку более 50 сущностей в хранилище с базовыми проверками качества Сделал гибкий масштабируемый веб-сервис предоставления данных из КХД Сделал доработку Apache Superset для отображения большого количества данных

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail
АТ
Артем Т.
Москва
DevOps
Senior
4 155,84 Р/час
range
support
Grafana
Работа с интеграциями
анализ
GitLab
Разработка
Программное обеспечение
Yarn
springboot
+49

Имею опыт работы с администрированием hadoop кластеров(hdfs, yarn, zookeeper, zkfc, hive), написанием airflow дагов, мониторингом, python разработкой, bash скриптингом, .deb системами, docker+k8s( на уровне деплоя сервиса с отладкой ) Участие в других проектах: Консультант по инфраструктуре данных в NDA (GCC telecom) Организовал развертывание и организацию комплексной инфраструктуры обработки данных с использованием HDFS, YARN, Apache Airflow, ClickHouse, Apache Spark и Apache Flink. Эта настройка обеспечила непрерывную обработку данных, гарантируя эффективное хранение данных, управление ресурсами и аналитику в реальном времени. Реализация поддерживала бесперебойные рабочие процессы данных и высокопроизводительные запросы, значительно расширяя возможности компании по обработке и анализу данных, обеспечивая при этом масштабируемость и надежность . Инженер DevOps в DEUSCORP (приложение для знакомств Matchit) Разрабатывал инфраструктуру на платформах веб, iOS и Android, интегрируя конвейеры Gitlab CI/CD для оптимизации процессов развертывания кода. Эта оптимизация значительно ускорила доставку кода в производственные среды. Инфраструктура прошла тщательное тестирование и проверку, чтобы выдерживать ежедневную нагрузку пользователей до 10 000, гарантируя надежность и масштабируемость.

Подробнее