София Я. Data инженер, Senior

ID 15583
СЯ
София Я.
Женщина
Россия, Москва, UTC+3
Ставка
4 110,32 Р/час
вкл. НДС 5% (152.38 Р)
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache
Apache AirFlow
Apache Kafka
Apache NiFi
Big Data
Grafana
Groovy
Hadoop
HDFS
Microsoft
Oracle
PostgreSQL
Python
Spark
SQL
Vertica
VictoriaMetrics
Yarn
C#
Git
DWH ETL
ETL-процессы
DBT
NiFi
Avro
JSON
XML
Hive
PySpark
Scala
Kafka
Jira
ETL
CI/CD
CSV
ДО
Мониторинг
Проектирование
Разработка
Администрирование
Работа с интеграциями
разработка архитектуры
Рефакторинг
Confluence
Apache Hadoop
BI
Qlick
sense
Отрасли
Manufacturing
RnD
Telecom
Проекты   (5 лет 5 месяцев)
Телеком
Роль
Старший дата инженер
Обязанности
- Проектирование и разработка пайплайнов данных (HDFS, Hive, NiFi, Apache Kafka); - Оптимизация хранения данных на HDFS, Hive в разных форматах (ORC, Parquet, CSV); - Настройка пайплайнов данных с объемом выгрузок до 1Тб в день (Apache NiFi): - Настройка ETL-процессов - Построение BI дашбордов с помощью Grafana и Qlick Sense - Написание CI/CD для развертывания дагов Airflow на PySpark + Python; - Организация логирования, мониторинга и качества данных потоков; - Поддержка дагов на Scala.
Стек специалиста на проекте
Apache Kafka, Python, Scala, Grafana, Hive, BI, Apache Hadoop, CSV, Vertica, Apache AirFlow, CI/CD, HDFS, Apache NiFi, Qlick, PySpark, NiFi, ДО, sense
Отрасль проекта
Telecom
Период работы
Июнь 2023 - По настоящее время  (2 года 2 месяца)
Ит-компания
Роль
Middle дата-инженер
Обязанности
- Разработка архитектуры данных и структур баз данных, хранения данных, SQL; - Работа с Avro, JSON, XML и др. - Построение и администрирование потоков данных (Apache NiFi), написание дагов (Apache Airflow); - Разработка и оптимизация SQL запросов; - Подготовка витрин данных; - Разработка и совершенствование аналитического продукта; - Разработка и оптимизация ETL пайплайнов для внутренних и внешних источников данных; - Обработка массивов данных, подготовка данных для отчетности и построения дашбордов; - Рефакторинг существующих интеграций; - Разработка интеграционной связности между инфраструктурой (NiFi, Airflow, другие продукты Apache); - Тех.поддержка интеграций.
Стек специалиста на проекте
XML, JSON, SQL, Apache, Avro, ETL, Администрирование, Apache AirFlow, Рефакторинг, Apache NiFi, Работа с интеграциями, NiFi, разработка архитектуры
Отрасль проекта
Manufacturing
Период работы
Апрель 2022 - Июнь 2023  (1 год 3 месяца)
GlowByte Consulting
Роль
Дата инженер
Обязанности
- Проектирование и внедрение программных систем. - Построение процессов для ввода и обработки данных. - Построение архитектур данных, отвечающих требованиям бизнеса. - Извлечение данных из множества различных источников для построения эффективных бизнес-моделей. - Управление метаданными и другой информацией, связанной с поддерживаемыми данными. - Написание и актуализация документации.
Стек специалиста на проекте
XML, Jira, Confluence, Python, Apache, Hive, Apache AirFlow
Отрасль проекта
RnD
Период работы
Март 2020 - Апрель 2022  (2 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
НИУ ВШЭ
Специальность
Бизнес-информатика
Завершение учебы
2022 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+106

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

Cloud Services • FinTech & Banking • Information Security
АМ
Андрей М.
Тверь
Java разработчик
Senior
3 853,43 Р/час
Agile/Scrum
GitLab
MyBatis
Data
Java
Git
MongoDB
Linux
Redis
Apache
+26

Я — опытный Senior Back-end разработчик с более чем 7-летним стажем работы в сфере разработки программного обеспечения. Мой путь в IT начался с увлечения программированием и решения интеллектуальных задач, что и подтолкнуло меня к получению высшего образования в области прикладной математики и кибернетики. За время своей карьеры я успел поработать на различных проектах, от разработки систем дистанционного банковского обслуживания до построения платформ для управления облачными затратами. Я обладаю глубокими знаниями в таких языках, как Java и Kotlin, и инфрастуктурах, таких как Spring и Docker. Также имею опыт работы с базами данных, такими как PostgreSQL и Redis, а также с инструментами DevOps, включая CI/CD и контейнеризацию. Мой подход к разработке профессионален и целеустремлён. Я стремлюсь не только к созданию качественного кода, но и к оптимизации процессов и повышению производительности командной работы. В дополнение к техническим навыкам, я активно участвую в внедрении методологий Agile/Scrum и нахожу удовольствие в обучении и обмене знаниями с коллегами. В свободное время я интересуюсь новыми технологиями, изучаю английский язык и стараюсь уделять время хобби, среди которых чтение и путешествия. Я всегда открыт к новым вызовам и готов принимать участие в интересных и инновационных проектах.

Подробнее
E-commerce & Retail
ДВ
Дмитрий В.
Минск
QA ручной
Middle
2 285,71 Р/час
Postman
throttling
unixlike
HTTP
JSON
REST
Git
API
QA
Linux
+31

Дмитрий — специалист по ручному тестированию (QA manual) с опытом работы в отрасли электронной коммерции и ритейла. Дмитрий обладает навыками ручного тестирования, включая функциональное и нефункциональное тестирование, интеграционное и регрессионное тестирование, smoke-тестирование, тестирование REST-API при помощи Insomnia и Swagger. Он также умеет собирать и тестировать требования, создавать и актуализировать тестовую документацию, проектировать тестовые сценарии и тестовые модели. В процессе работы Дмитрий заводит баги в баг-трекинговую систему Jira. Он тестирует прямую и обратную совместимость, пишет простые SQL-запросы к PostgreSQL, локализует найденные ошибки при помощи инструментов разработчика (DevTools). Опыт Дмитрия включает участие в командных мероприятиях (daily, demo, retro), подготовку тестовых данных и проверку соответствия UI макетам дизайнера (Figma). Также он использует сниффер трафика Charles и Android Studio.

Подробнее