София Я. Data инженер, Senior

ID 15583
СЯ
София Я.
Женщина
Россия, Москва, UTC+3
Ставка
4 110,32 Р/час
вкл. НДС 5% (152.38 Р)
Специалист доступен с 12 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache
Apache AirFlow
Apache Kafka
Apache NiFi
Big Data
Grafana
Groovy
Hadoop
HDFS
Microsoft
Oracle
PostgreSQL
Python
Spark
SQL
Vertica
VictoriaMetrics
Yarn
C#
Git
DWH ETL
ETL-процессы
DBT
NiFi
Avro
JSON
XML
Hive
PySpark
Scala
Kafka
Jira
ETL
CI/CD
CSV
ДО
Мониторинг
Проектирование
Разработка
Администрирование
Работа с интеграциями
разработка архитектуры
Рефакторинг
Confluence
Apache Hadoop
BI
Qlick
sense
Отрасли
Manufacturing
RnD
Telecom
Проекты   (5 лет 5 месяцев)
Телеком
Роль
Старший дата инженер
Обязанности
- Проектирование и разработка пайплайнов данных (HDFS, Hive, NiFi, Apache Kafka); - Оптимизация хранения данных на HDFS, Hive в разных форматах (ORC, Parquet, CSV); - Настройка пайплайнов данных с объемом выгрузок до 1Тб в день (Apache NiFi): - Настройка ETL-процессов - Построение BI дашбордов с помощью Grafana и Qlick Sense - Написание CI/CD для развертывания дагов Airflow на PySpark + Python; - Организация логирования, мониторинга и качества данных потоков; - Поддержка дагов на Scala.
Стек специалиста на проекте
Apache Kafka, Python, Scala, Grafana, Hive, BI, Apache Hadoop, CSV, Vertica, Apache AirFlow, CI/CD, HDFS, Apache NiFi, Qlick, PySpark, NiFi, ДО, sense
Отрасль проекта
Telecom
Период работы
Июнь 2023 - По настоящее время  (2 года 2 месяца)
Ит-компания
Роль
Middle дата-инженер
Обязанности
- Разработка архитектуры данных и структур баз данных, хранения данных, SQL; - Работа с Avro, JSON, XML и др. - Построение и администрирование потоков данных (Apache NiFi), написание дагов (Apache Airflow); - Разработка и оптимизация SQL запросов; - Подготовка витрин данных; - Разработка и совершенствование аналитического продукта; - Разработка и оптимизация ETL пайплайнов для внутренних и внешних источников данных; - Обработка массивов данных, подготовка данных для отчетности и построения дашбордов; - Рефакторинг существующих интеграций; - Разработка интеграционной связности между инфраструктурой (NiFi, Airflow, другие продукты Apache); - Тех.поддержка интеграций.
Стек специалиста на проекте
XML, JSON, SQL, Apache, Avro, ETL, Администрирование, Apache AirFlow, Рефакторинг, Apache NiFi, Работа с интеграциями, NiFi, разработка архитектуры
Отрасль проекта
Manufacturing
Период работы
Апрель 2022 - Июнь 2023  (1 год 3 месяца)
GlowByte Consulting
Роль
Дата инженер
Обязанности
- Проектирование и внедрение программных систем. - Построение процессов для ввода и обработки данных. - Построение архитектур данных, отвечающих требованиям бизнеса. - Извлечение данных из множества различных источников для построения эффективных бизнес-моделей. - Управление метаданными и другой информацией, связанной с поддерживаемыми данными. - Написание и актуализация документации.
Стек специалиста на проекте
XML, Jira, Confluence, Python, Apache, Hive, Apache AirFlow
Отрасль проекта
RnD
Период работы
Март 2020 - Апрель 2022  (2 года 2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
НИУ ВШЭ
Специальность
Бизнес-информатика
Завершение учебы
2022 г.

Похожие специалисты

FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+106

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее

Недавно просмотренные специалисты

E-commerce & Retail • FinTech & Banking
АЧ
Александр Ч.
Москва
Бизнес аналитик
Senior
3 724,98 Р/час
UML
office
Бизнес-анализ
API
ГОСТ 34
Kafka
IDEF
ARIS
Документация
Excel
+26

Александр — бизнес-аналитик уровня senior из Москвы. Обладает опытом работы в сферах FinTech & Banking и E-commerce & Retail более 13 лет. Специализируется на анализе, оптимизации и управлении бизнес-процессами, а также на разработке технической документации. На проектах по внедрению систем мониторинга на основе Prometheus и Graphena, а также системы по управлению факторинговыми сделками выполнял задачи аналитика. Занимался сбором и анализом требований, описанием процессов в виде BPMN, UML, User story, Use Case, моделированием бизнес-процессов и разработкой технической документации. Все проекты успешно завершены, системы выведены в Prodaction. В рамках другого проекта осуществлял интеграцию со смежными сервисами посредством Kafka и API, участвовал в создании документов технический и бизнес дизайн решений. Выполнена интеграция со всеми филиалами и офисами крупного банка, разработаны и внедрены 4 API. Также работал над проектом по разработке функциональных модулей для фонда социального страхования, включая модуль «Личный кабинет». Внедрил функциональный компонент «Личный кабинет страхователя» для ФСС.

Подробнее
BioTech, Pharma, Health care & Sports • Blockchain • E-commerce & Retail • FinTech & Banking • Telecom • Urban technology
ВШ
Виктор Ш.
Оренбург
Руководитель проекта
Middle+
3 246,75 Р/час
Управление командой
Умение общаться с клиентом
.NET 4.5
проектирование дизайна
Проектирование БД
Подготовка и проведение презентаций
office
KPI
Управление рисками
Postman
+64

Виктор — опытный IT-специалист, руководитель проектов в сфере Urban technology, BioTech, Pharma, Health care & Sports, Blockchain, E-commerce & Retail, FinTech & Banking и Telecom. Он обладает навыками управления командой, ведения переговоров и деловой коммуникации, а также опытом технического планирования и бюджетирования. Виктор также обладает техническими навыками умеет анализировать бизнес-процессы, разрабатывать архитектуру проектов, работать с базами данных MySQL и PostgreSQL, производить базовую настройку Linux. Имеет опыт работы в качестве разработчика. Он успешно применяет инструменты для управления проектами и взаимодействия с заказчиками. На своих проектах Виктор руководил кросс-функциональными командами, организовывал процессы разработки ТЗ и технической документации, проектирования интерфейсов и архитектуры, анализа бизнес-требований и оценки итогов спринтов. Он также занимался планированием, управлением рисками и статистическими данными.

Подробнее
FinTech & Banking • Information Security • Media • Telecom
АА
Ашот А.
Ереван
QA авто
Senior
3 724,98 Р/час
TestOps
Grafana
Gitlab CI
TestTrail
Postman
DevTools
REST
Kibana
Linux
Swagger
+38

- Опыт внедрения на проект автоматизации тестирования и создание автотестов API на Python+Pytest+requests и смарт-контрактов на JS+playwright с интегрированием Allure и CI в Jenkins и Gitlab CI; - Опыт внедрения на проект тестирования и планирование процессов обеспечения качества; - Создание тестовой документации на проекте "с нуля" и ведение документации в системе тест-менеджмента; - Применение различных техник тест-дизайна для обеспечения максимального тестового покрытия; - Уверенное владение CLI Linux, знание базовых команд, bash скрипты; - Есть также минимальный опыт работы с Vagrant и Nginx; - Опыт работы с Docker; - Уверенное знание SQL, опыт работы с SQL базами данных, различными СУБД (PostgreSQL, MySQL), инструментом DBeaver; - Опыт мониторинга и анализа логов, работа с системой логирования Kibana.

Подробнее