Премия рунета

Игорь И. Data инженер, Senior

ID 16148
ИИ
Игорь И.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
4 625 Р/час
НДС не облагается
Специалист доступен с 3 октября 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Agile
AWS
Azure
Big Data
Cassandra
cloud
Git
Hadoop
Hive
Java
Jedis
Kafka
Kubernetes
Scala
Software
Spark
Streams
team
Clickhouse
Apache AirFlow
arenadata
Data
GreenPlum
Yandex Cloud
atlas
HDFS
Kafka Streams
MongoDB
NiFi
PostgreSQL
PowerBI
PySpark
Python
Java 11
Spring
Azure Blob Storage
Jenkins
Jupyter
Maven
Yarn
Java 8
Oracle Database
osgi
TestNG
Отрасли
LifeStyle
Главное о специалисте
Есть опыт работы со следующими технологиями: Arena data Hadoop, Greenplum(arenadata), yandex cloud, scala, spark, airflow, powerBI, PostgreSQL, Hive, Hdfs, Python, scala, Kafka Streams, Reddis, Mongo, Atlas, Ni-Fi. Также есть опыт руководства командой.
Проекты   (8 лет 11 месяцев)
Разработка программного обеспечения на проекте InPlan
Роль
Data engineer Lead
Обязанности
Обязанности: Разработка и оптимизация алгоритмов на spark Проведение code review Проведение пилота использования разрабатываемого продукта в связке со стэком arenadata
Стек специалиста на проекте
arenadata, Spark, Data, Scala, Hadoop, Yandex Cloud, GreenPlum, Apache AirFlow
Отрасль проекта
LifeStyle
Период работы
Февраль 2023 - Август 2024  (1 год 7 месяцев)
Разработка программного обеспечения
Роль
Head of data department
Обязанности
Руководитель сервисной группы дата-инженеров. Мы отвечали за платформу данных, используемую отделами BI, ML, финансов, маркетинга и логистики. Моими основными обязанностями были: поиск нужных людей с нужным набором навыков, создание архитектуры СХД, добавление управления данными, определение приоритетности задач команды, проведение тендеров.
Стек специалиста на проекте
Jedis, NiFi, atlas, Spark, Hive, MongoDB, Scala, Hadoop, HDFS, Kafka Streams, PySpark, Python, PowerBI, Apache AirFlow, PostgreSQL
Отрасль проекта
LifeStyle
Период работы
Апрель 2022 - Февраль 2024  (1 год 11 месяцев)
NDA
Роль
Lead data engineer
Обязанности
Разработка и поддержка микросервисного приложения публикации- подписки, широко используемого рядом команд заказчика. Обязанности: ● Выполнение POC ● Тестирование и настройка производительности. ● Документация ● Ведущая оффшорная команда ● Создание кластера Spark Kubernetes. Достижения: ● Разработанный и интегрированный модуль проверки работоспособности. ● Создана команда морских инженеров для независимой работы. ● Выполнены контрольные проверки по сбору и обработке метрик времени выполнения из заданий Spark. ● Создал форк Spark из исходных кодов с поддержкой Kubernetes и развернул его в Kubernetes вместе с Airflow.
Стек специалиста на проекте
Kubernetes, Spark, Scala, Kafka, Cassandra, HDFS, Java 11, Spring
Отрасль проекта
LifeStyle
Период работы
Сентябрь 2020 - Апрель 2022  (1 год 8 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет

Похожие специалисты

E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 000 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+111

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 500 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более двух лет. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 000 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
Clickhouse
cloud
Cloud Functions
+42

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее

Недавно просмотренные специалисты

LifeStyle
КК
Катрин К.
Москва
Data инженер
Middle+
3 375 Р/час
Kanban
MS Windows
яметрика
Looker Studio
Яндекс Метрики
Spark
Clickhouse
BigQuery
Google
Data
+37

· Уверенный опыт работы с большими объемами данных на протяжении более 4 лет; · Умение проектировать и оптимизировать процессы сбора, обработки и анализа данных; · Переход от роли аналитика к роли инженера позволяет лучше понимать конечные потребности бизнеса и строить более эффективные пайплайны данных; · Глубокое знание инструментов для работы с данными: Hadoop, Spark, SQL; · Опыт разработки пайплайнов и витрин данных в Airflow, настройка процессов ETL; · Умение создавать сложные пайплайны для обработки данных с учетом оптимизации и отказоустойчивости; · Настройка и автоматизация DQ проверок для повышения качества данных; · Глубокий опыт в анализе данных и решении бизнес-задач на основе данных; · Контроль и поддержка данных; · Быстрая обучаемость и адаптация к новым инструментам и технологиям; · Опыт работы в команде.

Подробнее
FinTech & Banking • Social Networking • Telecom • Travel, Hospitality & Restaurant business
ВШ
Владимир Ш.
Alaminos
Full Stack разработчик
Senior
4 375 Р/час
Creatio
MobX
designer
support
Sass
React Query
d3
Bitbucket Pipelines
Mobile App
Grunt
+99

Сертифицированный специалист по облачным технологиям AWS с более чем 10-летним опытом разработки сквозных веб-приложений, дополненным опытом создания удобных для пользователей программных решений. Хорошо разбирается как во внешней, так и во внутренней разработке, включая управление базами данных, разработку API и Agile-методологию. Знание языков программирования, фреймворков и технологий, таких как JavaScript, React-native, Node.js, AWS, Express.js и RESTful API. Опыт сотрудничества с межфункциональными командами для достижения целей проекта. Обладаю разносторонними навыками, страстью к технологиям и стремлением к постоянному обучению, чтобы предлагать инновационные и эффективные решения, превосходящие ожидания конечных пользователей. Отлично справляюсь с управлением как внешними, так и внутренними аспектами разработки программного обеспечения для повышения удовлетворительной производительности, времени работы и масштабирования приложений. Мотивированный лидер, вдохновляющий инженеров front-end и координирующий работу с инженерами back-end для создания надежных API.

Подробнее