Арсентий К. Data инженер, Senior
ID 11351
АК
Арсентий К.
Мужчина
Беларусь, Гродно, UTC+3
Ставка
3 596,88 Р/час
вкл. НДС 20% (480 Р)
Специалист доступен с 3 июля 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data инженер
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Data Engineer с опытом 4-х лет в ETL/Data разработке, обладающий знаниями концепций хранилищ данных, опытом разработки процессов загрузки данных, создания ETL процессов, построение витрин данных.
Разработка на Python, включая:
Разработка ETL процессов в Apache Airflow
Опыт в использовании Pandas, PySpark, Numpy, ORM
Использование Rest API
Программирование математических и криптографических алгоритмов
Анализ и обработка данных
Oracle, PostgreSQL, ClickHouse, Greenplum включая:
Логическое и физическое моделирование баз данных
Настройка производительности, индексация, распараллеливание, подсказки, статистика, создание хранимых процедур
Разработка ETL процессов в Apache Airflow
Построение витрин данных
Проекты
(4 года 7 месяцев)
Azati - MyGames
Роль
DWH, Data Engineer
Обязанности
Перенос 700 Тб данных из Hadoop источника на новый сервер, перенос дагов для реализации регулярного наполнения хранилища новыми данными.
Команда: 4 разработчика, 1 тимлид
Обязанности:
- Разработка процессов загрузки данных;
- Перенос структуры хранилища;
- Реализация ETL процессов;
- Выгрузка данных из систем источников;
- Загрузка данных в Hive;
- Оптимизация запросов и структур баз данных;
- Создание и ведение документации/спецификации по разработанному ПО;
- Оперативное реагирование на проблемы с витринами данных и ETL;
- Мониторинг производительности;
- Cотрудничал с аналитиками, DevOps-инженерами и бизнес-заказчиками для уточнения требований и согласования технических решений.
Стек специалиста на проекте
PostgreSQL, Git, MySQL, Bitbucket, AWS, Hive, ClickHouse, GreenPlum, Apache AirFlow, HDFS, NiFi, DBT, impala
Отрасль проекта
Marketing, Advertising & Design
Период работы
Февраль 2024 - По настоящее время
(1 год 6 месяцев)
Azati - Альфастрахование. Автоматизированная система страхового менеджмента (текущая поддержка)
Роль
Data Analyst, DWH Developer
Обязанности
Разработка моделей (витрина данных, визуализация), описание реализации модели, участие в оптимизации скриптов сборки моделей.
Команда: 3 разработчика, 1 тимлид
Обязанности:
- Разработка процессов загрузки данных;
- Проведение код-ревью;
- Разработка витрин данных в Exasol;
- Визуализация данных в QlikView;
- Создание интеграций с помощью Rest API;
- Оптимизация запросов и структур баз данных;
- Создание и ведение документации/спецификации по разработанному ПО;
- Оперативное реагирование на проблемы с витринами данных и ETL;
- Планирование переноса архитектуры на Greenplum;
- Представлял технические решения и прогресс по задачам на демо для заказчиков и продуктовых менеджеров;
- Мониторинг производительности.
Стек специалиста на проекте
Git, Jenkins, Data, QlikView, GreenPlum, Vault, Apache AirFlow, Exasol, DBT
Отрасль проекта
Insurance
Период работы
Июль 2023 - Февраль 2024
(8 месяцев)
Azati - Альфастрахование. Автоматизированная система финансового менеджмента
Роль
Data Engineer
Обязанности
Разработка процесса регулярной загрузки данных и последующей обработки из различных источников (базы данных, XML/JSON файлы из DataLake) в целевое хранилище
Команда: 3 разработчика, 1 тимлид
Обязанности:
- Разработка процессов загрузки данных;
- Проведение код-ревью;
- Разработка витрин данных в GreenPlum;
- Разработка витрин данных в ClickHouse;
- Исследование и внедрение новых технологий;
- Создание интеграций с помощью Rest API;
- Создание ETL-процессов для обеспечения актуальности данных;
- Оптимизация запросов и структур баз данных;
- Создание и ведение документации/спецификации по разработанному ПО; Участвовал в обсуждениях с бизнес-стейкхолдерами, помогая переводить бизнес-потребности в технические спецификации;
- Оперативное реагирование на проблемы с витринами данных и ETL;
- Мониторинг производительности.
Стек специалиста на проекте
PostgreSQL, Git, MongoDB, Hive, Data, ClickHouse, GreenPlum, Apache Spark, Vault, Apache AirFlow, HDFS, arenadata, streaming
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2022 - Июль 2023
(11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
Гродненский Государственный Университет им. Я. Купалы
Специальность
Компьютерная безопасность (математические методы и программные системы)
Завершение учебы
2023 г.