Арсентий К. Data инженер, Senior

ID 11351
АК
Арсентий К.
Мужчина
Беларусь, Гродно, UTC+3
Ставка
3 596,88 Р/час
вкл. НДС 20% (480 Р)
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Python
SQL
Pl/SQL
PL/pgSQL
Oracle 11G
Apache AirFlow
Apache Spark
NiFi
Kafka
Pandas
Numpy
ORM
JSON
REST
SOAP
Oracle
PostgreSQL
MySQL
MongoDB
ClickHouse
GreenPlum
Hadoop
Power BI
MS Windows
Linux
Debian
Ubuntu
Oracle SQL Developer
DBeaver
Identity Server
SSIS
Microsoft
Offset Explorer
Informatica Test Data Management
vscode
PyCharm
visualstudio
JupyterNoteBook
Docker
Kubernetes
GitHub Desktop
Git
GitLab
Jenkins
IDLE
Отрасли
EdTech
FinTech & Banking
Insurance
Marketing, Advertising & Design
Знание языков
Английский — B2
Главное о специалисте
Data Engineer с опытом 4-х лет в ETL/Data разработке, обладающий знаниями концепций хранилищ данных, опытом разработки процессов загрузки данных, создания ETL процессов, построение витрин данных. Разработка на Python, включая: Разработка ETL процессов в Apache Airflow Опыт в использовании Pandas, PySpark, Numpy, ORM Использование Rest API Программирование математических и криптографических алгоритмов Анализ и обработка данных Oracle, PostgreSQL, ClickHouse, Greenplum включая: Логическое и физическое моделирование баз данных Настройка производительности, индексация, распараллеливание, подсказки, статистика, создание хранимых процедур Разработка ETL процессов в Apache Airflow Построение витрин данных
Проекты   (4 года 7 месяцев)
Azati - MyGames
Роль
DWH, Data Engineer
Обязанности
Перенос 700 Тб данных из Hadoop источника на новый сервер, перенос дагов для реализации регулярного наполнения хранилища новыми данными. Команда: 4 разработчика, 1 тимлид Обязанности: - Разработка процессов загрузки данных; - Перенос структуры хранилища; - Реализация ETL процессов; - Выгрузка данных из систем источников; - Загрузка данных в Hive; - Оптимизация запросов и структур баз данных; - Создание и ведение документации/спецификации по разработанному ПО; - Оперативное реагирование на проблемы с витринами данных и ETL; - Мониторинг производительности; - Cотрудничал с аналитиками, DevOps-инженерами и бизнес-заказчиками для уточнения требований и согласования технических решений.
Стек специалиста на проекте
PostgreSQL, Git, MySQL, Bitbucket, AWS, Hive, ClickHouse, GreenPlum, Apache AirFlow, HDFS, NiFi, DBT, impala
Отрасль проекта
Marketing, Advertising & Design
Период работы
Февраль 2024 - По настоящее время  (1 год 6 месяцев)
Azati - Альфастрахование. Автоматизированная система страхового менеджмента (текущая поддержка)
Роль
Data Analyst, DWH Developer
Обязанности
Разработка моделей (витрина данных, визуализация), описание реализации модели, участие в оптимизации скриптов сборки моделей. Команда: 3 разработчика, 1 тимлид Обязанности: - Разработка процессов загрузки данных; - Проведение код-ревью; - Разработка витрин данных в Exasol; - Визуализация данных в QlikView; - Создание интеграций с помощью Rest API; - Оптимизация запросов и структур баз данных; - Создание и ведение документации/спецификации по разработанному ПО; - Оперативное реагирование на проблемы с витринами данных и ETL; - Планирование переноса архитектуры на Greenplum; - Представлял технические решения и прогресс по задачам на демо для заказчиков и продуктовых менеджеров; - Мониторинг производительности.
Стек специалиста на проекте
Git, Jenkins, Data, QlikView, GreenPlum, Vault, Apache AirFlow, Exasol, DBT
Отрасль проекта
Insurance
Период работы
Июль 2023 - Февраль 2024  (8 месяцев)
Azati - Альфастрахование. Автоматизированная система финансового менеджмента
Роль
Data Engineer
Обязанности
Разработка процесса регулярной загрузки данных и последующей обработки из различных источников (базы данных, XML/JSON файлы из DataLake) в целевое хранилище Команда: 3 разработчика, 1 тимлид Обязанности: - Разработка процессов загрузки данных; - Проведение код-ревью; - Разработка витрин данных в GreenPlum; - Разработка витрин данных в ClickHouse; - Исследование и внедрение новых технологий; - Создание интеграций с помощью Rest API; - Создание ETL-процессов для обеспечения актуальности данных; - Оптимизация запросов и структур баз данных; - Создание и ведение документации/спецификации по разработанному ПО; Участвовал в обсуждениях с бизнес-стейкхолдерами, помогая переводить бизнес-потребности в технические спецификации; - Оперативное реагирование на проблемы с витринами данных и ETL; - Мониторинг производительности.
Стек специалиста на проекте
PostgreSQL, Git, MongoDB, Hive, Data, ClickHouse, GreenPlum, Apache Spark, Vault, Apache AirFlow, HDFS, arenadata, streaming
Отрасль проекта
FinTech & Banking
Период работы
Сентябрь 2022 - Июль 2023  (11 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Да
Образование
Высшее
Учебное заведение
Гродненский Государственный Университет им. Я. Купалы
Специальность
Компьютерная безопасность (математические методы и программные системы)
Завершение учебы
2023 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
EdTech • Hardware
СП
Сергей П.
Санкт-Петербург
Data инженер
Lead
4 349,14 Р/час
Agile
Apache
Apache Hadoop
Apache Spark
Apache Superset
arch
arrow
Bash
C/C++
CentOS
+63

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Подробнее
E-commerce & Retail • FinTech & Banking
КЯ
Кирилл Я.
Минск
Data инженер
Middle+
3 545,15 Р/час
aks
Analytics
Apache AirFlow
Apache Kafka
Apache NiFi
Apache Spark
Apache Superset
AWS
Azure
Azure SQL
+50

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Подробнее

Недавно просмотренные специалисты

Insurance
МЗ
Мухаммадраджаб З.
Москва
DevOps
Lead
3 896,1 Р/час
ArtemisMQ
ELK
Grafana
backup
COBIT
анализ
Контроль версий
ESXi
GitLab
+90

есть опыт управления отделом, закупками, поставками и обеспечением. Прошу учесть, что в ИТ области работаю более 12 лет, и я начинал все с нуля. Я владею хорошими знаниям библиотек COBIT, ITIL также методологий и принципов DevOps, MOF, ITIL. Организация IT-инфраструктуры «с нуля»: закупка, установка, сопровождение и модернизация оборудования и ПО для малых и средних офисов <250–3000 рабочих мест, ~15-65 серверов. Работа с серверным оборудованием HP, Huawei и c сетевым оборудованием D-Link, Cisco и MicroTik. Организация и администрирование серверов на базе продуктов Microsoft, OS FreeBSD, Linux (Debian , Ubuntu). Знание и настройка служб Active Directory, LDAP, DNS, DHCP, WINS, IIS, RRAS, SUS/WSUS, VPN, Apache, Nginx, MySQL, PostgreSQL, ElasticSearch,TeamCity, Cassandra, Grafana, Zabbix. Организация почтовых серверов: Microsoft Exchange Server; Kerio, Exim. Установка и программирование офисных АТС. Настройка Аsterisk, интеграция с инфраструктурой. Знание Windows Terminal, Citrix XenServer, XEN, KVM, Kubernetes, Docker, Chef, Puppet,«тонких» клиентов (thin-clients). Создание систем облачных вычисление. Виртуализация систем. Балансировка нагрузки, Кластеры. Мониторинг, резервное копирование и защита информации. Бухгалтерские и торговые программы (1С (КА, УПП, УТ, ERP2.0,), банк-клиенты, сметные программы и тп.) — уровень установки и тех. поддержки, программирования. Профессиональные навыки разработки программного обеспечения на С#, JAVA (JUnit, JDBC, Swing, Многопоточные приложения, клиент-серверные приложения, WEB, Android), Kotlin, Pyton (Django). JavaSctript (vie.js React), Node.js Опыт разработки Full Stack бизнес приложений. Последний проект разработка системы электронного документооборота и контроля поручений на базе vue.js babel node.js (в качестве backend Kotlin + Postgresql + elasticsearch + redist) Навыки составления и ведения рабочей документации. Профессиональная принципиальность, объективность и независимость, аналитический склад ума, порядочность.

Подробнее
E-commerce & Retail • FinTech & Banking • RnD • VR/AR
МБ
Максим Б.
Краснодар
QA ручной
Middle
2 312,06 Р/час
Регрессионное тестирование
Тестирование требований
базовое тестирование безопасности
базовое тестирование нагрузки
Тестирование Back-End
mobile тестирование
Тестирование БД
Приемочное тестирование
Смоук-тестирование
API testing
+19

Максим — опытный QA-инженер с более чем 2-летним стажем работы в области тестирования программного обеспечения. За время своей профессиональной деятельности он зарекомендовал себя как ответственный и инициативный специалист, обладающий лидерскими качествами и способный находить интересные решения для сложных задач. На одном из проектов Максим выступал в роли лидирующего QA и организовал процесс тестирования с нуля, что позволило команде значительно улучшить качество продукта. Он подготовил и провел 5 демонстраций функционала для заказчиков перед релизом, успешно защитив продукт и обеспечив его выход в релиз без критических багов. Максим — это специалист, который не только решает текущие задачи, но и активно способствует развитию команды и повышению качества продукта.

Подробнее