Андрей В. Data инженер, Senior

ID 13682
АВ
Андрей В.
Мужчина
Россия, Барнаул, UTC+7
Ставка
4 495,67 Р/час
вкл. НДС 5% (166.67 Р)
Специалист доступен с 2 октября 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
AD
Apache
Apache AirFlow
ArgoCD
C#
Clean
Docker
ELK
FastAPI
GOlang
GreenPlum
Jaeger
Java
Kafka
Kubernetes
MinIo
MongoDB
MySQL
PHP
PostgreSQL
Python
RabbitMQ
Redis
Spark
SQL
SQLAlchemy
Tensorflow
VMware
Объектно-ориентированное программирование (ООП)
Data
DevOps
DWH
ETL
Декомпозиция и структуризация задач
Оценка задач
Проектирование
Разработка
сбор данных
Сбор и анализ требований
Microsoft
Мониторинг
разработка системы
ESXi
Horizon
Обучение
Работа с интеграциями
Git
Linux
Zabbix
micropython
Apache Superset
Grafana
observium
NVidia
Whisper
weaviate
chat with rtx
Pandas
MLops
Ansible
Docker Compose
Gitlab CI
Terraform
watchtower
Power BI
MS SQL
ChatGPT
Отрасли
E-commerce & Retail
Знание языков
Английский — A1
Главное о специалисте
За всю карьеру было реализовано большое количество проектов. Начиная от систем контроля доступа, заканчивая разработкой LLM моделей для автоматизации работы менеджеров и ОКК. Также разрабатывал архитектуру для высоконагруженных систем. Разрабатывал DataLake и DWH для дальнейшего построения системы аналитики данных. Разрабатывал системы отчетности. Работал с машинным зрением (классификация изображении). Реализовывал системы речевой аналитики на Pytorch (как самостоятельно разрабатывал сети, так и использовал BERT модели). В работе обычно использую Python, PSQL, Mongo, Redis, Kafka, Airflow, Docker, K8s По мимо этого, руководил проектом по внедрению VDI для работы удаленных пользователей.
Проекты   (8 лет 9 месяцев)
Разработка DWH и ETL процессов для построения PowerBI дашбордов
Роль
Главный разработчик
Обязанности
Полномочия, обязанности и достижения: Сбор требований Проектирование и реализация сервисов/проектов Декомпозиция задач Проведение груминга (приоритезация и оценка задач в story points) Разработка DWH для сбора данных Разработка ETL Команда: Data engineer и DevOPS
Стек специалиста на проекте
PostgreSQL, Python, DevOps, Kubernetes, Data, GreenPlum, ETL, DWH, Декомпозиция и структуризация задач, Apache AirFlow, Проектирование, Сбор и анализ требований, Разработка, Оценка задач, сбор данных
Отрасль проекта
E-commerce & Retail
Период работы
Июнь 2023 - Июнь 2024  (1 год 1 месяц)
Реализованные проекты
Роль
data engineer
Обязанности
Проект: Разработка и внедрение СКУД систем. Проект: Построение Дашбордов в Apache Superset Проект: Внедрение мониторинга инфраструктуры, включая состояние жизнеспособности оборудования и уровень сервисов, а также мониторинг приложений, развернутых в кластере Kubernetes, включая сбор tracing информации с приложений. Проект: Реализация интеграций с внешними системами, UnicardOil, Shedex, ЯндексАналитика, RoisStat Проект: Реализация речевой аналитики, транскрибация звонков и дальнейшая классификация по типам. Извлечение общих договоренностей и реализация контроля качества работы менеджера. Проект: Реализация интеграций с WhatsApp. Разработка официального API к WhatsAPP Проект: Реализация предиктивной модели для оптимизации складских остатков Проект: Реализации классификации картинок из ТГ бота, счета, ТТН, УПД, Счет-Фактура, ТОРГ-12 Проект: Реализация аналитики по ценным бумагам на фондовом рынке. Прогноз цен и реализация автоматического расчета сигналов и мультипликаторов. Проект: Реализация системы для AB - тестирования и проведение AB - тестирования Проект (в качестве руководителя): Внедрение и поддержка инфраструктуры проекта, включая системы оркестрации контейнеры зированных приложений, системы непрерывной интеграции процессов разработки и доставки обновлений в различные окружения и системы. Обязанности: Разработка внешних интеграций с Б24 и Terrasoft Community. Разработка системы учета рабочего времени по RFID картам. Установка сканеров RFID в офисы и на склад. Разработка Telegram Ботов для внутренней автоматизации Разработка ml моделей классификации изображений Разработка ml моделей классификации текста Реализация модуля распознавания первички и внесения ее в 1С Реализация и поддержка системы отправки уведомлений (почта/вотсап/Телеграм) Реализация и поддержка интеграции с WhatsApp (язык реализации Golang) Реализация интеграций с внешними сервисами (Unisender/ЮникардОли/Максоптра/Шедекс и другие) Разработка PowerBI Дашбордов (Создание мер на языке DAX) и администрирование ЛК (создание пользователей, назначение прав, создание шлюзов) Аналитика данных компании по продажам и закупкам (проведение A/B тестов, XYZ, ABC, HML аналитики/Прогнозирование LTV/Проведение корреляционного анализа, выявление кластеров клиентов) Администрирование AD и VDI для сотрудников Администрирование Confluence Реализация и поддержка системы авто закупок (прогнозирование продаж и формирование оптимального заказа поставщику с учетом бюджета на закупку) Реализация скриптов парсинга сайтов Разработка микро сервисной архитектуры Развертывание микро сервисной архитектуры Администрирование репликации MSSQL Написание и оптимизация SQL запросов (MSSQL/MySQL/PSQL) Разработка DWH на Greenplum Администрирование Minio и развертывание Data Lake Разработка заданий (DAG ов) для Airflow Работа со Spark для реализации ETL процессов DWH to DM Разработка витрин данных для реализации дашбордов в PowerBI Реализация API к внутренним сервисам на FastAPI + SqlAlchemy + PSQL + Cleary + Redis - Оптимизация запросов к MongoDB Перенос монолитной системы на микросервисы Управление DevOps отделом и командой SRE Проставление целей на спринт, работа по scrum Onboarding новых сотрудников Команда: 3 DevOPS, 3 SRE, 1 LLM Разработчик, 2 BI Аналитика (подключался по мере надобности)
Стек специалиста на проекте
NVidia, Apache Superset, ELK, Grafana, Whisper, PHP, micropython, observium, weaviate, chat with rtx, watchtower, Tensorflow, Spark, Zabbix, Java, Git, Pandas, ArgoCD, Linux, Redis, FastAPI, Ansible, Terraform, Kafka, MinIo, Jaeger, Docker Compose, MLops, Docker, SQL, Python, Apache AirFlow, ChatGPT, Объектно-ориентированное программирование (ООП), MySQL, Gitlab CI, Kubernetes, PostgreSQL
Отрасль проекта
E-commerce & Retail
Период работы
Октябрь 2015 - Май 2024  (8 лет 8 месяцев)
Перенос CRM системы на микросервисы
Роль
Главный разработчик
Обязанности
Полномочия, обязанности и достижения: Сбор требований Проектирование и реализация сервисов/проектов Декомпозиция задач Проведение груминга (приоритезация и оценка задач в story points) Разработка архитектуры Разработка сервисов Развертывание Слушателя MS SQL сервера Команда: Data engineer и DevOPS
Стек специалиста на проекте
Docker, SQL, Python, DevOps, ArgoCD, Kubernetes, Data, MinIo, Kafka, Microsoft, Декомпозиция и структуризация задач, Проектирование, Сбор и анализ требований, MS SQL, Разработка, Оценка задач
Отрасль проекта
E-commerce & Retail
Период работы
Май 2022 - Май 2023  (1 год 1 месяц)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский Техникум Информатики и Вычислительной техники,
Специальность
Информационные системы и программирование, Программист
Завершение учебы
2017 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Middle+
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+66

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, PL/pgSQL, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector • Manufacturing
АХ
Артур Х.
Уфа
Data инженер
Senior
4 238,77 Р/час
Ansible
Apache AirFlow
Apache Superset
CI/CD
ClickHouse
Confluence
DBT
Docker
FastAPI
Git
+46

Артур — опытный Data инженер с навыками работы в BI, DWH, SQL и Python. Он обладает глубоким пониманием Apache AirFlow, Apache Superset, CI/CD, Clickhouse, Confluence, DBT, Docker, FastAPI, Git, GitLab, GreenPlum, Jira, Kafka, Kubernetes, Linux, PostgreSQL, RabbitMQ, Redis, REST API, S3, SOAP, TCP/IP и unit-тестирования. Артур работал над несколькими проектами, включая создание платформы для принятия бизнес-решений в металлургической компании, разработку сервиса планирования путешествий, доработку Apache Superset для отображения большого количества данных в дашбордах, создание фреймворка типовых интеграций на базе Apache Airflow, разработку бэкендов для платформы изучения английского языка и системы управления качеством данных. Из достижений можно выделить: Сделал более 12 успешных интеграций с источниками Сделал загрузку более 50 сущностей в хранилище с базовыми проверками качества Сделал гибкий масштабируемый веб-сервис предоставления данных из КХД Сделал доработку Apache Superset для отображения большого количества данных

Подробнее
AI & Robotics • E-commerce & Retail • Logistics & Transport • Telecom
СМ
Сергей М.
Набережные Челны
Data инженер
Senior
4 367,22 Р/час
Adobe Photoshop
Agile
Apache AirFlow
apache hive
Apache NiFi
Big Data
CI/CD
ClickHouse
Confluence
+65

Сергей — Data-инженер уровня Senior из Набережных Челнов. Специализируется на работе с большими данными и имеет опыт в отраслях E-commerce & Retail, AI & Robotics, Logistics & Transport, Telecom. Ключевые навыки: работа с базами данных (PostgreSQL, Oracle, MySQL), ETL/ELT-процессы, Apache Airflow, ClickHouse, Hadoop, Kafka, Scala, Spark, DataLens, Power BI, Confluence, Git, Kubernetes. Имеет опыт работы на следующих проектах: - Проект для крупного ритейла: миграция данных из различных источников, оптимизация процессов обработки данных, использование DBT, Trino, Helm, Groovy-скрипты для доработки компонентов Apache NiFi. - EasyCode: организация DWH-хранилища, автоматизация ETL/ELT-процессов, работа с ClickHouse, PostgreSQL, Google Sheets, визуализация данных в DataLens. - Мега маркет: разработка цифровых решений для e-commerce, миграция данных в ClickHouse и Greenplum, работа с Firebase, MsSQL, Яндекс.Метрика, Google Analytics. - KazanExpress: автоматизация отчётности и визуализация данных, создание дашбордов в DataLens, формирование витрин данных в ClickHouse. - МТС: формирование отчётности по продажам B2C и B2B, работа с MySQL, Oracle BI, Power BI.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее
E-commerce & Retail • FinTech & Banking
ДЧ
Даниил Ч.
Сочи
Data инженер
Senior
4 007,57 Р/час
Apache AirFlow
Apache NiFi
Apache Spark
Bash
Big Data
CI/CD
ClickHouse
clickstream
Data
DBT
+38

Даниил — Data инженер уровня Senior из Сочи, Россия. Специализируется на работе с большими данными, имеет опыт работы в отраслях FinTech & Banking и E-commerce & Retail. Ключевые навыки включают Apache AirFlow, Apache NiFi, Apache Spark, Bash, Big Data, CI/CD, ClickHouse, DBT, Docker, DWH, ETL, Git, GitLab CI, Hadoop, Hive, Kafka, Kubernetes, Linux, PostgreSQL, PySpark, Python, RabbitMQ, Redis, SQL, Trino и другие. Имеет высшее образование по специальности «Информатика и вычислительная техника» и среднее профессиональное образование по направлению «Информационная безопасность телекоммуникационных систем» Сибирского Государственного Университета Телекоммуникаций и Информатики. Опыт работы на проектах: - В роли Data Engineer Team Lead участвовал в нескольких проектах банка (с августа 2020 года), где занимался разработкой архитектурных решений, управлением командой, планированием задач, ревью кода, разработкой ETL процессов поставки данных в DWH, оптимизацией производительности и другими задачами. - В роли Data Engineer работал над проектом по хранению данных и технической поддержке пользователей в компании из сферы E-commerce & Retail (апрель — август 2019 года), где выполнял задачи по технической поддержке пользователей, обслуживанию вычислительной техники, обучению сотрудников и ревью.

Подробнее

Недавно просмотренные специалисты

AI & Robotics • FinTech & Banking • Logistics & Transport • Social Networking
ДТ
Дмитрий Т.
Санкт-Петербург
DevOps
Senior
3 313,95 Р/час
Docker
Python
Maven
Linux
Jenkins
Kubernetes
GitLab
AWS
Prometheus
OpenShift
+22

Дмитрий — DevOps-инженер уровня Middle+ из Санкт-Петербурга. Специализируется на автоматизации процессов разработки и эксплуатации программного обеспечения. Имеет опыт работы с OpenShift, Kubernetes, Istio, Jenkins, Argo CD, Python, Groovy, Maven, Linux и другими технологиями. Участвовал в проектах в сферах FinTech & Banking, Social Networking, Logistics & Transport, AI & Robotics. На проекте SberEsm в роли DevOps Engineer занимался созданием и траблшутингом CI/CD-пайплайнов, миграцией систем, администрированием приложений в OpenShift и DropApp, управлением релизами и приемочными тестами, автоматизацией рабочих процессов. На проекте VK Workmail/VK Teams в роли On-Prem DevOps Engineer / Инженер по наблюдаемости отвечал за интеграцию и поддержку экосистемы продукта VK Workspace, администрирование Kubernetes-кластеров, кластеров баз данных, настройку инструментов мониторинга. Также работал на проектах TMS, Челнок, Optera и JAICP, где занимался улучшением CI/CD-пайплайнов, администрированием сервисов больших данных, внедрением подхода Infrastructure as a Code, мониторингом состояния систем и другими задачами.

Подробнее
E-commerce & Retail • EdTech • FinTech & Banking • LifeStyle • Urban technology
ИА
Ирина А.
Ульяновск
React Native разработчик
Middle
2 597,4 Р/час
JavaScript
Kotlin
Swift
REST API
Webpack
Firebase
Redux
Socket.io
TypeScript
MobX
+31

Soft Skills: Социальные компетенции: - Грамотная письменная и устная речь - Высокий эмоциональный интеллект - Коммуникабельность - Гибкость и принятие критики - Неконфликтность Интеллектуальные компетенции: - Умение видеть и решать проблему - Умение сосредоточиться на важных деталях для получения максимального результата - Аналитический склад ума - Творческое мышление - Оперирование фактами Волевые компетенции: - Ориентированность на результат - Стрессоустойчивость - Управление временем Лидерские компетенции: - Ответственность - Планирование - Опыт работы преподавателем Hard Skills: Языки программирования: - JS - С++ - Основы java (android native) - Основы matlab Базы данных: - MySQL - PostgreSQL Фреймворки: - React - React Native - Angular Agile-методологии: - Scrum - Kanban - Agile

Подробнее