Дмитрий Ш. Data инженер, Lead

ID 18151
ДШ
Дмитрий Ш.
Мужчина
Россия, Тверь, UTC+3
Ставка
3 896,1 Р/час
НДС не облагается
Специалист доступен с 3 июля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Lead
Навыки
Apache AirFlow
Apache Spark
C#
Docker
ETL
gcs
Git
Kafka
MSSQL
PostgreSQL
Python
SQL
Базы данных
Отрасли
Insurance
Telecom
Проекты   (5 лет 5 месяцев)
Проект: Ключавто
Роль
Data engineer
Обязанности
Достижения: разработал генератор, который преобразовывал данные под хранилище, и интегрировал его в систему Описание проекта: Проект: DWH 2.0 Состав Команды: 3 дата инженера, двх разработчик, аналитик, архитектор Задачи: — Разработал и поддерживал процессы ETL с использованием Airflow, что позволило улучшить обработку данных и снизить задержки; — Оптимизировал работу витрин данных на PostgreSQL, что повысило производительность систем; — Участвовал в проектировании хранилища данных на базе PostgreSQL; — Разработал DDL генератор для миграции метаданных из 1С в PostgreSQL и подготовки самих данных к переходу в хранилище на архитектуре Data Vault.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Data, ETL, Kafka, Аналитика, DWH, 1С, Vault, Apache AirFlow, Проектирование, архитектура
Отрасль проекта
Telecom
Период работы
Ноябрь 2022 - Ноябрь 2024  (2 года 1 месяц)
Проект:Quantori
Роль
Data engineer
Обязанности
Описание проекта: Проект: HR Задачи: — Участвовал в создании ETL-пайплайнов с использованием PySpark и BigQuery, что помогло улучшить аналитические процессы; — Настроил систему трансформации данных с использованием Google Cloud Functions, что повысило управляемость данными.
Стек специалиста на проекте
Python, BigQuery, ETL, Google Cloud Platform, GCP, PySpark, Google Cloud Functions
Отрасль проекта
Insurance
Период работы
Сентябрь 2021 - Ноябрь 2022  (1 год 3 месяца)
Проект:Accenture
Роль
Data engineer
Обязанности
Описание проекта: поддержка приложения репортинга. Задачи: — Писал небольшие модули и функции на C# под руководством опытных разработчиков; — Работал с REST API, помогая интегрировать внутренние системы клиентов; — Писал SQL-запросы для работы с базами данных MS SQL Server и участвовал в их поддержке и оптимизации; — Помогал коллегам в общении с зарубежными заказчиками.
Стек специалиста на проекте
C#, SQL, REST API, .NET, Microsoft, Identity Server, SQL запросы
Отрасль проекта
Insurance
Период работы
Июль 2019 - Сентябрь 2021  (2 года 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Колледж им. А.Н. Коняева
Специальность
Программирование, Техник-программист
Завершение учебы
2018 г.

Похожие специалисты

E-commerce & Retail
ГВ
Герман В.
Минск
Data инженер
Middle+
3 545,15 Р/час
Alembic
Apache
Apache AirFlow
Apache Spark
athena
Avro
AWS
AWS glue
Bash scripting
Bitbucket
+55

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Подробнее
LifeStyle
ГР
Гатауллин Р.
Казань
Data инженер
Senior
5 844,15 Р/час
DevOps
Docker
Flask
GitLab
GitLab CI/CD
metabase
ГОСТ
Управление командой
Apache AirFlow
PostgreSQL
+61

- Data Engineer с опытом работы с распределенными системами обработки данных более 9 лет; - Глубокие знания проектирования, внедрения и сопровождения ETL-процессов с нуля; - Практический опыт управления командой и управления продуктом; - Кандидат наук (= PhD в России) в области компьютерных наук. Опытный инженер данных Создал платформу данных с нуля. Из языков программирования — преимущественно Python, преимущественно SQL, Sparks, Scala. из облачных сервисов AWS — создание некоторой инфраструктуры, GCP — 5 мес. опыта. Инструменты управления — Docker-Master of Docker, Kubernetes — создает инфраструктуру воздушного потока. Базы данных: PostgreSQL, Redis-как брокер сообщений, Из отраслей-маркетинг, продажи, финтех Опыт работы в НЛП, ML-знает концепцию, работал руководителем группы, также работал специалистом по данным в Data Analyst.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты

BioTech, Pharma, Health care & Sports • Blockchain • E-commerce & Retail • FinTech & Banking • GameDev • Government & Public Sector • Manufacturing • Marketing, Advertising & Design • Social Networking • Travel, Hospitality & Restaurant business • Urban technology
АА
Аскольд А.
Тула
Frontend разработчик
Senior
3 571,43 Р/час
Ant.design
Next.js 13 (pages router)
React testing library
PHP
JavaScript (чистый)
Redux
GraphQL
Jenkins CI
refine
shadcn
+42

Технологический стек Front-end: - JavaScript ES6, TypeScript, Dart (Flutter) - React 16+, React Native 0.71+, Vue.js (v2, v3) - Webpack, Vite.js (сборщики модулей) - Next.js, Remix.js, Nuxt.js (SSR, ISR) - React-Query (Tanstack Query) - Redux, Redux Saga, Effector, Zustand (состояние) - Tailwind, Emotion, Styled-components (стилизация) - Ant.design, MUI, Bootstrap (UI-kit) - Jest, Vitest, React Testing Library, Playwright, Selenuim (тесты) Технологический стек Back-end: - JavaScript (Node.js), PHP 5.6+, Bash - Express, Nest.js (фреймворки) - MySQL, PostgreSQL, MongoDB (базы данных) - REST API, GraphQL, Websocket (API) Инфраструктура/DevOps: - Docker, Docker Compose - Gitlab CI/CD, GitHub Actions, Drone CI - Prometheus, Grafana Методологии разработки: Agile, Scrum, Kanban Организация Git: Git Flow, Trunk-based Development Сервисы: Atlassian (Jira, BitBucket, Confluence, Trello), Figma, Sketch, Miro Github: https://github.com/astakhovaskold Stackoverflow: https://stackoverflow.com/users/12514422/askold-astakhov TG: @askold_astakhov

Подробнее