Марат Ш. Data инженер, Senior

ID 20035
МШ
Марат Ш.
Мужчина, 41 год
Россия, Казань, UTC+3
Ставка
3 766,23 Р/час
НДС не облагается
Специалист доступен с 11 февраля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Senior
Навыки
Apache AirFlow
API
Atlassian
Bash
beatifulsoup4
BeautifulSoup4
BigQuery
Bootstrap
Clickhouse
cloud
Cloud Functions
Confluence
console
developer
Docker
Drupal
DWH
eradata
ETL
Excel
FastAPI
GCP
Git
GitHub
GitLab
GitLab CI/CD
Google Cloud
Google Cloud Platform
Google Sheets
Grafana
GreenPlum
JavaScript
Jira
Kafka
Kafka UI
Kubernetes
Linux
Microsoft
MySQL
Node.js
open
Pandas
PHP
PostgreSQL
Pub/Sub
Puppeteer
Python
Redis
Requests
REST API
Selenium
Spark
SQL
Storage
Telegram bot
tools
Upwork
Web UI
Wordpress
XML
Yandex Cloud
Автоматизация процессов
Базы данных
Работа с базами данных
Admitad
Отрасли
Cloud Services
E-commerce & Retail
Information Security
Знание языков
Английский — B1
Проекты   (3 года 5 месяцев)
Реализация проекта по безопасности сбора данных в интернете
Роль
Data Engineer/Python Developer
Обязанности
● Написание дагов в Airflow ● Подготовка витрин данных в Clickhouse ● Работа с Kafka ● Разработка парсеров с внешних источников и загрузка данных в Clickhouse ● Разработка высоконагруженного сервиса на FastAPI с интеграцией Kafka+Clickhouse+PostgreSQL и Web UI ● Настройка алертов и отчетов в Telegram-бот ● Разработка системы для работы с данными
Стек специалиста на проекте
DBT, Grafana, BeautifulSoup4, Clickhouse, Web UI, FastAPI, Confluence, Docker, SQL, Python, GreenPlum, GitLab CI/CD, Apache AirFlow, Jira, Kafka UI, Telegram bot, PostgreSQL, Kubernetes
Отрасль проекта
Information Security
Период работы
Май 2024 - По настоящее время  (10 месяцев)
Сбор и автоматизация данных для поставщиков для маркетплейсов
Роль
Старший Data Engineer
Обязанности
● Создание, наполнение и развитие хранилища данных о товарах в PostgreSQL ● Парсинг зарубежных интернет-магазинов ● Подготовка датасетов для заведения карточек контент-менеджерами на маркетплейсах Ozon, Яндекс.Маркет, Мегамаркет ● Автоматизация обновления цен и остатков в магазинах на маркетплейсах (XML-фиды) ● Настройка алертов и отчетов в Telegram-бот.
Стек специалиста на проекте
developer, DBT, BeautifulSoup4, Google Sheets, tools, API, Bash, Selenium, Google Cloud, GitHub, Requests, Docker, Python, Apache AirFlow, Puppeteer, Telegram bot, JavaScript, Yandex Object Storage, Yandex Cloud
Отрасль проекта
E-commerce & Retail
Период работы
Март 2023 - Май 2024  (1 год 3 месяца)
Создание баз данных с информацией с различных веб-сайтов коммерческой и информационной тематик с различным гео и разной уровень сложности
Роль
Data Engineer/Python/Node.js Developer
Обязанности
● Парсинг ● Сбор и подготовка данных для внутренних разработок и DWH компании ● Обход различных систем защиты с помощью прокси, эмуляции пользовательского поведения ● Извлечение ● Преобразование ● Хранение информации в виде датасетов ● Автоматизация рутинных задач
Стек специалиста на проекте
developer, BeautifulSoup4, bases, tools, Selenium, GitHub, Requests, Docker, Python, Puppeteer, JavaScript
Отрасль проекта
Cloud Services
Период работы
Февраль 2022 - Июль 2023  (1 год 6 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Казанский государственный финансово-экономический институт им. В.В. Куйбышева, Казань
Специальность
Экономики предприятия, Антикризисное управление
Завершение учебы
2005 г.
Дополнительное
Учебное заведение
Тюменский государственный университет
Специальность
Методы машинного обучения: продвинутый уровень, Анализ данных
Завершение учебы
2022 г.

Похожие специалисты

E-commerce & Retail • EdTech • RnD
АК
Алексей К.
Белград
Data инженер
Senior
4 110,32 Р/час
Python
Hadoop
Apache AirFlow
AWS
AWS RDS
Bash
beams
Big Data
BigQuery
C++
+108

Алексей — опытный Data инженер с более чем шестилетним опытом работы в проектах RnD, E-commerce & Retail и EdTech. В портфолио Алексея есть несколько успешных проектов: Customer360, разработка программного обеспечения для бухгалтерского учёта для одного из крупнейших розничных продавцов товаров для дома, Apache Superset по визуализации данных для целей BI, внутренний проект, направленный на решение проблем повторного развёртывания групп DAG Airflow на учётных записях Kohls и IAS, IAS Python Upgrade, настройка и поддержка кластера Hadoop/Spark, разработка приложений на Hadoop/Spark для научных целей. Алексей участвовал в разработке и поддержке групп DAG Airflow для преобразования данных, включая сшивание данных; разработал и спроектировал Metadag Airflow DAG, которая автоматизирует и повышает уровень понимания процессов в команде C360; выполнил общую миграцию из локальных в облачные сервисы; получил большой опыт в разработке приложений Flask, выполнении миграций БД с использованием SQLAlchemy и Alembic; разработал внутреннюю систему контроля доступа для приложения Superset; разработал пакет Python3 airflow-redeploy, который упрощает процесс повторного развёртывания групп DAG через официальный REST API и плагин REST API.

Подробнее
E-commerce & Retail • FinTech & Banking • Government & Public Sector • HRTech
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Senior
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+61

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, Postgresql, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
FinTech & Banking • Logistics & Transport • Media • Telecom
РД
Роман Д.
Београд
Data инженер
Middle+
3 596,53 Р/час
Python
PostgreSQL
Apache AirFlow
GreenPlum
SQL
Git
Docker
Kafka
Hadoop
Oracle
+41

Роман — опытный Data-инженер уровня Middle+ с опытом работы более 4 года. Он обладает широким спектром навыков в области разработки и аналитики данных, включая знание Python, PostgreSQL, Apache AirFlow, GreenPlum, SQL, Git, Docker, Kafka, Hadoop, Oracle, ETL, DWH, PySpark, Jira, Hive, Clickhouse, Data, MySQL, BI, API, FastAPI, Pl/SQL, MongoDB, Redis, Spark, Apache Spark, Bash, Confluence, GitLab CI/CD, Grafana, HDFS, CI/CD, GitLab, oozie, Scala, Akka, HTTP, REST, Jenkins, Jupyter Notebook. Роман работал над проектами в таких отраслях, как медиа, телекоммуникации, логистика и транспорт, финтех и банкинг. На проектах он занимался созданием и поддержкой ETL-конвейеров, рефакторингом кода, настройкой мониторинга и алертинга, проектированием решений для DWH и разработкой REST API. Опыт Романа включает работу в IT-компании, где он участвовал в создании изолированной среды разработки для аналитиков, а также в телекоммуникационной компании, автомобильном бизнесе и банке. В последнем проекте он разработал витрину данных, которая сэкономила компании порядка 80 млн рублей в квартал.

Подробнее

Недавно просмотренные специалисты