Сергей П. Data инженер, Lead

ID 18707
СП
Сергей П.
Мужчина
Россия, Санкт-Петербург, UTC+3
Ставка
4 367,22 Р/час
вкл. НДС 5% (161.9 Р)
Специалист доступен с 11 февраля 2025 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее
О специалисте
Специализация
Data инженер
Грейд
Lead
Навыки
Agile
Apache
Apache Hadoop
Apache Spark
Apache Superset
arch
arrow
Bash
C/C++
CentOS
Clickhouse
cmd
CSS
Dask
Data
DB2
Django
Docker
Docker Compose
Elasticsearch
Git
GreenPlum
Grpc
HTML
JavaScript
Jira
JupyterNoteBook
Kafka
Kanban
Keras
Linux
lotus
Matplotlib
MySQL
Neo4j
NLTK
Numpy
Object
Oracle
Plotly
PostgreSQL
Power BI
Power Query
PyCharm
Python
QL
R
Redis
REST API
S3
Scikit-learn
SciPy
Scrum
Seaborn
SQL
SSH
Statsmodels
store /
Ubuntu
Vault
Wolfram Mathematica
Zeppelin
Confluence
Pandas
Отрасли
EdTech
Hardware
Главное о специалисте
• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.
Проекты   (10 лет 1 месяц)
Курс Big Data Analyst
Роль
Lead Data Scientist/ Analyst / Coordinator
Обязанности
Разработка программы, координация и запуск инфраструктуры интенсивного курса для потоков дата-аналитиков, направленного на углубленное изучение и расширение экспертизы в таких областях, как Python, SǪL, Big Data (Greenplum, Hadoop, Clickhouse, DWH/Lake, ETL), Машинное обучение (ML), Data Engineering и Excel (Power Ǫuery & BI). Обязанности • Составление программы, проектирование архитектуры, запуск и настройка инфраструктуры частного облака курса • Настройка и управление Apache Superset для SǪL lab к различным источникам и составления интерактивных отчетов для проектов и мониторинга облака • Наполнение данными и генерация данных для облака • Проведение анализа данных с использованием языков и инструментов для больших данных • Настройка и управление контейнерами с использованием Docker для практики и тестирования • Установка, настройка и администрация ресурсов БМ и ПО для курса • Написание скриптов на Python, SǪL и Bash для примеров анализа и обработки данных • Ознакомление с архитектурой и моделированием и профилированием данных • Координация команды, менторов и потоков обучаемых • Проведение собеседований и оценка менторов и обучаемых • Управление проектом и документация в Git, Jira и ConНuence
Стек специалиста на проекте
Apache Superset, Shell, Tensorflow, Clickhouse, Google, Hive, Data, Bash, Git, Linux, Apache, PyCharm, Hadoop, Scikit-learn, ETL, Apache NiFi, NLTK, Apache Hadoop, Big Data, Faker, MLflow, Docker Compose, Docker, Python, GreenPlum, hue, Jira, JupyterNoteBook, Machine learning, PostgreSQL, BI
Отрасль проекта
EdTech
Период работы
Январь 2024 - По настоящее время  (1 год 2 месяца)
Анализ АБС и Моделирование Связей
Роль
System Analyst / BI Analyst / Data Analyst
Обязанности
Анализ существующей АБС и ее модулей в контексте задачи составления BRD для переноса данных и функционала тарификации в новую коробочную систему. Модель связей по тарификации и дашборды для системного анализа. Обязанности • Проектирование и поддержка моделей данных в Power BI (Model & Power Ǫuery) • Разработка и поддержка запросов и хранимых процедур для работы с данными в DB2, используя DBeaver для выполнения сложных SǪL-запросов • Создание и поддержка моделей данных с использованием ERD и UML, для обеспечения логической структуры базы данных • Автоматизация сбора, обработки и трансформации данных с использованием Python и Jupyter Notebook • Разработка и документирование бизнес-процессов и данных с использованием нотации BPMN для описания рабочих процессов и их оптимизации • Ведение проектной документации в ConНuence, включая описание требований, проектных решений и отчетов по результатам анализа данных • Взаимодействие с бизнес-заказчиками для сбора и анализа требований, создание технических заданий и описание потребностей в данных. • Первичное тестирование ETL-процессов и аналитических отчетов, написание тест-кейсов для обеспечения корректности данных и работоспособности BI-решений
Стек специалиста на проекте
UML, Bash, Power BI, DBeaver, DB2, bower, BPMN, Python, ER Diagram, JupyterNoteBook
Отрасль проекта
Hardware
Период работы
Сентябрь 2023 - Январь 2024  (5 месяцев)
IBA Group
Роль
Business Analyst / Data Scientist / Data Analyst
Обязанности
Проект по модернизации системы для обработки больших данных и анализа временных рядов. Обязанности • Бнедрение озера данных и инструменты BI для улучшения отчетности. • Разработка архитектуры для консолидации данных из разных источников с соблюдением политики управления и безопасности • Определение подходящей платформы EWH и BI-инструменты, обеспечение их внедрения с учетом требований проекта • Предоставление рекомендаций и поддержки пользователям, помощь в освоении новой системы • Разработка документации для эффективной работы с обновленной системой • Использование различных методов анализа временных рядов, включая анализ тенденций, сезонный анализ и прогнозирование
Стек специалиста на проекте
BI инструменты, Data, Bash, Power BI, Apache, Ubuntu, Vault, Confluence, SQL, Python, Apache AirFlow, JupyterNoteBook, CI/CD
Отрасль проекта
Hardware
Период работы
Январь 2022 - Сентябрь 2023  (1 год 9 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Новосибирский государственный университет химии и биологии
Специальность
Специализированный образовательно-научный центр по физике, математике, химии и биологии
Завершение учебы
1999 г.
Высшее
Учебное заведение
Новосибирский государственный университет (НГУ)
Специальность
Бакалавр, «Физика и ускорители элементарных частиц»
Завершение учебы
2003 г.
Дополнительное
Учебное заведение
Доктор философии Университета Огайо
Специальность
доктор астрофизики
Завершение учебы
2010 г.
Дополнительное
Учебное заведение
Постдокторские исследования в Университете Индианы,
Специальность
высокопроизводительные вычисления, моделирование, протонная терапия
Завершение учебы
2015 г.
Дополнительное
Учебное заведение
Виндзорский университет Повышение квалификации
Специальность
биохимия, биофизика и молекулярная биология
Завершение учебы
2016 г.
Дополнительное
Учебное заведение
Национальный автономный университет Мексики
Специальность
Исследователь, постдокторант / Постдокторант, Астрономия, космология и моделирование.
Завершение учебы
2012 г.
Дополнительное
Учебное заведение
Введение в квантовые вычисления
Специальность
Введение в квантовые вычисления
Завершение учебы
2020 г.
Дополнительное
Учебное заведение
Нейронные сети и глубокое обучение
Специальность
Нейронные сети и глубокое обучение Coursera
Завершение учебы
2020 г.
Дополнительное
Учебное заведение
IT Step Academy, Минск
Специальность
Преподаватель курсов «Разработка на Python», «Аналитика данных» и «Управление проектами»
Завершение учебы
2024 г.

Похожие специалисты

E-commerce & Retail • FinTech & Banking • Government & Public Sector • HRTech
КН
Кирилл Н.
Ростов-на-Дону
Data инженер
Senior
3 896,1 Р/час
Ansible
Apache AirFlow
Astra Linux
Atlassian
Bash
Bitbucket
Cassandra
Celery
CI/CD
Docker
+61

Кирилл — data-инженер из Ростова-на-Дону. Обладает опытом работы на проектах в сферах FinTech & Banking, Government & Public Sector и E-commerce & Retail. На проекте для компании из сферы FinTech & Banking занимался обработкой больших объёмов информации, анализом данных, разработкой дата-пайплайнов и организацией data quality. Использовал Python, bash, Hadoop, Greenplum, Postgresql, Atlassian, Jupyter, Hue, Hive, Airflow, Superset, Power Bi, PySpark, Pandas, PyArrow. Для государственной компании разрабатывал детальный слой и строил витрины, писал пайплайны по доставке и обработке данных. Использовал Python, Apache Airflow, Git, Posgresql. В качестве python-разработчика для госструктуры создавал скрипты для автоматизации бизнес-процессов и администрирования оборудования, а также писал процедуры для баз данных. В работе использовал Python, Bash, FastAPI, Sqlalchemy, ansible, postman, Git, pgsql, Linux, Docker, Prometheus, Grafana и др. Опыт работы на позиции python-разработчика включал аналитику данных и контроль data quality, разработку скриптов по автоматизации и эксплуатацию измерительной техники. Использовал Python, bash, MySQL, Postgresql, Astra Linux, SecretNet. На последнем месте работы в сфере E-commerce & Retail занимался интеграцией реляционных и нереляционных источников, настройкой мониторинга и алертинга, нормализацией и очисткой данных. Работал со стеком из MongoDB, Postgres, S3, YandexCloud, Greenplum, Python, SQL, Ni-Fi, Airflow, Kafka, k8s, Jenkins, Github, ELK, Grafana, Vault.

Подробнее
AI & Robotics • FinTech & Banking • Travel, Hospitality & Restaurant business
МК
Матвей К.
Минск
Data инженер
Senior
4 155,84 Р/час
Apache AirFlow
Apache Hadoop
apache hive
Apache Spark
Bash scripting
Bitbucket
boot
Clickhouse
cloud
Cloud Functions
+43

Дата-Инженер с опытом работы более 6 лет. Моя цель в работе - стремление добиваться результатов, превосходящих чьи либо ожидания. Я понимаю важность соответствия моей работы конкретным требованиям каждого клиента и умею создавать эффективные стратегии, соответствующие потребностям. Я всегда ищу идеальное решение для всех задач каждого клиента. Языки программирования Python, SQL, Java. Инженерия данных Apache Hadoop, HDFS, Apache Hive, Apache Spark, PySpark, Apache Airflow, dbt, Snowflake. Облачные сервисы Yandex Cloud(DataLens, Object Storage, Compute Cloud, Data Proc, Cloud Functions, Managed Service for PostgreSQL). Базы данных ClickHouse, MS SQL, PostgreSQL, MongoDB, Redis. Брокеры сообщений Kafka. Data Science Pandas, NumPy. Визуализация данных Power BI, Tableau. Бэкенд Spring (MVC, Boot, Security, Data), FastAPI. Моделирование данных Многомерное Моделирование (Схема «Звезда», Схема «Снежинка»), Моделирование Сущность-Связь (ER), Нормализация / Денормализация, Data Vault 2.0. DevOps Docker, Docker Compose, Bash scripting, Kubernetes. Системы контроля версий Git, Bitbucket, GitHub.

Подробнее

Недавно просмотренные специалисты

EdTech • Hardware
СП
Сергей П.
Санкт-Петербург
Data инженер
Lead
4 367,22 Р/час
Apache Superset
store /
C/C++
lotus
Kanban
arrow
arch
CentOS
Clickhouse
Numpy
+64

• Сильные технические и математические навыки, умение быстро осваивать инструменты и алгоритмы для работы с данными благодаря богатому и глубокому опыту сфере анализа и исследований • Приобрел успешный опыт в Data Science, начиная от научных исследований (c 2010), потом практических задач для ИТ инфраструктуры инновационного экопарка переработки отходов, и сейчас в проектировании функциональных требований к архитектуре и в сборке и разработке ML моделей и подходов для сложных аналитических систем (умного озера, СУДД, банка, телекоммуникаций) • Эксперт в языке Python (PyCharm & Jupyter) для решения задач по Data Science и для анализа данных (также есть опыт веб разработки в Django & Flask) • Работает с библиотеками, такими как Pandas (+Dask), NumPy, Matplotlib (seaborn, plotly), Statsmodels, SciPy, Scikit-learn и Keras, NTLK, PySpark • Моделировал данные для машинного обучения • Знаком с архитектурой и компонентами экосистемы Big Data, включая GreenPlum, HDFS и облачные хранилища, такие как S3 (MinIO) • Понимает особенности работы с колончатыми базами данных, особенности написания запросов и их последовательной оптимизации, влияние вида запроса на скорость работы и нагрузку на базу данных, задачи и операции, которые требуют специфического решения для колончатых баз данных • Обладает опытом работы с BI инструментами, включая Power BI, Apache Superset (эксперт), Zeppelin • Имеет опыт использования контейнеризации и оркестрации с Docker, включая CI/CD процессы в GitLab • Знаком с ETL инструментами Apache AirKow, DBT, Spark • Также владеет знанием языков программирования C, C++, Java Script, HTML, CSS • Управляет проектами и пользуется инструментами Jira, ConНuence • Обладает опытом работы в Agile среде (- Scrum, Kanban) с использованием инструментов управления проектами, таких как Jira и ConНuence Coursera. Введение в квантовые вычисления. Нейронные сети и глубокое обучение.

Подробнее
E-commerce & Retail • Logistics & Transport • Realty & Constructoring • Urban technology
АЕ
Александр Е.
Тула
PHP разработчик
Middle+
2 633,18 Р/час
*nix
SentrySDK
Sass
Grafana
Редизайн
Техническая поддержка
Работа с интеграциями
PHP
GitLab
+75

Сертифицированный разработчик 1С-Битрикс, опыт работы с 2020 года. Специализируется на e-commerce проектах на 1С-Битрикс и внедрении облачной и коробочной версий Битрикс 24. • Разработка своих компонентов и модулей для 1C-Битрикс • Написание собственных обработчиков событий • Разработка собственных типов свойств • Разработка собственных типов пользовательских полей • Разработка гаджетов для административной части сайта • Создание и применение собственных ограничений на службы доставки и платёжные системы • Работа с ядром D7 (Битрикс) • Оптимизация кода и SQL-запросов • Работы по ускорению загрузки страниц • Интеграция со внешними сервисами • Интеграция с Elasticsearch • Интеграция с мобильными приложениями • Интеграция с системами аналитики и CRM • Проектирование и разработка ORM-сущностей • Администрирование PHP, Apache, Nginx • Кастомизация коробочной версии Битрикс24 • Настройка Docker под микросервисы • Проведение нагрузочного тестирования • Работа с Symfony Framework • Опыт работы с Git и Docker на нескольких проектах Дополнительно: знание основ SEO, внесение правок от SEO специалистов.

Подробнее