Даниил П. Data инженер, Middle

ID 7499

ДП

Даниил П.

Мужчина, 31 год

Россия, Санкт-Петербург, UTC+3

Ставка

3 687,5 Р/час

НДС не облагается

Специалист доступен с 27 июля 2024 г.

Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.

Подробнее

О специалисте

Специализация

Data инженер

Грейд

Middle

Навыки

Scala

SQL

Hadoop

Apache AirFlow

DWH

ETL

Python

Отрасли

Telecom

Главное о специалисте

Самостоятельный разработчик, который способен реализовать требуемый функционал. Постоянно саморазвиваюсь и улучшаю свои профессиональные навыки за счет прочтения книг и статей. Больше внимание уделяю структуре кода и его читаемости. Считаю документацию важной частью разработки. В процессе обучения в университете ИТМО познакомился с большим количеством технологий и реализовал множество проектов: Онлайн сервис с рекомендательной системой рецептов, приложение для кластеризации эмоций человек с фотографии, веб-приложения для проведения эксперементального тестирования людей. При работе в EPAM закончил тренинг центр и внутренний курс по Big Data. Своё профессиональное будущее вижу в качестве Data Engineer работающего в сфере Big Data.

Проекты (2 года 11 месяцев)

Deco Systems

Роль

Программист Python/ Data Engineer

Обязанности

Data Engineer: Подготовка программного кода и архитектуры к переносу на новую версию hadoop кластера Рефакторинг Scala, SQL и Airflow скриптов Миграция данных с Oracle на Greenplum с изменением целевой архитектуры Поддержка контроля качества на всем жизненном цикле данных, реализация инструментария для контроля качества данных, формирование метрик качества данных Развитие архитектуры DWH (DataVault). Проектирование и формирование новых сущностей. Реализация ETL процессов для полученной архитектуры. Python разработчик: Проектирование и разработка дополнительного функционала Superset: возможность формирования .pdf отчетов Реализация модуля синтетических данных для дальнейшего обучения ML моделей розничной торговли

Период работы

Май 2022 - По настоящее время (2 года 3 месяца)

EPAM Systems Inc. (Россия)

Роль

Junior Data Quality Engineer

Обязанности

Python-разработчик: 1. Разработка программного обеспечения: разработал на основе спроектированной архитектуры модули для параллельного создания облачных сервисов 2. Участие в разработке внутреннего фреймворка компании на основе Robot Framework и Boto3: добавил поддержку сервисов aws: Cognito, Athena, ElastichCache, DMS, RDS, Lambda и другие. 3. Написание документации в confluence. 4. Взаимодействие со сторонними командами разработчиков и техподдержки. Data Quality Engineer 1. Реализовал этапы выгрзки и трансформации данных в ETL процессе. 2. Спроектировал и реализовал DQ проверки по основным DQ Dimensions и бизнес требованиям. 3. Документировал полученные решения на странице проекта в confluence 4. Разработка программного обеспечения: разработал систему внутренних и внешних нотификаций для DQ проверок. 5. Взаимодействие со сторонними командами разработчиков, дизайнеров и бизнес аналитиков.

Период работы

Сентябрь 2021 - Май 2022 (9 месяцев)

Формат работы

Удаленно

Командировки

Готов

Релокация

Не готов

Готов работать на зарубежных проектах

Нет

Образование

Высшее

Учебное заведение

Санкт-Петербургский национальный исследовательский университет информационных технологий, механики и оптики, Санкт-Петербург

Специальность

Нейротехнологии и программирование

Завершение учебы

2022 г.

Похожие специалисты

Описание пока отсутствует

Подробнее

EdTech • FinTech & Banking • Social Networking

- опыт работы с Python для разработки, сбора данных, анализа данных, работы с (большими) данными, обработка данных, машинное обучение; - опыт написания тестов для разработанного функционала; - опыт рефакторинга кода; - опыт работы с git; - опыт работы с большими данными в экосистеме Hadoop (PySpark, Hive); - развитые коммуникативные навыки;

Подробнее

E-commerce & Retail • FinTech & Banking • Logistics & Transport • Social Networking

Описание пока отсутствует

Подробнее

FinTech & Banking • RnD

Описание пока отсутствует

- Data Engineer с опытом работы с распределенными системами обработки данных более 9 лет; - Глубокие знания проектирования, внедрения и сопровождения ETL-процессов с нуля; - Практический опыт управления командой и управления продуктом; - Кандидат наук (= PhD в России) в области компьютерных наук. Опытный инженер данных Создал платформу данных с нуля. Из языков программирования — преимущественно Python, преимущественно SQL, Sparks, Scala. из облачных сервисов AWS — создание некоторой инфраструктуры, GCP — 5 мес. опыта. Инструменты управления — Docker-Master of Docker, Kubernetes — создает инфраструктуру воздушного потока. Базы данных: PostgreSQL, Redis-как брокер сообщений, Из отраслей-маркетинг, продажи, финтех Опыт работы в НЛП, ML-знает концепцию, работал руководителем группы, также работал специалистом по данным в Data Analyst.

Подробнее

Недавно просмотренные специалисты

FinTech & Banking • Information Security • Logistics & Transport • Marketing, Advertising & Design • Media • Realty & Constructoring

ОБЩАЯ ИНФОРМАЦИЯ О СПЕЦИАЛИСТЕ. Более 3 лет опыта в ИТ-индустрии. Специализация – PHP/Scala разработчик. Область экспертизы – разработка сайтов для новостных, финансовых и частных компаний. Достижения за последние 3–5 лет – Работа с легаси проектами. Добавление автоматизированного тестирования. Опыт работ с большим стеком технологий. КЛЮЧЕВЫЕ ТЕХНОЛОГИИ И ИНСТРУМЕНТЫ • Фреймворки: Play framework • CMS: Bitrix • Языки: PHP, JavaScript, Scala • Базы данных: MySQL, PostreSQL • Библиотеки тестирования: PHPUnit • Технологии: Docker, CI/CD • OC: Windows, Linux Дополнительные компетенции • Фреймворки: Symfony 3-4, Yii 1, Laravel 7-8 • Файловые хранилища: MinIO, Amazon S3 • Брокеры сообщений: RabbitMQ, Amazon SQS • Базы данных: Amazon RDS • Инструменты: Cron, Swagger, Postman. О себе. Самая интересная и/или технически сложная задача из опыта? -Добавление визуального редактора для изображений в легаси проекте на языке JavaScript Куда хотелось бы развиваться: технически или в менеджмент? Технически. Какими задачами хотелось бы заниматься? Разработка и добавление новых фич. Какими задачами не хотелось бы заниматься? Любые задачи решаемы.

Подробнее

E-commerce & Retail • EdTech • FinTech & Banking • LifeStyle • Logistics & Transport • Realty & Constructoring

-Опыт коммерческой разработки 4 года -Создание с нуля и поддержка сайтов на базе PHP -Знание Wordpress, JavaScript -Работа с документооборотом, интеграция платежных систем -Опыт работы с фреймворками Yii2, Laravel, Symfony -Git, TailwindCSS, MySQL

Имею опыт в работе с: - UI элементами UIScrollView, UITableView, UICollectionView и другими - Core Data - ООП (Наследование, Полиморфизм, Абстракция и Инкапсуляция) - Управление памятью - Многопоточность: GCD - Блоки/Кложуры - Создание кастомных UI-элементов и опыт работы с AutoLayout, PureLayout. Так же много практики в работе c версткой через интерфей-билдеры. - Cocoa Pods, Carthage - Deep Linking - Навыки работы с Git Flow - Понимание архитектур и принципов MVVM, VIPER