Виктор Б. ETL разработчик, Senior
ID 22753
ВБ
Виктор Б.
Мужчина
Россия, Москва, UTC+3
Ставка
4 805,19 Р/час
НДС не облагается
Специалист доступен с 20 июня 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
ETL разработчик
Грейд
Навыки
Отрасли
Главное о специалисте
● Опыт разработки более 14 лет
● Опыт разработки на Python, Scala
● Участие в проектировании архитектуры продукта
● Код-ревью, рефакторинг кодовой базы
● Опыт работы с СУБД PostgreSQL, Greenplum, ClickHouse, Vertica, платформой Hadoop, облачными платформами Яндекс.Облако, Cloud.ru
● Уверенное знание фреймворка PySpark
● Опыт использования GIT, Docker, Terraform, Ansible
● Аналитические и организационные навыки
● Опыт руководства коллективом разработчиков
● Опыт разработки проектной документации и архитектурных артефактов
Проекты
(12 лет 3 месяца)
Создание аналитической платформы
Роль
Тим-лид команды инженеров данных
Обязанности
Создание аналитической платформы исследования данных (“песочницы”) в крупном российском банке (NDA)
данных
Задачи
Проектирование и разработка потоков загрузки данных из систем-источников
Участие в создании процессов непрерывной интеграции и доставки (CI/CD)
Создание вспомогательных инструментов разработки (генераторов DDL и метаданных)
Актуализация проектного репозитория GitLab и тестирование процессов CI/CD
Руководство командой инженеров данных
Greenplum (проектирование моделей данных, миграция таблиц из MS SQL и Oracle, миграция процедур T-SQL на PL/pgSQL)
Достижения
Созданы готовые к переиспользованию генераторы DDL и DML запросов по артефактам системного анализа
Разработаны потоки инициализирующей и регулярной загрузок данных из систем-источников (более 5 тысяч таблиц)
Стек специалиста на проекте
GitLab, Разработка, Pandas, Oracle, Проектирование, T-SQL, DWH, PL/pgSQL, Jinja, SQL, Python, GreenPlum, Apache AirFlow, Microsoft, Pl/SQL, данных, CI/CD
Отрасль проекта
FinTech & Banking
Период работы
Январь 2025 - По настоящее время
(6 месяцев)
Проект для ООО “ВК”
Роль
Инженер данных
Обязанности
Развитие внутреннего продукта по анализу аудитории и активности инфлюенсеров и сообществ в популярных соцсетях
Задачи
Разработка потоков загрузки метрик сообществ из соцсетей
Разработка потока построения детального портрета пользователей сообществ ВК
Разработка потока загрузки метрик по публичным страницам государственных учреждений, оптимизация запросов к БД-источнику
ClickHouse (Dictionary Table Engine, Array и arrayJoin функции, массивы, лямбда-процедуры, агрегаторы и модификаторы агрегаций)
Опыт работы с Star Schema, Snowflake Schema, SCD
Достижения
● Реализована регулярная загрузка метрик сообществ двух крупных соцсетей
● Разработан поток построения детального портрета пользователей, содержащего более 2000 метрик
Стек специалиста на проекте
UDF, Разработка, Yarn, arrayjoin, ClickHouse, dags, Spark, API, Pandas, Scheme, Hadoop, Table, sparksql, Requests, DWH, HDFS, Snowflake, PySpark, dataframe, Apache AirFlow, Python2, библиотеки, Parquet, dictionary, schema, star, engine, array
Отрасль проекта
Social Networking
Период работы
Август 2024 - Декабрь 2024
(5 месяцев)
ООО “ВАЙЛДБЕРРИЗ”
Роль
Инженер данных
Обязанности
Проект
Развитие аналитического хранилища данных
Задачи
Разработка ETL-процессов загрузки и обработки данных в хранилище
ClickHouse (Проектирование таблиц с использованием табличных движков MergeTree, ReplacingMergeTree, AggregatingMergeTree Table Engine, Kafka Table Engine, разработка потоков загрузки данных с помощью Materialized Views)
Apache Airflow (разработка DAGs)
Достижения
Достижения
Разработаны и введены в эксплуатацию несколько ETL-потоков по загрузке данных из систем-источников
Стек специалиста на проекте
ClickHouse, Table, Kafka, DWH, Apache AirFlow, Проектирование, views, Materialize, Разработка, данных, engine
Отрасль проекта
E-commerce & Retail
Период работы
Июль 2024 - Август 2024
(2 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
Московский Государственный Университет им. М.В. Ломоносова
Специальность
факультет Вычислительной Математики и Кибернетики, специалитет по направлению “Прикладная математика и информатика”
Завершение учебы
2011 г.