Каталог специалистов Data инженер

Никита — Data инженер уровня Middle из Уфы. Специализируется на работе с большими данными. Имеет опыт работы в отрасли логистики и транспорта. Ключевые навыки: Apache AirFlow, Apache Kafka, Apache Spark, Apache Superset, Bash, Big Data, ClickHouse, Docker, GitHub, GreenPlum, Hadoop, Jupyter Notebook, PostgreSQL, PySpark, Python, Redash, SQL, оптимизация кода, Pandas, .Net 4.0. Принимал участие в проекте по разработке и внедрению ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных. В рамках проекта занимался реализацией интеграции с PostgreSQL, созданием и поддержанием витрины данных, разработкой и оптимизацией Data Warehouse, поддержанием качества данных, оптимизацией запросов на SQL и Python, настройкой мониторинга системы. Достижения на проекте: оптимизация SQL-запросов в ClickHouse с использованием библиотеки dbt, сокращение времени выполнения запроса и количества строк кода в 10 раз, выявление 12 проблем в обработке данных, уменьшение времени обработки данных на 11%. Общая продолжительность работы на проектах — 2 года 2 месяца.

Data Engineer с 3 годами опыта в построении и оптимизации хранилищ данных, разработке ETL-процессов и формировании надёжных моделей данных для аналитики. Обладаю опытом работы с крупными финансовыми DWH, интеграцией разрозненных источников и оптимизацией производительности запросов. Нацелен на повышение качества данных и эффективности решений, принимаемых на их основе.

работал с чистым SQL на уровне продвинутых запросов (оконные функции, условные операторы выбора и т.д.); опыт работы с UNIX-системами на уровне простых операций; развитые коммуникативные навыки; опыт написание тестов для разработанного функционала; опыт рефакторинга кода; опыт проведения code review; участие в создании ETL процессов опыт сбора информации из Интернета путем парсинга применял как уже обученные модели машинного обучения/глубокого обучения, так и занимался их обучением самостоятельно опыт работы с большими данными в Hadoop и Spark и в составлении сложных SQL запросов в Apache Hive опыт работы с Apache Airflow опыт работы с Python для анализа данных (pandas, numpy, matplotlib, seaborn)

- опыт работы с Python для разработки, сбора данных, анализа данных, работы с (большими) данными, обработка данных, машинное обучение; - опыт написания тестов для разработанного функционала; - опыт рефакторинга кода; - опыт работы с git; - опыт работы с большими данными в экосистеме Hadoop (PySpark, Hive); - развитые коммуникативные навыки;

развитые коммуникативные навыки; опыт работы с Python для разработки, сбора данных, анализа данных, работы с большими данными, в том числе с помощью PySpark; работа с SQL на уровне продвинутых запросов: оконные функции, подзапросы, условные функции; опыт работы с UNIX-системами на уровне простых операций: опыт написания простых bash команд; опыт написание тестов для разработанного функционала; опыт рефакторинга кода; участие в создании ETL\ELT процессов; опыт работы с большими данными в экосистеме Hadoop (PySpark, Hive); опыт работы с git; опыт работы с Apache Airflow; опыт работы с Docker в рамках локального запуска контейнеров; умею читать техническую документацию на английском языке.

3 года опыта в качестве SQL разработчика( Oracle PL/ SQL, PostgreSQL), в оптимизации SQL. 2 года опыта работы в ReactJS, JavaScript, HTML, CSS. Опыт на всех этапах жизненного цикла разработки программного обеспечения: создание, разработка, разработка, тестирование, внедрение и сопровождение; 3 года опыта в качестве SQL разработчика (Oracle начиная с 9i, Postgres), включая: Проектирование логической и физической структуры, партиционирование, сегментация, роли и привилегий; Построение логической и физической модели данных с использованием методов нормализации; Программирование на PL/SQL и PL/pgSQL: хранимые процедуры, функции, пакеты, триггеры, типы, использование динамического SQL; Разработка приложений с использованием Oracle Forms; подготовка отчетности и данных визуализации с использованием Oracle Reports, Oracle Graphics и Oracle BI Publisher; 2 года опыта в разработке Frontend(ReactJS), включая: Разработка пользовательского интерфейса; Разработка, отладка приложений с использованием WebStorm, Google Chrome; Использование HTML/CSS/React/JavaScript/TypeScript; Очистка и обработка данных с использованием SQL; анализ первичных данных, подготовка выводов и рекомендаций; проектирование, разработка и внедрение нового функционала; Использование методологии Scrum Дополнительная информация: Быстрая обучаемость, самомотивация, способность адаптироваться к новой среде.

1. Сбор/анализ требований заказчика, составление ТЗ, документирование (Figma, Notion) 2. Описание регламента и построения ETL процессов (API, Python, AirFlow) 3. Знание основ ETL/DWH 4. Построение витрин данных 5. Формировании аналитической отчетности DataLens/PowerBI 6. Тестирование и проверка базовых кейсов

Принимал ключевое участие в проекте по построению Аналитической платформы данных. Участвовал во всех технических этапах работ. Документировал выполненные работы. Написал ряд ETL-процессов, позволяющих регулярно выгружать данные сторонних систем к DWH. Организовал развертывание и тестирование Airflow и Airbyte.

Олег — опытный Data-инженер со специализацией в области аналитики данных. Обладает навыками работы с Python, PostgreSQL, Apache AirFlow, SQL, Git, GreenPlum, Docker, Kafka, Hadoop, ETL, Pandas, DWH, Linux, Numpy, Superset и Power BI. Имеет опыт работы на проектах в сфере HRTech и Government & Public Sector. На последнем месте работы занимался построением аналитического хранилища для результатов измерения, обработкой данных и статистическим анализом, а также формированием отчётов Apache Super Set. В настоящее время работает над QA data platform, где занимается разработкой StT схем, построением пайпланов ELT, сбором требований и написанием документации. Также участвует в проекте по созданию хранилища данных на основе нескольких источников данных с последующим созданием аналитических витрин данных для формирования отчётов.

КЛЮЧЕВЫЕ НАВЫКИ: • Опыт разработки ETL-процессов • Глубокое знание SQL: опыт работы с PostgreSQL, Greenplum, DWH • Базовые знания знания Python • Опыт с Apache Kafka • Опыт работы с MPP-СУБД (Greenplum) • Понимание концепций построения DWH • Опыт работы с BI-инструментами (Tableau, DataLens) • Опыт работы с оркестратором Airflow • Знакома с основами ClickHouse, DBT (Data Build Tool) • Базовый опыт проведения A/B-тестов для оценки качества данных • Опыт работы с системами контроля версий, включая Git ЛИЧНЫЕ И ПРОФЕССИОНАЛЬНЫЕ КАЧЕСТВА: • Увлечена построением ETL-процессов. • Умею анализировать и структурировать данные, приводя их к единому и понятному виду. • Стремлюсь к чистоте и простоте кода. • Постоянно обучаюсь и совершенствую навыки в сфере Data Engineering. • Ориентирована на результат: ставлю цели и добиваюсь их. • Развиваю аналитическое мышление через книги.

Data Engineer с опытом проектирования ETL-пайплайнов (Airflow, Kafka, Hadoop) и обработки больших данных. Активно перехожу в ML-инженерию, совмещая инженерную экспертизу с практикой в машинном обучении

Опыт работы на всех этапах жизненного цикла разработки программного обеспечения, включающий в себя: работа с базами данных PostgreSQL, ClickHouse, GreenPlum; исследовательский анализ данных с использованием Pandas, Numpy, Seaborn; построение ML-моделей для дополнения отсутствующих данных; проектирование и разработка ETL-процессов с использованием Apache Airflow, SQL, Python, Spark; инструменты скрейпинга BeautifulSoup, Selenium; работа с экосистемой Hadoop - HDFS, YARN, Spark, HBase, Hive, Pig; создание информационных дашбордов с помощью Tableau, Redash, Superset; back-end разработка с помощью Python, Django, DjangoRestFramework. Дополнительная информация: Курсы: Karpov.Courses (01/2021 – 07/2021) Аналитик данных Karpov.Courses (11/2021 – 12/2021) Симулятор аналитика Karpov.Courses (03/2022 – 09/2022) Инженер данных Тренинг-центр ISSoft (06/2022 – 09/2022) «Школа Big Data»

• PostgreSQL • ClickHouse • Apache AirFlow • Apache NIFI • Power BI • DAX • Yandex Datalens • Python (Pandas, Numpy) • Основы DWH/ETL • GreenPlum