Каталог специалистов направления Разработка и ИТ Data инженер

Добрый день! Я Data Engineer с опытом в разработке, автоматизации и архитектуре решений. Ранее занимался голосовыми роботами, сейчас сфокусирован на данных: ETL, витрины, хранилища, мониторинг и аналитика. Могу закрыть задачи от сбора до визуализации. Работал с ClickHouse, PostgreSQL, MongoDB, Airflow, Superset, FastAPI, Docker. Умею ставить пайплайны с нуля, оптимизировать SQL и писать на Python. 🚀 Что умею и делаю: Разработка и поддержка витрин (Superset + ClickHouse), выгрузка данных в любой формат, обработка, форматирование, генерация отчётов в excel/csv и т.п. Проектирование и реализация ETL (Airflow, Python) Мониторинг, алерты, CI/CD (GitLab, Docker) Построение архитектуры решений (OLTP/OLAP) Интеграции со сторонними системами Оптимизация и рефакторинг легаси-кода Ищу команду, где могу принести пользу и расти вместе. Работаю на результат, люблю нестандартные задачи и ясность в коммуникации.

Целеустремленный, общительный, быстрообучаемый, усидчивый

В данный момент нахожусь в поиске проектов, где непосредственно смогу влиять на архитектуру и выстраивания процессов.

Разработчик с опытом работы более 3 лет. Имею практический опыт разработки и поддержки системы Oracle Siebel CRM. Помимо этого, имею небольшой опыт разработки Android-приложений на Java и Kotlin, опыт разработки клиент-серверного приложения на Python, а также небольшой опыт разработки ETL-процессов при помощи Airflow

Никита — Data инженер уровня Middle из Уфы. Специализируется на работе с большими данными. Имеет опыт работы в отрасли логистики и транспорта. Ключевые навыки: Apache AirFlow, Apache Kafka, Apache Spark, Apache Superset, Bash, Big Data, ClickHouse, Docker, GitHub, GreenPlum, Hadoop, Jupyter Notebook, PostgreSQL, PySpark, Python, Redash, SQL, оптимизация кода, Pandas, .Net 4.0. Принимал участие в проекте по разработке и внедрению ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных. В рамках проекта занимался реализацией интеграции с PostgreSQL, созданием и поддержанием витрины данных, разработкой и оптимизацией Data Warehouse, поддержанием качества данных, оптимизацией запросов на SQL и Python, настройкой мониторинга системы. Достижения на проекте: оптимизация SQL-запросов в ClickHouse с использованием библиотеки dbt, сокращение времени выполнения запроса и количества строк кода в 10 раз, выявление 12 проблем в обработке данных, уменьшение времени обработки данных на 11%. Общая продолжительность работы на проектах — 2 года 2 месяца.

Data Engineer с 3+ годами опыта в проектировании ETL-процессов и построении хранилищ данных. Специализируется на разработке DAG в Apache Airflow, миграции данных и создании BI-отчетности в Superset/InsightBI. Реализовал 10+ дашбордов для федеральных проектов, включая систему реальной аналитики для "Честного знака". Обеспечил цифровизацию процессов в НЛМК через оптимизацию DWH и исправление критических багов. Владеет стеком: Python, PostgreSQL/ClickHouse, Apache NiFi, GitLab, Agile.

работал с чистым SQL на уровне продвинутых запросов (оконные функции, условные операторы выбора и т.д.); опыт работы с UNIX-системами на уровне простых операций; развитые коммуникативные навыки; опыт написание тестов для разработанного функционала; опыт рефакторинга кода; опыт проведения code review; участие в создании ETL процессов опыт сбора информации из Интернета путем парсинга применял как уже обученные модели машинного обучения/глубокого обучения, так и занимался их обучением самостоятельно опыт работы с большими данными в Hadoop и Spark и в составлении сложных SQL запросов в Apache Hive опыт работы с Apache Airflow опыт работы с Python для анализа данных (pandas, numpy, matplotlib, seaborn)

Александр — Data-инженер уровня Senior из Дмитрова, Россия. Специализируется на разработке и управлении хранилищами данных. Имеет опыт работы в отраслях Telecom, FinTech & Banking, RnD. Ключевые навыки: C, MS SQL, MS SQL Server, ООП, Git, SQL, Atlassian Jira, PostgreSQL, управление проектами, XML, .NET Framework, C#, Entity Framework, ETL, GreenPlum, Hadoop, Hive, Identity Server, Microsoft, MS Visual Studio, Transact SQL, VBA. Опыт работы на проектах: - «Терралинк» (Telecom): старший разработчик DWH, разработка КХД, функций загрузки данных, доработка функционала, внедрение и сопровождение решения (11 месяцев). - «Сбер» (FinTech & Banking): руководитель направления, разработка ETL-процессов, загрузка данных, разработка DWH, модели Data Vault, построение витрин данных, поддержка фронт/миддл АС, подготовка и внедрение релизов (4 года 5 месяцев). - «Сбербанк — Технологии» (RnD): главный инженер, руководитель разработки, разработка фронт/миддл АС, БД, приложений/сервисов, интеграция со смежными системами, построение подсистемы отчётности, разработка ETL-процессов (7 лет 6 месяцев). - ПАО «Сбербанк» (FinTech & Banking): старший инженер, администрирование АС и БД, внедрение и сопровождение АС для дилинга, разработка баз данных MS SQL, приложений/сервисов и API (7 лет 1 месяц). - ООО «Dealing Manager» (RnD): программист-разработчик, разработка ПО для валютного дилинга, баз данных MS SQL, приложений и API, описание бизнес-процессов, формирование требований, составление ТЗ (4 года 6 месяцев). - «premiumsolution» (RnD): старший разработчик DWH, миграция хранилища данных с ORACLE на GREENPLUM, настройка ETL, мониторинг загрузок, сверка данных (6 месяцев).

- опыт работы с Python для разработки, сбора данных, анализа данных, работы с (большими) данными, обработка данных, машинное обучение; - опыт написания тестов для разработанного функционала; - опыт рефакторинга кода; - опыт работы с git; - опыт работы с большими данными в экосистеме Hadoop (PySpark, Hive); - развитые коммуникативные навыки;

развитые коммуникативные навыки; опыт работы с Python для разработки, сбора данных, анализа данных, работы с большими данными, в том числе с помощью PySpark; работа с SQL на уровне продвинутых запросов: оконные функции, подзапросы, условные функции; опыт работы с UNIX-системами на уровне простых операций: опыт написания простых bash команд; опыт написание тестов для разработанного функционала; опыт рефакторинга кода; участие в создании ETL\ELT процессов; опыт работы с большими данными в экосистеме Hadoop (PySpark, Hive); опыт работы с git; опыт работы с Apache Airflow; опыт работы с Docker в рамках локального запуска контейнеров; умею читать техническую документацию на английском языке.

3 года опыта в качестве SQL разработчика( Oracle PL/ SQL, PostgreSQL), в оптимизации SQL. 2 года опыта работы в ReactJS, JavaScript, HTML, CSS. Опыт на всех этапах жизненного цикла разработки программного обеспечения: создание, разработка, разработка, тестирование, внедрение и сопровождение; 3 года опыта в качестве SQL разработчика (Oracle начиная с 9i, Postgres), включая: Проектирование логической и физической структуры, партиционирование, сегментация, роли и привилегий; Построение логической и физической модели данных с использованием методов нормализации; Программирование на PL/SQL и PL/pgSQL: хранимые процедуры, функции, пакеты, триггеры, типы, использование динамического SQL; Разработка приложений с использованием Oracle Forms; подготовка отчетности и данных визуализации с использованием Oracle Reports, Oracle Graphics и Oracle BI Publisher; 2 года опыта в разработке Frontend(ReactJS), включая: Разработка пользовательского интерфейса; Разработка, отладка приложений с использованием WebStorm, Google Chrome; Использование HTML/CSS/React/JavaScript/TypeScript; Очистка и обработка данных с использованием SQL; анализ первичных данных, подготовка выводов и рекомендаций; проектирование, разработка и внедрение нового функционала; Использование методологии Scrum Дополнительная информация: Быстрая обучаемость, самомотивация, способность адаптироваться к новой среде.

1. Сбор/анализ требований заказчика, составление ТЗ, документирование (Figma, Notion) 2. Описание регламента и построения ETL процессов (API, Python, AirFlow) 3. Знание основ ETL/DWH 4. Построение витрин данных 5. Формировании аналитической отчетности DataLens/PowerBI 6. Тестирование и проверка базовых кейсов

Принимал ключевое участие в проекте по построению Аналитической платформы данных. Участвовал во всех технических этапах работ. Документировал выполненные работы. Написал ряд ETL-процессов, позволяющих регулярно выгружать данные сторонних систем к DWH. Организовал развертывание и тестирование Airflow и Airbyte.

Олег — опытный Data-инженер со специализацией в области аналитики данных. Обладает навыками работы с Python, PostgreSQL, Apache AirFlow, SQL, Git, GreenPlum, Docker, Kafka, Hadoop, ETL, Pandas, DWH, Linux, Numpy, Superset и Power BI. Имеет опыт работы на проектах в сфере HRTech и Government & Public Sector. На последнем месте работы занимался построением аналитического хранилища для результатов измерения, обработкой данных и статистическим анализом, а также формированием отчётов Apache Super Set. В настоящее время работает над QA data platform, где занимается разработкой StT схем, построением пайпланов ELT, сбором требований и написанием документации. Также участвует в проекте по созданию хранилища данных на основе нескольких источников данных с последующим созданием аналитических витрин данных для формирования отчётов.

КЛЮЧЕВЫЕ НАВЫКИ: • Опыт разработки ETL-процессов • Глубокое знание SQL: опыт работы с PostgreSQL, Greenplum, DWH • Базовые знания знания Python • Опыт с Apache Kafka • Опыт работы с MPP-СУБД (Greenplum) • Понимание концепций построения DWH • Опыт работы с BI-инструментами (Tableau, DataLens) • Опыт работы с оркестратором Airflow • Знакома с основами ClickHouse, DBT (Data Build Tool) • Базовый опыт проведения A/B-тестов для оценки качества данных • Опыт работы с системами контроля версий, включая Git ЛИЧНЫЕ И ПРОФЕССИОНАЛЬНЫЕ КАЧЕСТВА: • Увлечена построением ETL-процессов. • Умею анализировать и структурировать данные, приводя их к единому и понятному виду. • Стремлюсь к чистоте и простоте кода. • Постоянно обучаюсь и совершенствую навыки в сфере Data Engineering. • Ориентирована на результат: ставлю цели и добиваюсь их. • Развиваю аналитическое мышление через книги.

Андрей — Data инженер уровня Middle+ из Краснодара. Специализируется на работе с большими данными и имеет опыт в отраслях FinTech & Banking, Realty & Constructoring, BioTech, Pharma, Health care & Sports. Владеет английским языком на уровне B1. Ключевые навыки: Python, Ruby, SQL, Apache AirFlow, Django, Psycopg2, Pydantic, PySpark, Pytest, Rails, Requests, SQLAlchemy, CI/CD, ClickHouse, Docker, GitHub, GitLab, GreenPlum, HTML5, Kafka, PostgreSQL, RabbitMQ, Big Data, CSS3, GraphQL, Hadoop, REST, RSpec, DWH, ETL ELT, Grafana, JupyterNoteBook, oltp, Prometheus, Spark, Confluence, Git, Jira. Имеет опыт работы на следующих проектах: - Shieldpay (FinTech & Banking): оптимизация данных, настройка ClickHouse-кластера, реализация автообновления ключевых метрик, внедрение CI/CD пайплайнов в GitLab, создание документации по ETL-процессам. - Строительная компания (Realty & Constructoring): разработка backend части приложения, проведение нагрузочного и интеграционного тестирований, рефакторинг и оптимизация запросов и скриптов, проектирование и внедрение решений для улучшения масштабируемости и отказоустойчивости хранилища данных. - Антифрод система для крупного российского банка (FinTech & Banking): разработка и оптимизация данных, обработка потоковых данных, ETL/ELT процессы, аналитика и витрины данных, документирование и процессы. - Система противодействия обналичиванию (FinTech & Banking): разработка алгоритмов детекции, визуализация угроз, оперативный мониторинг. - Разработка платформы лояльности для сети медицинских учреждений (BioTech, Pharma, Health care & Sports): создание микросервисов на Ruby/Python, реализация REST API, оптимизация запросов к PostgreSQL, развёртывание Grafana/Prometheus.