Каталог специалистов направления Разработка и ИТ Data инженер

Мой нынешний опыт не относится к инженеру данных, так как на данный момент я ищу проекты для опыта, но поле обязательное. Я студент пока что с минимальным стеком Дата Инженера, обучаюсь и ищу проекты для опыта

Добрый день! Я Data Engineer с опытом в разработке, автоматизации и архитектуре решений. Ранее занимался голосовыми роботами, сейчас сфокусирован на данных: ETL, витрины, хранилища, мониторинг и аналитика. Могу закрыть задачи от сбора до визуализации. Работал с ClickHouse, PostgreSQL, MongoDB, Airflow, Superset, FastAPI, Docker. Умею ставить пайплайны с нуля, оптимизировать SQL и писать на Python. 🚀 Что умею и делаю: Разработка и поддержка витрин (Superset + ClickHouse), выгрузка данных в любой формат, обработка, форматирование, генерация отчётов в excel/csv и т.п. Проектирование и реализация ETL (Airflow, Python) Мониторинг, алерты, CI/CD (GitLab, Docker) Построение архитектуры решений (OLTP/OLAP) Интеграции со сторонними системами Оптимизация и рефакторинг легаси-кода Ищу команду, где могу принести пользу и расти вместе. Работаю на результат, люблю нестандартные задачи и ясность в коммуникации.

О себе Развиваюсь в направлении разработки баз данных. Заинтересован в развитии, быстро учусь, внимателен. Тактичен, легко нахожу общий язык с людьми, хорошо вписываюсь в любой коллектив. Довожу дело до конца вне зависимости от сложности задачи. Ищу место где мог бы развить свой потенциал, углубиться в разработку и расширить свои навыки.

Целеустремленный, общительный, быстрообучаемый, усидчивый

✔ Проектная деятельность: • Опыт сборки голосового ассистента, опыт работы с библиотеками TTS (pyttsx3), STT (vosk, speech_recognition) и готовыми моделями распознавания речи, обработки текста. • Опыт участия в краткосрочных проектах в качестве аналитика данных. Один из примеров - проект в рамках РТК (Ростелеком), в рамках которого был разработан скрипт на Python по сбору ключевых метрик по всем конкурентам (агрегатор) и загрузки этих метрик на ежедневной основе в БД. Проект был реализован в течении 3 месяцев и в дальнейшем поддерживался мною. • Бронзовый призёр всероссийской программы развития предпринимательства среди молодежи ПРЕАКТУМ 2018; • Финалист Make It Bright Challenge 2020; • Финалист Open Data Battle 2021 (Банк Открытие); ✔ Практический опыт: • Опыт преподавания SQL + Python для анализа данных, выпустил более 50 студентов (скрины с отзывами приложены в портфолио); • Опыт написания простых смарт-контрактов на Solidity и их deploy в основные (Etherium Mainnet, BCS, Polygon) и тестовые сети (Ropsten…). Опыт интеграции взаимодействия с написанными контрактами через Web3 Python. Опыт тестирования смарт-контрактов через Truffle + NodeJS; • Опыт составления простых ML и DL моделей (sklearn + tensorflow Python): линейной и множественной регрессии + классификации (k-ближайших соседей, опорных векторов, Naive Bayes и т.д.); • Опыт сбора различной информации с веб-приложений с помощью статического веб-скрапинга (Scrapy, BeautifulSoup Python). Опыт тестирования и автоматизации тестирования веб-приложения с помощью Selenium Python + PayAutoGUI; • Опыт создания простых графических интерфейсов для Windows с помощью PyQt5 Python (PyCharm) + Qt Desiner;

Разработчик с опытом работы более 3 лет. Имею практический опыт разработки и поддержки системы Oracle Siebel CRM. Помимо этого, имею небольшой опыт разработки Android-приложений на Java и Kotlin, опыт разработки клиент-серверного приложения на Python, а также небольшой опыт разработки ETL-процессов при помощи Airflow

Я опытный Data Engineer с сильными компетенциями в проектировании и поддержке ETL/ELT-пайплайнов, а также в работе с большими данными. Имею глубокие теоретические и практические навыки в Python и SQL. Активно использовал Apache Spark, Databricks и Hadoop HDFS для обработки и трансформации данных, строил отчетность в различных BI-системах. Разрабатывал программы для распределенных вычислений и занимался оптимизацией SQL-запросов. Настраивал CI/CD-пайплайны и работал с Docker, что позволяет мне эффективно участвовать в полном цикле разработки и внедрения решений.

Я опытный Data Engineer с более чем 7-летним стажем в разработке и оптимизации ETL-процессов и построении аналитических платформ. Специализируюсь на работе с различными базами данных, включая PostgreSQL, MS SQL, ClickHouse, GreenPlum, Redshift, и активно использую Apache Airflow для оркестрации пайплайнов. Имею подтвержденный опыт в создании витрин данных, разработке скриптов на Python (включая Jinja-шаблоны) и глубокое понимание принципов Data Quality. Уверенно работаю с облачными платформами (Yandex Cloud, AWS) и инструментами BI (Power BI, SuperSet, Qlik Sense, Qlikview). Всегда нацелена на повышение точности данных и оптимизацию процессов.

Я ответственный инженер-практик с глубоким техническим бэкграундом и более чем 20-летним управленческим опытом. Сочетаю аналитическое мышление с ориентацией на бизнес-результат, умею строить процессы и команды под ключ. Интересуюсь распределёнными системами, обработкой потоковых данных и применением ML-подходов в инженерных задачах. Мой уровень английского позволяет свободно читать техническую документацию и профильные ресурсы. Готов к релокации и командировкам.

Я Data-инженер и аналитик данных с подтверждённым опытом в создании и оптимизации ETL/ELT-пайплайнов, сборе и трансформации данных. Свободно владею SQL (PostgreSQL, MS SQL, ClickHouse, BigQuery) и Python (Pandas, NumPy, BeautifulSoup, Selenium, Jinja, SQLAlchemy) для автоматизации процессов и работы с данными. Имею опыт в построении витрин данных и создании дашбордов в различных BI-системах (Google Data Studio, Tableau, Power BI, Superset, DataLens), а также в миграции и обеспечении качества данных.

Никита — Data инженер уровня Middle из Уфы. Специализируется на работе с большими данными. Имеет опыт работы в отрасли логистики и транспорта. Ключевые навыки: Apache AirFlow, Apache Kafka, Apache Spark, Apache Superset, Bash, Big Data, ClickHouse, Docker, GitHub, GreenPlum, Hadoop, Jupyter Notebook, PostgreSQL, PySpark, Python, Redash, SQL, оптимизация кода, Pandas, .Net 4.0. Принимал участие в проекте по разработке и внедрению ETL-процессов с использованием Apache Airflow, PySpark, Pandas для обработки больших объёмов данных. В рамках проекта занимался реализацией интеграции с PostgreSQL, созданием и поддержанием витрины данных, разработкой и оптимизацией Data Warehouse, поддержанием качества данных, оптимизацией запросов на SQL и Python, настройкой мониторинга системы. Достижения на проекте: оптимизация SQL-запросов в ClickHouse с использованием библиотеки dbt, сокращение времени выполнения запроса и количества строк кода в 10 раз, выявление 12 проблем в обработке данных, уменьшение времени обработки данных на 11%. Общая продолжительность работы на проектах — 2 года 2 месяца.

Опытный Data инженер с более чем 3-летним стажем в области построения и оптимизации пайплайнов данных. Обладаю глубокими знаниями в проектировании и реализации высокопроизводительных решений для обработки больших объемов данных. Моя экспертиза включает работу с Greenplum и Apache Airflow, сфокусирована на повышении эффективности ETL-процессов, оптимизации сложных SQL-запросов и обеспечении надежности данных. Готов к длительному сотрудничеству в проектах, требующих системного подхода к управлению данными и обеспечения их качества.

Являясь опытным Senior/Tech Lead Data Engineer с 14-летним стажем, специализируюсь на архитектуре и построении DWH и data-платформ в сферах финансов, маркетинга и e-commerce/ритейла. Обладаю глубокой экспертизой в миграции хранилищ данных и создании их 'с нуля', а также в определении архитектурных решений, выборе технологий и обеспечении высокого качества данных. Владею навыками разработки, реализации и поддержки интеграционных решений на стеке технологий BigData, включая ETL-процессы (Apache Airflow, Apache NiFi, dbt, Pentaho Data Integration, Integration Services, Python) и CI/CD (Gitlab CI, Jenkins, liquibase). Уверенно работаю с различными реляционными и BigData СУБД, глубоко понимаю принципы DWH и DataLake, а также устройство HDFS и форматы данных. Готов к решению технически сложных задач, оптимизации процессов и развитию инженерных практик.

Data Engineer c опытом проектирования и разработки ETL/ELT процессов, построения хранилищ данных. Уверенно работаю с PostgreSQL, Python, Apache Airflow, Dbt и ClickHouse

Я — опытный Data Engineer, сфокусированный на решении комплексных задач в области построения и оптимизации корпоративных хранилищ данных (DWH). Обладаю глубоким пониманием принципов построения DWH, включая архитектуры Kimball и Data Vault, что позволяет мне эффективно развивать архитектуру DWH и выбирать оптимальные технологии и методологии. Имею обширный практический опыт работы с MPP-системами, такими как Greenplum и Teradata, а также с PostgreSQL, Oracle, Impala и MS SQL, включая глубокое понимание механизмов дистрибьюции данных и устранения перекосов, что критично для масштабирования существующих систем и оптимизации их производительности. Моя экспертиза охватывает полный цикл работы с данными: от проектирования и разработки сложных ETL/ELT-потоков с использованием SAS DI, Talend, Apache Nifi и Apache Airflow, до имплементации кастомных трансформаций на Python (с библиотеками pandas, numpy) и Spark. Уверенно владею SQL (DDL, DML) и имею значительный опыт в оптимизации сложных запросов и структур баз данных. Эффективно использую Git, Jira и Confluence для управления проектами, сопровождения информационных систем и создания актуальной базы знаний, обеспечивая прозрачность и оперативность всех процессов.

Я — Data Engineer с более чем 3,5 годами опыта работы в финтехе и маркетинге. Моя экспертиза — это построение и сопровождение масштабируемых витрин данных, оптимизация запросов и организация надёжных ETL-процессов, в том числе с использованием Greenplum и Apache Airflow. Люблю приводить хаос в порядок: сокращаю таблицы, упрощаю модель данных, ускоряю отчётность. Сейчас активно изучаю Apache Spark и Kafka для перехода к проектам с Big Data и стримингом, а также интересуюсь архитектурами современных DWH, CI/CD, облачными хранилищами и MPP-системами.

Data Engineer с 2 годами коммерческого опыта в построении ETL/ELT-пайплайнов, DWH-витрин и внутренних инструментов для аналитиков. Работал с production-инфраструктурой масштаба: 300+ Airflow DAG’ов, 20+ источников, сотни таблиц и крупные объёмы данных: таблицы до 10 ТБ и 10–30 млрд записей в ClickHouse, 1–5 млрд записей в Greenplum. Основной стек: Python, SQL, Apache Airflow, Kafka, ClickHouse, Greenplum, S3, Docker, Kubernetes. Есть опыт интеграции данных из API, Kafka, S3 и OLTP-баз, настройки мониторинга, Telegram-алертинга, Data Quality-проверок, CI/CD и lineage в DataHub. Разрабатывал внутренний Python-шаблон для аналитиков по логике mini-dbt: инструментом почти ежедневно пользуются 7 аналитиков, он ускорил разработку тематических витрин на 30%. Готовил данные для ML-моделей core-клиентов и оттока, которые дошли до production. Ключевые навыки - Языки и разработка: Python, SQL, Scala basic - Data Engineering: ETL/ELT, DWH, data marts, raw layer, incremental loading, full reload, iterative loading, data pipelines - Оркестрация и стриминг: Apache Airflow, Apache Kafka - Хранилища и БД: ClickHouse, Greenplum, PostgreSQL, MySQL, MSSQL, S3 AWS, Yandex Cloud S3 - Big Data: PySpark, Apache Spark, Hadoop, HDFS, Apache Iceberg, Trino Инфраструктура: Docker, Kubernetes, Linux, GitHub, CI/CD, flake8, Yandex Cloud Functions - Data Quality и observability: freshness checks, Telegram alerting, Airflow sensors, schema/type checks, duplicates/nulls/counts validation, DataHub lineage - BI и аналитика: Apache Superset, Power BI, Jupyter Notebook Python libraries: pandas, numpy, dask, SQLAlchemy, Jinja, matplotlib

Data Analyst с опытом в финтехе по созданию DWH и BI решений. Создаю дашборды, сокращаю время расчётов, автоматизирую отчётность, снижаю нагрузку на системы.