Каталог специалистов направления Разработка и ИТ

Я — опытный Data Engineer, сфокусированный на решении комплексных задач в области построения и оптимизации корпоративных хранилищ данных (DWH). Обладаю глубоким пониманием принципов построения DWH, включая архитектуры Kimball и Data Vault, что позволяет мне эффективно развивать архитектуру DWH и выбирать оптимальные технологии и методологии. Имею обширный практический опыт работы с MPP-системами, такими как Greenplum и Teradata, а также с PostgreSQL, Oracle, Impala и MS SQL, включая глубокое понимание механизмов дистрибьюции данных и устранения перекосов, что критично для масштабирования существующих систем и оптимизации их производительности. Моя экспертиза охватывает полный цикл работы с данными: от проектирования и разработки сложных ETL/ELT-потоков с использованием SAS DI, Talend, Apache Nifi и Apache Airflow, до имплементации кастомных трансформаций на Python (с библиотеками pandas, numpy) и Spark. Уверенно владею SQL (DDL, DML) и имею значительный опыт в оптимизации сложных запросов и структур баз данных. Эффективно использую Git, Jira и Confluence для управления проектами, сопровождения информационных систем и создания актуальной базы знаний, обеспечивая прозрачность и оперативность всех процессов.

Здравствуйте! Меня заинтересовала данная позиция, поскольку мой профессиональный опыт напрямую связан с разработкой и сопровождением современных платформ данных, построением ETL/ELT-процессов, проектированием аналитических витрин и оптимизацией производительности хранилищ данных. Имею более 4 лет коммерческого опыта работы в роли Data Engineer, участвовал в создании и развитии аналитической инфраструктуры, корпоративных хранилищ данных и Data Lake решений для задач аналитики, риск-менеджмента и автоматизации бизнес-процессов. В рамках работы в IDF Technology занимался развитием аналитической платформы для департаментов Risk и Collection. Работал с ClickHouse, PostgreSQL, MySQL, Greenplum, Trino, S3 и Iceberg, разрабатывал и сопровождал витрины данных, строил ETL/ELT-процессы на базе Airflow и DBT, участвовал в развитии Data Lake и автоматизации процессов обработки данных. Имею практический опыт использования DBT, Cosmos, Spark, Kafka Connect и Debezium. Обладаю уверенными знаниями SQL и опытом оптимизации производительности запросов. Регулярно использовал EXPLAIN для анализа планов выполнения, занимался проектированием индексов, профилированием запросов и оптимизацией работы аналитических систем. Имею опыт работы с PostgreSQL, MySQL, ClickHouse и Greenplum, а также обработки больших объемов данных в аналитических контурах. В повседневной работе активно использую Python для обработки данных, автоматизации процессов и разработки ETL-компонентов. Уверенно работаю с Git, GitLab CI/CD, Jira и Confluence, участвую в декомпозиции задач, подготовке технической документации и взаимодействии с аналитиками, разработчиками и бизнес-заказчиками. Буду рад подробнее рассказать о своем опыте и обсудить, каким образом смогу быть полезен вашей команде.

Я — опытный Data-инженер и архитектор, с более чем 20-летним стажем в IT-сфере. Обладаю глубокими знаниями в области проектирования и построения корпоративных хранилищ данных (DWH, Data Vault), ETL/ELT-пайплайнов и обеспечения качества данных. Мой практический опыт включает работу с большими объемами данных на платформах Greenplum, Oracle, Postgres, Hadoop, MS SQL и Clickhouse, а также создание управленческой отчетности, в том числе для розничных продаж, логистики, закупок и производства. Владею Python и SQL на экспертном уровне, активно использую Airflow для оркестрации процессов и dbt для трансформации данных. Имею подтвержденный опыт командной разработки, работы с Git и внедрения CI/CD практик, а также навыки управления командами и проектами. Способен эффективно исследовать и рефакторить чужой код, проектировать OLTP- и MPP-СУБД.

Data Engineer с более чем 5-летним опытом разработки и сопровождения высоконагруженных платформ обработки данных для маркетплейсов, поисковых систем, рекомендательных сервисов и AI-продуктов. Эксперт в области Python, SQL, Spark/PySpark, Apache Airflow, Data Warehouse, Data Mart, ETL/ELT, Data Quality, Observability, Data Governance и Data Platform Engineering. Имею опыт построения полного цикла обработки данных: от сбора сырых событий и потоковой обработки до подготовки витрин данных, ML-фичей, batch inference, аналитических дашбордов и сервисов для команд аналитики, Data Science и продуктовой разработки. Обладаю сильной математической подготовкой (МФТИ, ШАД), опытом участия в олимпиадном программировании и исследованиях в области машинного обучения. Языки программирования • Python • SQL • C++ • Bash Data Engineering • Apache Airflow • Apache Spark • PySpark • ETL / ELT • Data Warehouse (DWH) • Data Mart • Data Modeling • Data Quality • Data Lineage • Data Governance • Data Observability • Batch Processing • Incremental Processing • Feature Engineering • Feature Store • Batch Inference Pipelines Базы данных и хранилища • PostgreSQL • ClickHouse • Greenplum • Redis • HDFS • AWS S3 Streaming & Distributed Systems • Apache Kafka • Высоконагруженные распределенные системы • Обработка событийных данных ML/Data Platform • MLflow • Qdrant • FAISS • LangChain • LangSmith • RAG • Vector Search • Embeddings DevOps / Infrastructure • Docker • Kubernetes • CI/CD Мониторинг • Grafana • Prometheus • Superset Достижения Спортивное программирование • Codeforces — рейтинг 2150 • AtCoder — рейтинг 1950 • Полуфиналист ICPC o Диплом I степени (2019) o Диплом III степени (2021) • Победитель Всероссийской олимпиады по информатике (2018) Проекты Audio2MIDI Bot Telegram-бот для генерации фортепианных каверов по музыкальным композициям. Более 2000 активных пользователей в месяц. Dice Detection & Segmentation Bots Разработка Tele

Системный и BI-аналитик с 6-летним опытом в банковском секторе и ритейле. Специализируюсь на формализации бизнес-требований, оптимизации SQL/PL/SQL-запросов и разработке аналитических витрин для DWH. Умею переводить потребности заказчика в технические спецификации, ускорять выгрузки за счёт рефакторинга кода и выстраивать процессы поддержки отчётности с высоким SLA. Ценю подход, при котором технические улучшения напрямую влияют на скорость принятия бизнес-решений.

Сергей — Data Scientist с опытом работы в FinTech & Banking. Опыт напрямую связан с разработкой аналитических платформ, ML/DS решений, ETL/ELT-процессов и высоконагруженных систем обработки данных в enterprise и финтех-проектах. Более 5 лет работает с Python, SQL, Apache Spark/PySpark, Airflow, PostgreSQL, ClickHouse, Kafka и Hadoop/Hive, занимаясь как аналитикой данных, так и построением production-ready data pipelines и аналитических сервисов. Имеет практический опыт в области Data Science и аналитики: разработка рекомендательных моделей, проведение ML-экспериментов, анализ качества данных, проверка статистических гипотез, A/B testing и построение продуктовых метрик. Работал с классическими ML-подходами, Bayesian models, Probabilistic Graphical Models (PGM), Variational Bayesian Inference (VBI) и Reinforcement Learning (RL) для аналитических и рекомендательных задач. Использовал bootstrap, параметрические и непараметрические статистические методы, а также методы множественной проверки гипотез при анализе результатов экспериментов. В рамках проектов занимался разработкой оптимизированных SQL и Spark-запросов под SLA, обработкой больших объемов данных и оптимизацией Spark jobs с использованием Spark UI, broadcast join, partitioning и caching. Писал reusable production code на Python с соблюдением PEP8, использовал PyTest для тестирования ETL и аналитических компонентов, участвовал в code-review и развитии внутренних стандартов разработки. Также работал с визуализацией данных и аналитической отчетностью с использованием matplotlib, seaborn, plotly, Superset и Grafana. Дополнительно имеет опыт взаимодействия с бизнес-заказчиками: сбор и декомпозиция требований, формализация ТЗ, обсуждение архитектурных решений, roadmap и развитие аналитических сервисов. Участвовал в построении Data Lake/DWH решений, поддержке data lineage, metadata management и развитии процессов Data Governance.

Senior/Lead аналитик данных с 12+ годами опыта в проектировании и развитии корпоративных хранилищ данных (DWH) и аналитических платформ для банков из ТОП-3 и международных финансовых групп. Специализируюсь на полном цикле работы с данными: от сбора требований и моделирования по методологии Data Vault 2.0 до разработки ETL-процессов, витрин для BI-отчетности и внедрения практик Data Governance. Эксперт в стеке больших данных (Hadoop, Spark, Hive, Impala, Airflow) и классических DWH-решениях (Oracle, GreenPlum, Informatica). Умею переводить бизнес-потребности Казначейства, Рисков и других подразделений в технические спецификации, обеспечивая качество данных, прослеживаемость (Data Lineage) и соответствие регуляторным требованиям. Имею опыт управления командой: владелец бэклога, планирование спринтов, менторинг, оценка трудозатрат. Сочетаю техническую глубину с пониманием банковской доменной области (депозиты, кредиты, МБК, РЕПО, ALM, нормативы ЦБ).