Каталог специалистов

● English - С1 ● Python ● SQL ● Git (GitHub/GitLab) ● dbt ● Airflow ● Looker (LookML) ● Power BI ● Tableau ● Excel ● Базы Данных ● Моделирование Данных ● Бухгалтерский учет ● Финансовый Анализ

КЛЮЧЕВЫЕ НАВЫКИ: • Опыт разработки ETL-процессов • Глубокое знание SQL: опыт работы с PostgreSQL, Greenplum, DWH • Базовые знания знания Python • Опыт с Apache Kafka • Опыт работы с MPP-СУБД (Greenplum) • Понимание концепций построения DWH • Опыт работы с BI-инструментами (Tableau, DataLens) • Опыт работы с оркестратором Airflow • Знакома с основами ClickHouse, DBT (Data Build Tool) • Базовый опыт проведения A/B-тестов для оценки качества данных • Опыт работы с системами контроля версий, включая Git ЛИЧНЫЕ И ПРОФЕССИОНАЛЬНЫЕ КАЧЕСТВА: • Увлечена построением ETL-процессов. • Умею анализировать и структурировать данные, приводя их к единому и понятному виду. • Стремлюсь к чистоте и простоте кода. • Постоянно обучаюсь и совершенствую навыки в сфере Data Engineering. • Ориентирована на результат: ставлю цели и добиваюсь их. • Развиваю аналитическое мышление через книги.

Он обладает глубокими знаниями и навыками работы с различными технологиями и инструментами, такими как Apache AirFlow, Confluence, DBT, Git, GreenPlum, Jira, PostgreSQL, Oracle, SQL, DWH, C++, PL/SQL Developer, .NET, Entity Framework, NHibernate, C#, Delphi, Atlassian, Visual Studio и другие. На протяжении 10 лет Роман успешно работал на различных проектах в таких отраслях, как FinTech & Banking, Social Networking, Urban technology, BioTech, Pharma, Health care & Sports, RnD. В его портфолио — работа над проектами NDA, разработка MES-систем для НЛМК, преподавание в Воронежском государственном университете, а также проекты для компаний «Здоровый Город» и Bitronica. В качестве старшего разработчика Роман проектировал и сопровождал хранилище данных, разрабатывал механизмы обработки и верификации данных на сервере БД, интегрировал систему с Kafka и PostgreSQL FDW. На проекте для университета он составлял учебные материалы по работе с базами данных и обучал студентов. В НЛМК Роман занимался проектированием MES-системы с нуля, разработкой бизнес-логики, управлением командой разработчиков и поддержкой системы. Для компании «Здоровый город» он разрабатывал и оптимизировал структуру запросов и хранимых процедур в PostgreSQL, портировал проект на Mono и консультировал пользователей. А в Bitronica Роман сопровождал существующие программные продукты и разрабатывал новое ПО.

Какие паттерны я использую чаще : Мост (Bridge) , Адаптер (Adapter) , Декоратор (Decorator) , Цепочка обязанностей (Chain of responsibility) , Стратегия (Strategy) , Строитель (Builder) , Шаблонный метод (Template Method) , Шина сообщений, Event Sourcing / Event-driven, DTO DDD : Domain, Application, Presentation, Infrastructure, Model, Services, Mappers, Immutable . Версии php с какими работал : 5.6 , 7.0 , 7.4 , 8.0 , 8.1 , 8.2 , 8.3 Версии Laravel с какими работал : 5.5 , 6 , 8 , 9 , 10 Версии Symfony с какими работал : 5.0 , 5 ,3 , 6.3 Тестирование : Itegration testing, Unit testing, негативное тестирование. Mock, Assert, Factor, Data provider. RabbitMQ : Создавал несколько очередей, которые работали параллельно, у каждой из очереди был свой Consuming и 1 Handler который ожидал получения сообщения из шины очереди, у всех очередей была одна биржа и по одной привязке для каждой очереди, протокол обмена AMQP. Запись в очередь и чтение из очереди делал через supervisor. Какие типы обменов я использовал : direct, fanout. -Транзакции : Какие аномалии я знаю : - Когда видим в транзакции не зафиксированные изменения др. транзакции. Блокировки на уровне строк : pessimistic read, pessimistic write, for update - Первая транзакция обновляет данные вторая транзакция в это же время читает эти данные и фиксирует изменения и получает неверные данные так как потом фиксирует изменения первая транзакция и данные теперь изменились. - Это воспроизводиться когда работает с больше чем одной строкой, в базе у 2 строк значение колонки в сумме равно 100 , первая транзакция уменьшает одну строку на 50 и не фиксирует изменения (sql первой транзакции нет в примере) , вторая транзакция делает этот sql и подвисает так как первая транзакция не зафиксировалась

Инженер с промышленным опытом работы более 4 лет в Python. FastAPI, Flask, Pandas, NumPy, BeautifulSoup, pyTelegramBotAPI, smtplib, Pydantic, google api, PyJWT Глубинное понимание и опыт в высоконагруженных веб системах, микро сервисной архитектуре, кэшировании данных, ETL и ElasticSearch Опыт реализации паттернов FastAPI: Repository, Service, Unit of Work, Dependency Injection Опыт работы с Python, JavaSctipt, C++, SQL, Java, Kotlin, C#, Matlab Базы данных: PostgreSQL, Redis, Elasticsearch CI/CD: Docker, Jenkins Системы управления проектами: Jira

BI-разработчик с глубокими знаниями в области анализа данных, построения дашбордов, проектирования моделей данных и бизнес-процессов. Имеет многолетний опыт работы с BI-платформами: Power BI и Fine BI Имеет опыт работы с крупными компаниями и реализовала множество BI-отчетов. Специализируется на разработке аналитической отчетности, оптимизации бизнес-процессов и построении эффективных витрин данных. Отличается аналитическим складом ума, умением работать с большими объемами данных и высокой работоспособностью. В процессе работы неоднократно оптимизировала отчетность, автоматизировала сбор данных, внедряла единые стандарты построения отчетности. Имеет опыт организации межсистемного взаимодействия, подготовки описаний структур баз данных.

BI-разработчик с глубокими знаниями в области анализа данных, построения дашбордов и созданием витрин данных. Более 15 лет опыта в ИТ-индустрии. Более 6 лет опыта в сфере анализа данных. Имеет многолетний опыт работы с BI-платформами: Fine BI и Tableau. Имеет опыт работы с крупными компаниями и реализовала множество BI-отчетов. Специализируется на разработке аналитической отчетности в области маркетинга Отличается аналитическим складом ума, умением работать с большими объемами данных и высокой работоспособностью. В процессе работы неоднократно оптимизировала отчетность, автоматизировала сбор данных, внедряла единые стандарты построения отчетности. Имеет опыт организации межсистемного взаимодействия, подготовки описаний структур баз данных.

Опыт работы с SQL на уровне продвинутых запросов (оконные функции, условные операторы выбора, джоины, CTE, функции, процедуры, транзакции); Работа с реляционными БД: PostgreSQL, Greenplum. Ограничения, индексы, PXF и т.д.; Разработка и оптимизация функций и процедур по переносу данных из stg слоя в слой dds; Работа с DWH (схемы построения, нормализация/денормализация, SCD, построение витрин данных); Настройка интеграции Greenplum и ClickHouse для реализации аналитических запросов; Участие в создании ETL\ELT процессов; Работа с Apache Airflow; Проведение очистки и обработки данных используя Python, pandas, PySpark; Задачи AD-hoc аналитики; Визуализация данных в Tableau, Metabase, Python, Excel, анализ результатов; Документирование процессов и архитектуры решений в Confluence;

Андрей — senior data инженер из Москвы. Обладает продвинутым уровнем английского языка. Окончил МГТУ им. Н. Э. Баумана по специальности «Конструктор-технолог электронно-вычислительных средств». Опыт работы на проектах: - Миграция ETL-функционала (FinTech & Banking). В роли техлида группы миграции витрин отвечал за перенос витрин (DBT) в рамках миграции Snowflake -> Greenplum. Проект длился 6 месяцев. - Разработка и миграция КХД (Logistics & Transport). В качестве техлида выполнял задачи по настройке загрузки, трансформации и проверки данных в Корпоративном Хранилище Данных. Внедрил Git и DBT в отделе, что позволило уменьшить количество ошибок и время вывода продукта на рынок. Обучал сотрудников, обеспечил надёжную доставку данных до потребителей. Проект продолжался 3 года и 6 месяцев.

Кирилл — senior data инженер из Москвы. Обладает продвинутым уровнем владения английским языком. Опыт работы на проектах: разработка и оптимизация ETL-конвейеров для обработки данных из открытых источников. В рамках проекта выполнял следующие задачи: - разработка и оптимизация ETL/ELT процессов; - проектирование хранилищ данных на базе PostgreSQL и ClickHouse; - внедрение и настройка Apache NiFi и Apache Airflow; - поддержка и обновление реляционных баз данных (PostgreSQL, MySQL, MS SQL); - реализация проектов по обработке данных в реальном времени с использованием Apache Spark; - написание и оптимизация DAG в Airflow для автоматизации загрузки данных; - настройка брокеров сообщений для передачи данных; - развёртывание и настройка ELK-стека для логирования и мониторинга данных; - создание аналитических дашбордов на основе данных (Tableau, Power BI); - интеграция DBT в пайплайны данных для трансформации данных.

IT-специалист с 11-летним опытом работы в сфере баз данных и программирования. Мои сильные стороны - способность быстро погружаться в быстро погрузиться в проект, понять, как работает система, и найти ошибки в процессе тестирования. Мне нравится решать сложные вопросы, изучать новые технологии и работать с данными. Я не боюсь брать на себя инициативу и решать проблемы, за которые никто не берется. Как инженер по данным я стараюсь увидеть смысл данных и работать на основе этого. Я уделяю много внимания концептуальным моментам процесса ETL. Я просто люблю свою работу.

Главное о специалисте Старший инженер-программист и архитектор решений с более чем 20-летним опытом в разработке корпоративных систем, построении аналитических платформ, обработке данных и управлении проектами. Специализация в интеграции больших данных (Big Data), облачных решениях AWS и архитектуре высоконагруженных систем. Ведет разработку от проектирования архитектуры до промышленной эксплуатации. Имеет опыт управления командами разработки и данными, успешно реализовывал проекты в финансовом секторе, телекоммуникациях и системной интеграции. Ключевые навыки Языки: Python, SQL, Java, Scala, Bash Big Data: Hadoop, Spark, Hive, Impala Потоковые данные: Kafka, Spark Streaming Оркестрация: Airflow, Oozie, Kestra Облачные технологии: AWS (S3, Lambda, Redshift, DynamoDB, CDK, boto3) Инфраструктура: Terraform, Docker, Linux Базы данных: PostgreSQL, Snowflake, Neo4j BI-системы: Oracle BI EE DevOps: Mlflow, DBT Портальные решения: MS SharePoint, IBM WebSphere Portal Администрирование кластеров: Hortonworks, Cloudera CDH (установка, настройка, поддержка)

Data Engineer с опытом работы на проектах в сфере E-commerce & Retail и FinTech & Banking. На проектах занимался разработкой аналитических платформ, DWH и систем аналитики. Обязанности: - разработка ETL-пайплайнов в Apache Airflow и Apache NiFi; - обработка больших объёмов данных с использованием PySpark, Pandas, NumPy; - оптимизация интеграции Hadoop (HDFS); - агрегация данных в ClickHouse для BI-отчётов; - визуализация данных в Power BI и Superset; - мониторинг и оптимизация производительности запросов в Snowflake; - интеграция PostgreSQL и MS SQL; - использование Docker и Kubernetes для контейнеризации ETL-компонентов; - создание детальных технических проектных документов; - сотрудничество с командой аналитиков; - проведение тестирования системы; - настройка CI/CD-конвейеров с помощью GitLab CI/CD.

Data-инженер с опытом работы в отрасли электронной коммерции и ритейла более 3 лет. Участвовал в проекте по внедрению платформы снабжения и планирования для крупного производственного предприятия. Выполнял обязанности по управлению командой дата-инженеров, обсуждал архитектуру системы, подключался к источникам данных, оптимизировал SQL-запросы, создавал конвейеры Airflow, работал с Pandas, разрабатывал хранимые процедуры, настраивал соединения Kafka, проектировал витрины данных и HDFS. Работал над созданием простого в интеграции приложения для персонализированной бизнес-аналитики на базе искусственного интеллекта. Занимался разработкой конечных точек Flask, нормализацией данных, контролем операций хранилища данных, разработкой моделей DBT, использовал Pandas, NumPy и SciPy, разрабатывал функции с помощью AWS Lambda. Принимал участие в разработке платформы для сбора и обработки больших объёмов данных из различных источников. Администрировал базы данных, разрабатывал и оптимизировал сложные SQL-запросы, использовал Apache Spark, обрабатывал крупномасштабные наборы данных с помощью AWS EMR, выполнял статистические вычисления с помощью SciPy.

Опытный Data Analytic/Engineer с многолетним стажем в разработке и оптимизации хранилищ данных. Специализируется на проектировании DWH, создании ETL-процессов и оптимизации запросов. Экспертное владение SQL, работа с Oracle, MSSQL, PostgreSQL и Snowflake. Опыт в построении CI/CD конвейеров и автоматизации развертывания. Обладает сильными аналитическими навыками и умением работать в команде.