Владислав Я. Разработчик T-SQL, Senior
ID 20545
ВЯ
Владислав Я.
Мужчина, 25 лет
Беларусь, Минск, UTC+3
Ставка
4 000 Р/час
НДС не облагается
Специалист доступен с 18 августа 2025 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Разработчик T-SQL
Грейд
Навыки
Отрасли
Знание языков
Английский — B1
Главное о специалисте
Навыки
● Python
● Моделирование DWH
● Разработка ETL/ELT-конвейеров
● Опыт визуализации данных
● Опыт работы AWS
● Экспертное знание SQL
● Практическое использование DRY, SOLID и KISS
Проекты
(5 лет 1 месяц)
Система для автоматизации управления данными в логистической компании
Роль
BI-разработчик/Инженер данных
Обязанности
Основные задачи системы включают сбор, обработку и анализ данных о поставках, маршрутах и складских остатках. Система интегрируется с внутренними базами данных компании и внешними источниками, такими как API транспортных провайдеров и поставщиков. Реализована поддержка аналитики, автоматизация резервного копирования и оптимизация обработки данных для повышения скорости работы и снижения ошибок.
● Проектирование структуры базы данных с учетом хранения данных о маршрутах, складах, поставках и изменениях в логистике.
● Создание ETL процессов для регулярного импорта данных из API транспортных провайдеров с поддержкой изменений в структуре данных.
● Построение ELT потоков для загрузки данных из внешних CSV и JSON файлов в staging-таблицы с использованием Apache Airflow для автоматизации и управления задачами.
● Очистка данных от дубликатов, аномальных значений и ошибок формата перед их загрузкой в основную базу.
● Подготовка данных через Pandas для формирования унифицированного формата для аналитических целей.
● Оптимизация существующих ETL процессов с внедрением Apache Airflow для планирования, мониторинга и выполнения задач в параллельном режиме.
● Разработка и сопровождение хранимых процедур, триггеров и пользовательских функций с использованием T-SQL.
● Обеспечение целостности данных и внедрение эффективных стратегий обработки данных с использованием T-SQL.
● Оптимизация сложных запросов и процедур с использованием планов выполнения и профилирования с использованием T-SQL.
● Оптимизация производительности базы данных, настройка индексов и выбор оптимальных типов данных с использованием SQL-Server.
● Проектирование и настройка обмена сообщениями между сервисами с использованием Service Broker.
● Настройка маршрутизации сообщений и управление очередями Service Broker.
● Переписывание сложных SQL запросов с учетом требований новой базы данных и её особенностей.
● Настройка партиционирования таблиц для ускорения выборок на больших объемах данных и снижения нагрузки.
● Оптимизация SQL запросов путем внедрения индексов, работы с планами выполнения и рефакторинга подзапросов.
● Разработка автоматизированных bash-скриптов для мониторинга выполнения ETL задач и уведомлений об ошибках.
● Настройка SLJM задач для регулярного создания резервных копий данных и восстановления их по расписанию.
● Проведение нагрузочного тестирования баз данных для выявления узких мест в производительности.
● Разработка интерактивных дашбордов в Power BI для визуализации складских остатков, маршрутов доставки и KPI логистики.
● Построение аналитических отчетов в Power BI с интеграцией данных из различных источников для анализа эффективности поставок.
● Внедрение стратегии архивирования данных с автоматическим переносом устаревших записей в отдельные таблицы.
● Реализация системы логирования и мониторинга для отслеживания состояния ETL процессов и своевременного реагирования на сбои.
● Интеграция данных из систем складского учета, CRM и ERP в единую аналитическую базу данных.
● Автоматизация процесса проверки данных на корректность и непротиворечивость с помощью валидирующих скриптов.
● Создание системы автоматического распределения ресурсов для выполнения ETL задач в зависимости от объема данных.
Стек специалиста на проекте
MySQL, Docker, SQL, Python, Bash, Power BI, Teradata, Linux, GitLab, Pandas, Numpy, SQL Server, T-SQL, Docker Compose, Apache AirFlow, service broker
Отрасль проекта
Logistics & Transport
Период работы
Ноябрь 2023 - По настоящее время
(1 год 10 месяцев)
Платформа предназначена для автоматизированного анализа больших объемов финансовых данных и прогнозирования инвестиционных рисков
Роль
Инженер данных
Обязанности
Система предоставляет пользователям инструменты для анализа рыночных данных, создания персонализированных финансовых отчетов и построения стратегий инвестирования. Она интегрируется с банковскими и инвестиционными API для получения актуальных данных и использует распределенные системы для обработки больших объемов информации.
● Разработка ETL-пайплайнов для загрузки финансовых данных из различных источников (API, CSV, JSON) с использованием PySpark и AWS Glue.
● Очистка и трансформация больших объемов данных с использованием Pandas и NumPy для подготовки их к анализу.
● Настройка хранения и обработки данных в Teradata, PostgreSQL, и Greenplum с оптимизацией запросов для ускорения аналитики.
● Интеграция Redshift для хранения исторических данных и выполнения сложных аналитических запросов.
● Разработка аналитических отчетов и интерактивных дашбордов с использованием QuickSight и Kibana.
● Построение алгоритмов прогнозирования финансовых рисков и трендов рынка с использованием PySpark и NumPy.
● Реализация резервного копирования данных с использованием AWS S3 и автоматизация с помощью AWS Lambda.
● Построение системы оповещений об аномалиях и сбоях в работе ETL процессов с помощью AWS CloudWatch и SQS.
● Использование Terraform для автоматизации инфраструктуры AWS (настройка S3, RDS, Redshift, Glue, Lambda).
● Настройка Kubernetes для оркестрации контейнеров, обеспечивающих обработку данных и выполнение аналитических задач.
● Автоматизация вычислений с использованием AWS Athena для выполнения сложных SQL-запросов на данных в S3.
● Миграция аналитических данных между различными хранилищами (Teradata, Greenplum, Redshift) для улучшения производительности и снижения затрат.
● Реализация и поддержка потоковой обработки данных для мониторинга рыночных изменений в реальном времени.
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, Kibana, Teradata, Bitbucket, Kubernetes, AWS, Redshift, Lambda, Pandas, Numpy, Terraform, GreenPlum, Docker Compose, SQS, S3, CloudWatch, PySpark, RDS, glue, athena, quicksight
Отрасль проекта
Cloud Services
Период работы
Август 2022 - Октябрь 2023
(1 год 3 месяца)
Платформа для анализа и обработки больших объемов данных о продажах
Роль
Инженер данных
Обязанности
Платформа для анализа и обработки больших объемов данных о продажах, предназначенная для создания информативных отчетов и визуализаций, которые помогают бизнесу отслеживать ключевые показатели эффективности. Система собирает и обрабатывает данные с разных источников, строит панели мониторинга для визуализации бизнес-данных и предоставляет аналитическую информацию в формате дата-мартов. На основе этих данных компания может оптимизировать свою стратегию продаж и нацеливаться на более прибыльные сегменты рынка.
● Проектирование и оптимизация структуры базы данных для эффективной обработки и хранения больших объемов данных.
● Разработка ETL/ELT процессов для обработки данных, с использованием PySpark, Pandas и NumPy
● Очистка и подготовка данных с использованием Pandas, NumPy и PySpark для дальнейшего анализа и построения отчетности.
● Создание ETL-потоков с использованием MWAA на AWS
● Настройка и управление Apache Airflow для планирования и автоматизации резервных копий
● Оптимизация производительности ETL-процессов и аналитики с использованием Redshift, Athena и S3.
● Обеспечение высокой точности и гибкости данных путем внедрения систем валидации и обработки ошибок на каждом этапе ETL-потока.
● Создание и управление партициями в SQL-таблицах для улучшения производительности запросов и оптимизации работы с большими данными.
● Управление и поддержка каталогов данных с использованием AWS Glue для централизованного хранения метаданных и интеграции с другими сервисами AWS.
● Разработка и внедрение отчетности в Tableau, создание интерактивных панелей и дашбордов для визуализации аналитических данных и бизнес-метрик.
● Ревью и рефакторинг кода
Стек специалиста на проекте
PostgreSQL, Docker, SQL, Python, MongoDB, AWS, GitHub, etc, Redshift, Lambda, Docker Compose, Apache AirFlow, SQS, Redis, S3, PySpark, RDS, glue, athena
Отрасль проекта
E-commerce & Retail
Период работы
Октябрь 2021 - Июль 2022
(10 месяцев)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
