ДК
Даниил К.
Мужчина
Беларусь, Минск, UTC+3
Ставка
4 250 Р/час
НДС не облагается
Специалист доступен с 13 декабря 2024 г.
Добавьте подходящих специалистов в список и оформите заявку для предварительного бронирования времени специалистов. После оформления заявки ваш персональный менеджер организует прохождение всех необходимых проверок с вами и каждым кандидатом из заявки. Специалист привлекается к проекту только после окончательного подтверждения его выхода с вашей стороны.
Подробнее
О специалисте
Специализация
Data Scientist
Грейд
Навыки
Отрасли
Знание языков
Английский — B2
Главное о специалисте
Специалист по данным / Инженер по Машинному Обучению с опытом работы 3 года.
Специалист по данным с сильным математическим образованием и хорошими навыками программирования. Обладает универсальным набором навыков, охватывающим инженерию данных и анализ данных, с возможностью адаптации к динамичной рабочей среде. Специализируется на обработке естественного языка, компьютерном зрении и прогнозирующем моделировании в различных областях бизнеса. Имеет опыт работы на всех этапах обработки и анализа данных, от понимания бизнес проблем до внедрения моделей ML в эксплуатацию.
Языки программирования: Python.
Технологии программирования
gradio.
Data science
Pandas, Numpy, Seaborn, Plotly.
Машинное обучение
Scikit-learn, XGBoost, BitsAndBytes.
Глубокое обучение
PyTorch, Tensorflow, Keras, OpenVINO, TensorRT, TensorBoard, NVIDIA NGC.
Компьютерное зрение
OpenCV, Torchvision.
Обработка естественного языка
Hugging Face, OpenAI API, Langchain, PEFT, Spacy, Gensim, NLTK, BERTopic.
MLOps
MLFlow.
Инженерия данных
Apache Spark, PySpark.
Облачные технологии
AWS(Sagemaker, S3, EKS, EC2, Bedrock, DynamoDB, Cloudwatch и т. д.),
Azure(Virtual Machines, Spot VM, SQL, ML, Functions, Synapse, Analysis Services, Data Factory, Blob Storage, DevOps, etc).
Базы данных
Redis, MongoDB, PostgreSQL.
DevOps
Docker, Docker Compose, Kubernetes (k8s), Bash Scripting.
Системы контроля версий
Git, Github.
Достижения
Настройка инфраструктуры AWS
Настроил инфраструктуру AWS для мониторинга и отслеживания моделей на этапе экспериментов, что позволило сделать процесс разработки более удобным и эффективным, а развертывание моделей машинного обучения - надежным и безопасным.
Коммуникационный чат-бот
Разработан коммуникационный чат-бот с LLM для разговоров от лица различных персонажей и с ответами на пользовательские запросы.
Проекты
(3 года 10 месяцев)
РОЛЕВОЙ КОММУНИКАЦИОННЫЙ БОТ
Роль
Специалист по данным / инженер по машинному обучению
Обязанности
Чат-бот для ролевого общения с разными персонажами. Чат-бот — отличный инструмент для людей всех возрастов, позволяющий общаться со своими любимыми героями фильмов. Решение исключает любые деликатные и неуместные темы, поэтому пользователи могут чувствовать себя в безопасности, а модераторы могут сосредоточиться на создании контента, мониторинге системы и привлечении потенциальных клиентов.
Обязанности и достижения
Общение с клиентом и командой для уточнения бизнес требований, презентации результатов и бизнес закономерностей;
Экспериментировал с различными предобученными большими языковыми моделями, чтобы определить лучшую основу для дообучения. Использованные модели включали LLaMA, WizardLM, Pygmalion;
Выполнял промпт инжиниринг (Few Shot, Chain of Thoughts, Self-Ask и т.д.) чтобы улучшить качество ответов для всех запросов с использованием OpenAI API;
Построил пайплайн предварительной обработки больших текстовых данных с использованием Apache Spark и AWS SageMaker;
Сделал механизм запоминания контекста с использованием Langchain и настраиваемой модели обобщения T5;
Разработал инфраструктуру AWS для предсказания, обучения и экспериментов с мониторингом и отслеживанием артефактов;
Использовал фильтрацию запрещенных тем с помощью OpenAI API;
Настроил процесс аннотации данных;
Реализация файн-тюнинга с использованием PEFT для модели LLaMA;
Проводил обучение и тестирование больших языковых моделей на основе инструкций; обучение моделей масками;
Настроил векторное хранилище для модели, чтобы сохранять векторизованные подсказки;
Использовал сжатые представления BERT и KNN в качестве базовой модели для создания предварительных аннотаций данных для задачи классификации намерений;
Реализовал цензуру для модели на основе инструкций
Разработал и интегрировал дополнительные новые инструменты для чат-бот агента;
Настроил демо окружение с помощью Gradio, чтобы предоставить заказчику способ экспериментировать с текущей системой;
Развернул модели на EKS;
Код ревью.
Окружение
Python, Numpy, Pandas, Plotly, Scikit-learn, Tensorflow, Keras, NLTK, Spacy, Gensim, BERTopic, OpenAI API, Langchain, Hugging Face, gradio, BitsAndBytes, PEFT, Apache Spark, PySpark, AWS(Sagemaker, S3, EKS , EC2, Bedrock, Cloudwatch и т. д.), MongoDB, Docker, Docker Compose, Kubernetes (k8s), Git Github.
Стек специалиста на проекте
Gradio, langchain, Open AI, TLS, AWS, SpaCy, gamemaker, Tensorflow, Numpy, API, Git, Pandas, MongoDB, ER, GitHub, QT, Scikit-learn, NLTK, Gensim, Apache Spark, Keras, HuggingFace, S3, Docker Compose, EKS, EC2, PDF, PySpark, Plotly, Docker, CloudWatch, Kubernetes
Отрасль проекта
AI & Robotics
Период работы
Август 2023 - По настоящее время
(1 год 5 месяцев)
ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ДЛЯ СЕЛЬСКОХОЗЯЙСТВЕННЫХ РОБОТОВ
Роль
Специалист по данным / инженер по машинному обучению
Обязанности
Исследование и разработка программного обеспечения с поддержкой искусственного интеллекта для сельскохозяйственных роботов как на этапе подготовки к сбору урожая (обнаружение сельскохозяйственных культур и сорняков, выявление болезней, распознавание состояния поля с помощью изображений RGB и NIR), так и на этапе сбора урожая (оценка количества плодов и уровня их зрелости с использованием данных ультразвуковых).
Обязанности и достижения
Реализовал пайплайн обработки данных;
Исследовал наиболее эффективные подходы к оптимизации для различных типов архитектур, таких как ViT и ResNet;
Использовал контейнеры NVIDIA NGC для обучения моделей компьютерного зрения на AWS SageMaker;
Экспериментировал с различными предобученными базовыми моделями и их применением для последовательных задач в пайплайне;
Исследовал и обучал различные модели для сегментации, обнаружения и классификации;
Изучил интеграцию мультисенсорных данных, объединение информации с камер, LiDAR и других датчиков для повышения точности обнаружения в сложных сельскохозяйственных условиях;
Экспериментировали с методами объединения данных, используя такие модели, как Multimodal YOLO и FusionNet;
Оптимизировал пайплайны обучения моделей для работы на спотовых виртуальных машинах;
Разрабол модули для работы моделей для периферийных устройств с использованием TensorRT;
Окружение
Python, Pandas, NumPy, Seaborn, TensorFlow, PyTorch, TensorBoard, Keras, OpenVINO, TensorRT, OpenCV, TorchVision, NVIDIA NGC, AWS (Sagemaker, S3, CloudWatch, ECR, DynamoDB), PostgreSQL, Redis, Docker, Docker Compose, Git Github
Стек специалиста на проекте
TensorRT, NVidia, OpenCV, ecr, AWS, gamemaker, Tensorflow, Numpy, Git, Pandas, NFC, Redis, GitHub, Seaborn, PyTorch, Keras, Torchvision, S3, Docker Compose, Tensorboard, Docker, Python, DynamoDB, OpenVINO, CloudWatch, PostgreSQL
Отрасль проекта
AI & Robotics
Период работы
Май 2022 - Август 2023
(1 год 4 месяца)
ИНСТРУМЕНТ АВТОМАТИЗАЦИИ БИЗНЕСА
Роль
Специалист по данным/инженер по машинному обучению
Обязанности
Автоматизация бизнес-процессов с использованием возможностей RPA и машинного обучения при закупке и обработке материалов.
Обязанности и достижения
Создание отдельного слоя, который кластеризует все доступные данные и группирует их в схожие по бизнес-процессам когорты и отдельно обучает на них модели;
Создал уровень объяснения предсказаний, чтобы конечный пользователь мог проверить поведение модели и лучше понять оценку;
Проводил периодические ревью производительности для оценки эффективности системы мониторинга моделей и определения областей для постоянного улучшения;
Применял автоматизированное машинное обучение для повышения скорости создания моделей;
Внедрил технику повторной выборки, которая уменьшает эффект дрейфа данных;
Создал ETL пайплайн для подготовки необработанных данных;
Реализовал среду экспериментирования для удобного отслеживания результатов моделирования;
Реализовал многоэтапный пайплайн интеграции данных с использованием PySpark;
Создавал бизнес-отчеты и информационные панели с использованием Tableau и представлял их клиенту;
Окружение
Python, PyTorch, XGBoost, Tableau, OpenCV, Numpy, Pandas, Scikit-Learn, Matplotlib, Seaborn, CatBoost, MLFlow, Apache Spark, PySpark, Azure(Virtual Machines, Spot VM, SQL, Machine Learning, Functions, Synapse, Analysis Services, Data Factory, Blob Storage, DevOps), Redis, Docker, Docker Compose, Git Github.
Стек специалиста на проекте
OpenCV, Synapse, Spock, Numpy, Data Factory, Git, Pandas, DevOps, Redis, GitHub, JVM, Scikit-learn, Seaborn, PyTorch, XGBoost, Apache Spark, BLoC, CatBoost, Storage, Tableau, Virtual Machines, MLflow, Docker Compose, Services, PySpark, Docker, SQL, Python, Matplotlib, Azure, Machine learning
Отрасль проекта
Manufacturing
Период работы
Март 2021 - Май 2022
(1 год 3 месяца)
Формат работы
Тип занятости
Фулл-тайм
Формат работы
Удаленно
Командировки
Не готов
Релокация
Не готов
Готов работать на зарубежных проектах
Нет
Образование
Высшее
Учебное заведение
-
Специальность
Информатика и программирование
Завершение учебы
2020 г.