9 марта 2023 г.
Компания GlowByte завершила проект по внедрению корпоративной ModelOps-платформы на открытых технологиях в торговой сети «АШАН Ритейл Россия». Решение позволило специалистам Data Science создать среду для проектирования и ввода в промышленную эксплуатацию ML-моделей. Об этом сообщили представители GlowByte.
«Скорость и точность — это необходимое условие конкурентоспособности компании на рынке розничной торговли. Совместно с GlowByte мы реализовали проект по созданию единой среды для работы с большими данными, которая позволяет управлять ML-моделями, написанными на любом языке, — прокомментировал Максим Строгий, ИT-директор „АШАН Ритейл Россия“. — Благодаря проекту мы повысили эффективность Big Data, внедрив прогнозные и рекомендательные модели на основе машинного обучения. Отмечу гибкость и надежность платформы — мы быстро смогли перестроиться и адаптироваться к работе на новом ПО».
При построении архитектуры платформы команды руководствовались принципами MLOps-подхода к разработке ML-моделей. Это набор практик и технологий, которые объединяют Machine Learning, DevOps, Data Engineering и Model Governance в единую методологию создания, внедрения и эксплуатации моделей машинного обучения.
Платформа интегрирована с источниками данных ритейлера, развернута в VK Cloud и состоит из различных инструментов кластера Kubernetes. Это обеспечивает гибкость инструмента, эффективное управление имеющимися вычислительными ресурсами и быстрое масштабирование.
Система для хранения персистентных данных (GlusterFS + Heketi) развернута на отечественной операционной системе Astra Linux. ML-модели разрабатываются на языке Python посредством JupyterLab, а с помощью инструмента Gitlab CI/CD построен единый пайплайн вывода модели от стадии разработки до применения в продакшене.
Жизненным циклом ML-моделей специалисты Data Science управляют посредством Open Source-платформы на основе MLFlow. Она позволяет проводить различные эксперименты — логировать метрики и параметры модели, принимать решения о ее внедрении, выполнять ретроспективный анализ процесса изменения метрик и моделей. В качестве оркестратора применения ML-моделей используется Airflow.
«Благодаря MLOps-платформе, внедренной в торговой сети „АШАН Ритейл Россия“, все ML-модели теперь разрабатываются на основе единого шаблона и имеют стандартизированный пайплайн продуктивизации для регламентного предсказания и автоматического переобучения, — сказал Александр Кухтинов, руководитель практики ModelOps GlowByte. — Сейчас на платформе отработан процесс вывода Python-моделей, но в целом гибкость инструмента позволяет работать с любыми моделями, в том числе R, Java, C/C++. Тестовые запуски показали снижение как time-to-market, так и времени на поддержание и переобучение модели, а это значит, что у дата-сайентистов и ИT-подразделения появится возможность для решения большего количества задач».
Источник: Пресс-служба компании GlowByte
