10 апреля 2025 г.

Ростислав Терновский

В последние годы активно идет развитие искусственного интеллекта. Это трудозатратная технология, требующая большого количества ресурсов, в том числе ресурсов GPU. В это время на рынке РФ сейчас присутствуют проблемы с поставками необходимых компонентов под кластер ИИ. Видеокарты необходимой конфигурации для машинного обучения очень сложно закупить в нужном объеме, а их стоимость очень высока, что мешает бизнесу сформировать собственный кластер для ML и ограничивает его в дальнейшем масштабировании. На выручку бизнесу приходят облачные провайдеры, которые предоставляют возможность сделать это с меньшим бюджетом и с возможностью вовремя масштабироваться.

Облачные технологии — та самая среда, которая помогает искусственному интеллекту развиваться и обучаться семимильными шагами. При этом благодаря ИИ развивается и сам рынок облачных решений, например, в обзоре Fortune Business Insight ИИ-технологии для обработки, анализа и демонстрации видеоконтента названы одной из ключевых причин роста глобального рынка облачных сервисов для видео до 10,28 млрд долл. в 2024 году.

Преимущества облачных платформ для ИИ

Облачные технологии в машинном обучении открывают широкие горизонты для разработки, тестирования, тренировки и внедрения моделей искусственного интеллекта. Они дают ту самую базу, которая позволяет в полном масштабе развертывать вычислительные возможности, необходимые для полноценного машинного обучения и развития функций ИИ. Отмечается и обратное влияние: в 2024 году рост российского рынка облачных услуг составил 36,3%, и эксперты среди прочих причин называют необходимость поддержки и развития ИИ и машинного обучения.

Почему облачные вычисления и искусственный интеллект оказывают такое сильное и взаимное влияние? Какие преимущества облачные технологии могут дать?

  • Универсальность и масштабируемость. Облачные решения позволяют динамично наращивать вычислительные мощности в зависимости от потребностей. Это особенно важно для сложных моделей, требующих обширных данных и значительных вычислительных ресурсов.
  • Доступность мощных инструментов и библиотек. Облачные провайдеры предоставляют готовые фреймворки для обработки данных и развертывания моделей, такие как TensorFlow, PyTorch, Scikit-learn и другие.
  • Полезные сервисы. В портфеле продуктов у облачных провайдеров также могут находиться дополнительные сервисы, которые существенно облегчат машинное обучение новых моделей и дообучение уже существующих моделей искусственного интеллекта. Вот лишь несколько примеров:
    • платформы данных, которые помогают агрегировать большие данные и управлять ими;
    • сервисы защиты и соответствия 152-ФЗ, которые помогают не думать о лицензиях и защите персональных данных;
    • доступ к другим моделям искусственного интеллекта, что поможет использовать часть их функций и сократить время на обучение собственной модели.
  • Интеграция с другими системами: возможность соединения с базами данных, IoT-устройствами и другими облачными сервисами.
  • Оптимизация ресурсов и управление затратами. ИИ в облаке способствует эффективному распределению ресурсов и оптимизации использования вычислительной мощности, что позволяет снизить затраты на оборудование и поддержание инфраструктуры.
  • Доступность. Для реализации проектов на базе машинного обучения не нужны крупные инвестиции — провайдер предоставляет вычислительные ресурсы, в том числе высокопроизводительные GPU, по требованию в рамках гибкой модели ценообразования.
  • Скорость запуска. В отличие от формирования собственного on-prime кластера ИИ, запуск кластера ИИ в облаке займет пару кликов.
  • Не нужно думать об обслуживании и доступности кластера, что экономит не только нервы, но и деньги на высококвалифицированных специалистов.

Какие облачные сервисы используются для разработки моделей искусственного интеллекта

Зарубежные облачные платформы для ИИ и МО

  • IBM Watson Studio. Платформа для создания, обучения и развертывания моделей машинного обучения и нейронных сетей.
  • TensorFlow. Открытая платформа для машинного обучения и искусственного интеллекта, разработанная Google.
  • Microsoft Azure Cognitive Services. Серия API для различных задач, связанных с обработкой данных и распознаванием образов на основе искусственного интеллекта.
  • Amazon SageMaker. Сервис для разработки, обучения и развертывания моделей машинного обучения на основе облачных вычислений.
  • Google Cloud AutoML. Сервис для создания и обучения моделей машинного обучения без необходимости в программировании.
  • Google Cloud AI Platform. Платформа для разработки, обучения и развертывания моделей машинного обучения.
  • ML Space. Предоставляет специализированные решения и инструменты для полного цикла разработки.

Российские облачные платформы для создания ИИ приложений

  • МТС Web Services — это новое название облачной платформы #CloudМТС. Теперь на этой платформе появилось ИИ-облако, построенное на основе GPU-инфраструктуры. Здесь компании смогут самостоятельно развернуть необходимое для работы с искусственным интеллектом программное обеспечение, либо использовать «из коробки» уже готовые решения, доступные в ИИ-облаке.
  • CorpGPT — платформа для NO-code разработки AI-ботов. Боты создаются и обучаются в визуальном редакторе, который не требует знания языков программирования. Например, можно создать себе ИИ-секретаря, сотрудника службы поддержки, HR-специалиста, инструмент для анализа конкурентов, генерации контента для сайта, обработчик документов. Фишка платформы в том, что она может работать на сервере клиента, т.е. его данные никуда не утекут. Администратору доступна функция централизованного контроля всех событий, уровня доступа и запросов пользователей.
  • Cloud.ru. Предоставляет облачную инфраструктуру, платформы и сервисы для разработки и эксплуатации моделей машинного обучения. Использует два суперкомпьютера — Christofari и Christofari Neo, а также собственную облачную платформу на бесплатных компонентах — ML Space.
  • BAUM AI. Программно-технический комплекс, который позволяет в пару кликов обратиться к данным и собрать свою модель искусственного интеллекта, провести ее обучение, верификацию и тестирование.
  • Yandex Datasphere. Сервис для разработки моделей машинного обучения, в котором впервые в мировой практике публичных облаков применена технология бессерверных (serverless) вычислений.

Как обучать модели машинного обучения в облачной среде

Сценарии машинного обучения в облаке строятся, прежде всего, на возможности загружать большие объемы данных в инфраструктуру, развернутую на облачных ресурсах. Это дает гибкость в выборе мощностей, позволяя оптимизировать затраты на покупку дорогостоящего оборудования (корпоративное хранилище данных, видеокарты с модулями GPU и т.д.). То есть облачные платформы можно рассматривать как инструмент для экономии бюджета, особенно для задач, связанных с обучением моделей.

Можно выделить два основных сценария машинного обучения в облаке.

  • Первый — обучение проходит в облаке, там же разворачивается продуктивная среда, на которой уже обученная модель работает в рамках бизнес-требований заказчика.
  • Второй сценарий (и самый распространенный) — использование платформы машинного обучения непосредственно для формирования моделей на определенных данных. Далее эта модель переносится в закрытый корпоративный контур безопасности заказчика.

Для обучения моделей машинного обучения в облачной среде можно использовать различные платформы, которые предлагают инструменты и сервисы для разработки. У каждого есть свои преимущества и недостатки, так что мы назовем лишь несколько.

  • Yandex DataSphere. Облачная среда, которая объединяет необходимые инструменты и ресурсы для машинного обучения. Сервис помогает пройти полный цикл создания модели, от эксперимента и разработки до запуска готовой версии в эксплуатацию.
  • Google Cloud AI Platform. Платформа для разработки, обучения и развертывания моделей машинного обучения. Предоставляет инструменты для создания и обучения моделей с использованием популярных фреймворков, таких как TensorFlow и scikit-learn.
  • Amazon EC2. Виртуальные серверы в облаке, которые можно использовать для запуска и масштабирования вычислительных ресурсов для обучения моделей машинного обучения.
  • Amazon S3. Хранилище объектов в облаке, которое обеспечивает высокую доступность, масштабируемость и надежность. Может использоваться для хранения больших объемов данных, включая наборы данных для обучения моделей машинного обучения.

При выборе платформы для работы с машинным обучением важно учитывать не только инструменты и сервисы, но и другие факторы, такие как интеграция с другими сервисами, гибкость и масштабируемость, безопасность и возможность совместной работы.

Как внедрять и масштабировать решения ИИ и МL в облаке

  1. Оценить текущую ИТ-инфраструктуру. Нужно выявить сильные и слабые стороны, а также пробелы в отношении требований ИИ. Оценка должна охватывать аппаратное обеспечение (серверы, системы хранения данных, сети), программное обеспечение (базы данных, платформы приложений) и существующие методы управления данными.

  2. Выбрать подходящую облачную инфраструктуру. Нужно определить, какая облачная инфраструктура наилучшим образом соответствует уникальным потребностям каждого проекта ИИ. Например, если в обучении участвуют персональные данные клиентов, то необходимо ориентироваться на облако с наличием сертификации по 152-ФЗ.

  3. Заказать облачные сервисы обучения ИИ. Облачные провайдеры предлагают масштабируемые и мощные ресурсы для обучения моделей.

  4. Реализовать или заказать балансировку нагрузки. Это нужно для эффективного распределения трафика между серверами.

  5. Регулярно оценивать производительность и корректировать инфраструктуру. Это поможет поддерживать соответствие развивающимся возможностям ИИ.

  6. При необходимости запросить у облачного провайдера необходимого специалиста для настройки необходимого окружения в соответствии с вашими требованиями.

Для интеграции искусственного интеллекта некоторые компании предпочитают работать с поставщиком управляемых услуг (MSP). Такие специалисты предлагают целостный подход к оптимизации ИИ, поддерживают проектирование инфраструктуры, соответствие требованиям и постоянную оптимизацию. Это позволяет получить эффективную рабочую систему без необходимости тратить собственные ресурсы и наращивать собственные мощности, а в итоге может привести к серьезной экономии бюджета.

Заключение

Использование искусственного интеллекта может стать серьезным драйвером развития бизнеса, если правильно организовать его внедрение и обеспечить необходимые ресурсы для работы. Облачные технологии дают как отличное поле для развертывания необходимых систем искусственного интеллекта и машинного обучения, так и возможность сделать это без дополнительных затрат на оборудование, софт и специалистов.

Источник: Ростислав Терновский, менеджер продуктов EdgeЦентр