Ассоциация ФинТех представляет 10 Трендов ИИ 2024. Часть V

25 июня 2024 г.

Тренд № 7. Разработка ИИ с учетом безопасности

Продолжение. Начало тут, тут, тут и тут

Разработка ИИ с учетом обеспечения безопасности — подход, объединяющий методологии и практики безопасности в контексте разработки и внедрения систем машинного обучения. Он сочетает в себе принципы MLOps (Machine Learning Operations) с учетом специфических требований сервисов с ИИ. Специалисты по кибербезопасности участвуют на всех циклах разработки решения. Подход обеспечивает безопасность и конфиденциальность данных, используемых для обучения и тестирования моделей, а также защиту развернутых моделей и инфраструктуры, на которой они работают, от вредоносных атак.

Immuta: 80% экспертов в сфере данных в мире считают, что ИИ может стать угрозой для безопасности данных.

Прогнозируется, что в ближайшее время главным участником кибератак станет ИИ, который будет настолько быстро взламывать системы защиты организаций, что бороться с ним имеющимися средствами станет невозможно. Уже появляются средства защиты, также основанные на ИИ.

ИИ имитирует действия человека, разгадывает капчи и другие средства защиты, может организовать атаку на критическую инфраструктуру.

С точки зрения производителя: Программы или системы ИИ должны быть устойчивыми к изменениям, которые не должны влиять на их результат, так как среды, в которых развертываются системы ИИ, обычно очень сложны и нестабильны.

С точки зрения пользователя: Важно, что главным приоритетом программы или системы ИИ всегда является безопасность пользователей, а также то, что решения ИИ не приносят вред людям при любых условиях.

С социальной точки зрения: Программы или системы ИИ должны в полном объеме соблюдать все соответствующие законы, правила и этические нормы.

Эффекты от адаптации

• Улучшение клиентского опыта — 1*
• Операционная эффективность — 2*
• Управление талантами — 3*
• Управление рисками — 4*

* Максимальная оценка — 4.

Кейсы адаптации тренда в России

• PT Application Inspector от Positive Technologies позволяет обнаруживать уязвимости и признаки недекларированных возможностей в приложениях. PT Application Inspector анализирует исходный код или готовое приложение, комбинируя статические (SAST), динамические (DAST) и интерактивные (IAST) методы тестирования.
• Solar appScreener от Ростелеком Солар— статический анализатор кода (SAST) для проверки безопасности приложений, ПО и информационных систем. Поддерживает 36 языков программирования. Используется ВТБ, аэропортом Домодедово, ГК «Астра» и другими компаниями российского рынка.
• Kaspersky Container Security защищает бизнес-процессы организации, помогает соответствовать отраслевым стандартам и нормам безопасности, а также реализовать принцип безопасной разработки ПО. Решение с использованием контейнеров позволит разработчикам повысить безопасность продуктов и снизить время вывода их на рынок.

Тренд № 8. Регулирование технологий и сервисов ИИ

Искусственный интеллект — технология, которая может применяться в любой отрасли. Основное внимание в управлении ИИ уделяется вопросам справедливости, качества данных и автономности. Регулирование ИИ определяет, какую часть повседневной жизни могут формировать алгоритмы и кто контролирует функционирование ИИ.

Ключевые области регулирования ИИ:

• Безопасность ИИ,
• Секторы, подходящие для использования ИИ с целью автоматизации,
• Правовые и институциональные структуры, связанные с использованием ИИи технологий,
• Контроль и доступ к персональным данным,
• Моральные и этические вопросы, связанные с ИИ.

Регулирование ИИ должно носить пропорциональный характер, в основе которого лежит применение риск-ориентированного принципа. Он подразумевает зависимость формата регуляторных требований от объема и вероятности реализации риска использования технологии в сравнении с потенциальным положительным эффектом от ее внедрения.

Предвзятость ИИ может неверно определять основную информацию о пользователях и привести к несправедливому отказу, например, в доступе к медицинскому обслуживанию и кредитам. Без надлежащего управления системы ИИ могут создавать такие риски, как необъективное принятие решений, нарушение конфиденциальности и неправомерное использование персональных данных.

Один из инструментов регулирования ИИ и борьбы с фейками — водяные знаки (watermarks). Маркировка ИИ-контента — это процесс встраивания распознаваемого уникального знака в выходные данные ИИ-модели, например в текст или изображение, чтобы идентифицировать этот контент как созданный ИИ. Эффективный водяной знак ИИ не должен снижать производительность модели, противостоять попыткам подделки, удаления или модификации, а также быть совместимым с различными архитектурами моделей.

Правовая основа для обеспечения исследований и развития технологий ИИ и машинного обучения с целью внедрения и использования этих систем этичным и ответственным образом. Регуляторам необходимо найти баланс между саморегулированием отрасли и нормативно-правовым регулированием государства.

Эффекты от адаптации

• Улучшение клиентского опыта — 2*
• Операционная эффективность — 1*
• Рост и трансформация бизнеса — 1*
• Управление рисками — 4*

* Максимальная оценка — 4.

Кейсы адаптации тренда в России

• В России действует 13 экспериментальных правовых режимов (ЭПР) в сфере ИИ.
• На данный момент создано 180 инициативных предложений для ЭПР по направлениям: медицина, беспилотный транспорт и доступ разработчиков ИИ к наборам данных из государственных информационных систем.
• В России подписан «Кодекс этики искусственного интеллекта». Это единая система рекомендательных принципов и правил, предназначенных для создания среды доверенного развития технологий искусственного интеллекта в России. Насчитываются уже более 350 подписантов.
• В России подписана Декларация об ответственной разработке и использовании сервисов на основе генеративного ИИ. Среди подписантов — крупнейшие отечественные компании-разработчики ИИ, а также ВУЗы и отраслевые организации. Документ устанавливает этические принципы и рекомендации по ответственному отношению к ИИ не только для разработчиков и исследователей, но и пользователей нейросетевых сервисов.
• Банк России в конце 2023 года опубликовал доклад «Применение искусственного интеллекта на финансовом рынке», в котором поддерживается риск-ориентированный принцип регулирования ИИ. Банк Роосии придерживается технологически нейтрального подхода к регулированию, который позволяет участникам рынка внедрять инновации и развивать ИИ.
• В России также готовится законопроект о регулировании в сфере ИИ. Особое внимание будет уделяться защите рынка труда от негативного влияния ИИ. Законопроект должен определить ответственность за разработку систем ИИ и создаваемый с их помощью контент и исключить использование технологии мошенниками.

Продолжение следует

Источник: Пресс-служба компании Ассоциация ФинТех