Gartner: генеративный ИИ становится новым риском для организаций

11 августа 2023 г.

Как показал опрос Gartner, широкая доступность моделей генеративного ИИ, таких как ChatGPT и Google Bard, создала большие проблемы для руководителей служб управления корпоративными рисками.

«Генеративный ИИ стал вторым по частоте упоминания риском в нашем опросе во 2 квартале, впервые оказавшись в первой десятке, — пишет в пресс-релизе Жань Сюй (Ran Xu), директор по исследованиям практики Risk & Audit в Gartner. — Это отражает быстрый рост широкой осведомленности и применения инструментов генеративного ИИ, а также обширные возможности его использования и, следовательно, потенциальные риски, порождаемые этими инструментами».

В мае 2023 года Gartner опросил 249 руководителей служб управления корпоративными рисками с целью составить сравнительный рейтинг 20 растущих рисков, включающий подробную информацию о возможных последствиях, временных рамках, требуемом уровне внимания и видящихся возможностях снижения рисков.

Жизнеспособность контрагентов названа самым быстро растущим риском, который внимательнее всего отслеживают организации (см. табл. 1). Неопределенность финансового планирования была на третьем месте, далее шла концентрация операций в облаке, и на пятом месте напряженность в торговле с Китаем. Источником этих рисков названы как текущая макроэкономическая и геополитическая нестабильность, так и аспекты, связанные с ИТ.

Табл. 1. Топ-5 главных новых рисков, 2 кв. 2023 г.

Источник: Gartner (August 2023)

Широкая доступность генеративного ИИ

Ранее Gartner выделил шесть рисков генеративного ИИ и четыре области регулирования ИИ, относящихся к функциям внутреннего контроля. С точки зрения управления корпоративными рисками необходимо держать под контролем три основных аспекта:

• Интеллектуальная собственность
  
  «Существенная или конфиденциальная информация, введенная в инструмент генеративного ИИ, может попасть в его обучающий набор данных и в итоге оказаться в выводе для других пользователей, — пишет Сюй. — Более того, использование данных вывода таких инструментов вполне может нарушить права интеллектуальной собственности третьих лиц, которые ее использовали».
  
  Важно донести до руководства организаций необходимость соблюдать осторожность и обеспечить прозрачность использования инструментов ИИ, чтобы должным образом снизить риски, касающиеся интеллектуальной собственности, а именно ввода такой информации в инструменты генеративного ИИ и непреднамеренного ее использования в выводе.

• Конфиденциальность данных
  
  Теоретически инструменты генеративного ИИ могут поделиться информацией о пользователях с контрагентами, например с вендорами или поставщиками услуг, без предварительного уведомления. Это может стать нарушением закона о конфиденциальности во многих юрисдикциях. Такие законы уже действуют в Китае и ЕС и готовятся в США, Канаде, Индии и Великобритании.

• Кибербезопасность
  
  «Хакеры всегда исследуют новые технологии, ища способы использовать их в своих целях, и генеративный ИИ не является исключением, — пишет Сюй. — Мы видели примеры вредоносных программ и вирусов-вымогателей, код которых был создан с помощью генеративного ИИ, а также атак внедрения запроса (prompt injection), когда эти инструменты можно заставить выдать не предусмотренную информацию. Это можно назвать индустриализацией изощренного фишинга».

Причины и последствия рисков жизнеспособности контрагентов

«Устойчивая инфляция, слабо реагирующая на повышение процентных ставок и оказывающая давление на рынок дольше, чем ожидалось, привела к росту затрат и съеданию маржи у контрагентов, — пишет Сюй. — Борясь с инфляцией, центробанки повышают процентные ставки, но это удорожает кредит, что может вынудить поставщиков приостановить операции или даже привести к их банкротству».

Если экономическая конъюнктура в целом ухудшится, это может привести к не прогнозируемому падению спроса, что может сказаться на коммерческой жизнеспособности вендоров или их способности своевременно предоставлять товары и услуги. Gartner видит три потенциальных последствия рисков жизнеспособности контрагентов, которые нужно отслеживать менеджерам по управлению рисками:

• Потеря ключевых ресурсов и материалов: Если контрагенты повысят свои цены из-за дальнейшего ухудшения экономической конъюнктуры, возникает явный риск потери доступа к ключевым ресурсам и материалам, поскольку контрагенты будут искать тех, кто готов платить за них дороже.
• Неверные допущения при финансовом планировании: Заложенные в смету издержки окажутся не соответствующими реальным, если поставщики повысят цены или обанкротятся, что потребует затрат на переключение и увеличения расходов на закупку товаров и услуг.
• Проблемы вне цепочки поставок: Поставщики управляемых услуг, коммерческие партнеры, кредиторы или вендоры ИТ могут закрыться или сократить объем операций.

Источник: Пресс-служба компании Gartner