21 апреля 2025 г.
В последнее время активно обсуждают проблематику безопасности при внедрении ИИ в бизнес-процессы.
«Внедрение технологий „искусственного интеллекта“ в бизнес-процессы компаний неизменно сопровождается вызовами кибербезопасности, — говорит Сергей Лебедь, вице-президент „Сбера“ по кибербезопасности. — Организации, использующие AI, сталкиваются с новыми рисками, способными повлиять на устойчивость систем и конфиденциальность данных».
В чем особенность проблематики для ИИ, инструмента, который уже каждый попробовал «в деле» для личных и для рабочих задач? Сложности есть, и они определены как новизной инструмента, так и особенностями самой технологии. Далее под ИИ будем понимать некоторый собирательный образ для инструментов разной мощности (от небольших нейросетей, самостоятельно обученных корпоративным заказчиком, до LLM) и разного формата распространения (от платных до бесплатных, в том числе, с открытым кодом). В любом случае применять ИИ нужно крайне осторожно и осмотрительно, существуют различные риски в широком спектре — от утечки данных до проблем с законом.
Почему ИИ требует осторожности
ИИ — одно из многих цифровых решений, которое может раскрыть свои возможности в одних ситуациях и оказаться совсем неприменимо в других. Использование несет риски, одни из которых вполне традиционные для новых цифровых инструментов, другие — весьма своеобразные.
«„Искусственный интеллект“ — это „черный ящик“ с „нечеткой логикой“», — сказал на Сергей Крамаренко, директор по информационной безопасности «Альфа-банка», выступая на VII финансовом форуме «Просто капитал». Модели, обученные незнакомыми людьми на неизвестных массивах данных применять для решения практических задач конкретной компании можно достаточно быстро и дешево, но при этом необходимо контролировать полученный результат и быть готовым к управлению новыми рисками.
Дополнительных рисков много, и появиться они могут в разных местах, порой весьма неожиданных. Например, на сессии «Как компаниям защититься от киберугроз?», прошедшей на форуме «Просто капитал», привели пример, как проанализировав текст, составленный ИИ, юристы компании обнаружили в документе 25 поводов для возбуждения уголовных дел в соответствии с законодательством РФ.
ИИ в разных формах применения доказал и ширину своих возможностей, и практическую эффективность. Осталось только внедрить ИИ-инструменты в бизнес-процессы, наладив конвейер разработки соответствующих приложений, причем обеспечив безопасность с учетом особенностей инструмента.
Сами делаем — сами используем
Создавать ИИ-инструменты корпоративные заказчики вполне могут самостоятельно. Решения собственной разработки используют порядка 14% компаний, уже внедривших ИИ в бизнес-процессы, по данным опроса VK Predict и консалтингового агентства Prognosis, 44% отдают предпочтение сторонним продуктам, а 42% сочетают собственные и внешние разработки.
Создавать собственные ИИ-решения достаточно дорого, но это не основная проблема. Даже при наличии финансового ресурса вычислительных мощностей (которые, впрочем, достаточно просто арендовать у cloud-провайдеров — см. врезку) и команды специалистов это доступно не всем российским компаниям, так как для этого нужны огромные объемы данных, которые присутствуют далеко не у всякого корпоративного заказчика. Даже при наличии данных при обучении собственных ИИ-моделей нужно решить ряд задач, причем на уровне согласования отдельных процессов и даже политик.
«Общим требованием для таких проектов является согласование процессов управления данными и управления жизненным циклом моделей машинного обучения, — говорит Александр Борисов, руководитель направления Data Science в RAMAX Group. — Другими словами, необходимо реализовать связку Data Governance и MLOps».
Ресурсы, нужные для работы с ИИ, — вычислительные, для размещения данных и т. д. — российские корпоративные заказчики могут получать от «облачных» провайдеров. Провайдеры располагают профильной экспертизой, которой готовы делиться с клиентами. Срок накопления экспертизы впечатляет, особенно с учетом новизны технологий ИИ. Например, Владимир Шульга, директор продуктовой разработки в Cloud.ru, выступая на конференции GoCloud 2025, напомнил, что провайдер работает с этой технологией работает с 2019 года.
Про доверенный ИИ
О том, что ИИ должен быть доверенным, сейчас говорят всё чаще. На законодательном уровне понятие «доверенного ИИ» пока отсутствует, работы над этим вопросом только начинаются.
На практике «искусственный интеллект» от «Сбера» или «Яндекса» можно считать доверенными, к остальным же ИИ-инструментам следует относиться с крайней осторожностью. ИИ может быть обучен на некорректных данных, процесс обучения может быть построен неверно и результат недостаточно протестирован, наконец, существуют варианты хакерских атак на ИИ-инструменты, что может привести к выдаче некорректных результатов. Так что даже самостоятельно разработанные ИИ-инструменты компаниям не стоит считать однозначно доверенными.
Нужно помнить и о «галлюцинировании» ИИ. Пусть эта техническая проблема известна давно и во многом решена разработчиками, но пока от появления «глюков» никто не застрахован ни в одной из задач, для которых применяют ИИ.
Вместо заключения
Эксперты по кибербезопасности «Сбера» подготовили первую в России
комплексную модель угроз для систем «искусственного интеллекта», которая
охватывает все ключевые этапы жизненного цикла AI-систем — от подготовки
данных и разработки нейросетевых моделей до интеграции в приложения. По заявлению разработчиков, документ — а он охватывает модели как генеративного (GenAI), так и предиктивного (PredAI) ИИ — позволяет организациям любой отрасли комплексно оценить уязвимости, адаптировать защитные механизмы и минимизировать
потенциальные потери.
Однако мало создать модели и даже разработать на их основе инструменты, нужно обеспечивать безопасность при их внедрении в бизнес-приложения. А для этого придется пересмотреть некоторые детали в конвейере разработки и применяемых в нем технологиях. С «fuzzy logic», характерной для ИИ, работать давно научились, только соответствующие — и давно отработанные! — подходы и принципы нужно заложить в конвейеры разработки.
Окончание следует
Источник: Александр Маляревский, внештатный обозреватель IT Channel News
