Теневой ИИ и автономные агенты: скрытая угроза корпоративной безопасности
Блог Тихона Мануйленко

Теневой ИИ и автономные агенты: скрытая угроза корпоративной безопасности


(Никто еще не голосовал)
Loading...

Согласно отчету UpGuard за конец 2025 года, почти 90 процентов сотрудников активно используют искусственный интеллект (ИИ) на рабочем месте, при этом команды безопасности, по их собственному признанию, часто игнорируют эту проблему. Более 80 процентов работников всех уровней, включая руководителей, применяют ИИ-инструменты, несанкционированные компанией, что ставит под угрозу конфиденциальность и целостность корпоративных данных.

Распространение «теневого» ИИ

Эта ситуация напоминает вызовы десятилетней давности, когда компании боролись с «теневыми ИТ» — использованием личных облачных хранилищ, неодобренных SaaS-приложений и других инструментов, не прошедших проверку безопасности. Большинство организаций справились с этой проблемой, внедрив брокеры облачной безопасности (CASB), инструменты обнаружения и утвержденные альтернативы.

Однако «теневой ИИ» принципиально отличается. ИИ-инструменты не просто хранят данные; они активно обрабатывают их и могут сохранять информацию, не оставляя аудиторского следа. Когда сотрудник копирует список клиентов в бесплатный ИИ-сервис или использует проприетарный код для отладки, эти данные попадают в системы, которые организация не контролирует.

Измеримые риски и скрытые издержки

По словам директора по взаимодействию с клиентами компании Resilience, в части комплаенса это создает серьезные риски. Отсутствие соглашений об обработке данных, документированной политики их хранения и невозможности ответить на запросы субъектов данных в соответствии с Общим регламентом по защите данных (GDPR) ставит под угрозу соблюдение регуляторных требований.

Стоимость инцидентов, связанных с «теневым ИИ», ощутима. Исследование Netwrix показывает, что компании с высоким уровнем несанкционированного использования ИИ несут на 670 тысяч долларов большие издержки от утечек данных по сравнению с теми, где такое использование минимально. Полный запрет ИИ также не является решением: по данным Software AG, 46 процентов сотрудников продолжат использовать неодобренные инструменты даже после прямого запрета, просто переводя эту деятельность в скрытую форму.

Существуют и другие, менее очевидные издержки. Если сотрудники полагаются на неодобренные модели для анализа, создания черновиков или генерации кода, никто не проверяет точность полученных результатов. «Галлюцинации» ИИ (некорректные или вымышленные данные) могут попадать в отчеты для руководства, а ошибочный код — в производственные системы. Юридические отделы используют инструменты, не прошедшие проверку на соответствие нормам. Со временем это снижает точность внутренних результатов работы организации, а также приводит к созданию неконтролируемых рабочих процессов, которые невозможно проверить или заменить.

Новая волна: автономные ИИ-агенты

Помимо использования ИИ как инструмента (ввод запроса, получение ответа), наступает новая эра: автономные ИИ-агенты. Эти системы не ждут запросов; они самостоятельно выполняют действия: читают электронные письма, исполняют код, получают доступ к файлам, связывают задачи в цепочки, используя разрешения пользователя.

Пример такого развития — OpenClaw, ИИ-агент с открытым исходным кодом, который за несколько недель набрал 145 тысяч «звезд» на GitHub. Несмотря на свои впечатляющие возможности как инструмента повышения производительности, с точки зрения безопасности, по оценке Cisco, это настоящий кошмар.

Угрозы и уязвимости агентов

Команда исследования безопасности ИИ Cisco протестировала одно из самых популярных расширений для OpenClaw и обнаружила, что оно является функциональным бэкдором. Расширение незаметно отправляло данные на сервер злоумышленника через встроенные командные оболочки, используя инъекции промптов для обхода защитных механизмов агента. Это расширение было скачано тысячи раз.

Это лишь один из по меньшей мере 230 вредоносных плагинов, загруженных в репозиторий OpenClaw в течение нескольких недель после его вирусного распространения. Лаборатория Касперского выявила 512 уязвимостей в ходе одного аудита, восемь из которых были критическими. Китай уже запретил использование OpenClaw в государственных системах.

OpenClaw — это лишь один пример, но общая тенденция для всей категории — широкий доступ к системе, плагины от сообщества и слабые настройки безопасности по умолчанию. Gartner прогнозирует, что к концу текущего года 40 процентов корпоративных приложений будут включать специализированных ИИ-агентов, по сравнению с менее чем пятью процентами в 2025 году.

Эти агенты нарушают предположения, на которых строится большинство инструментов безопасности. Агент, отправляющий электронное письмо, выглядит как легитимный пользователь. Системы обнаружения конечных точек (EDR) видят обычный трафик, и нет вредоносных бинарных файлов для обнаружения. Поскольку агенты обрабатывают внешний контент (электронные письма, веб-страницы, документы, изображения), злоумышленники могут встраивать инструкции в этот контент и перехватывать поведение агента без участия человека. Исследователи уже продемонстрировали, как одно «отравленное» электронное письмо может заставить агента передать приватные ключи с хост-машины.

Пути решения проблемы

Полный запрет ИИ-инструментов неэффективен. Опыт показывает, что предоставление сотрудникам утвержденных и удобных альтернатив работает гораздо лучше. Одна система здравоохранения, заменившая запрет на ИИ одобренными инструментами, зафиксировала снижение несанкционированного использования на 89 процентов.

Сотрудники обращаются к «теневому» ИИ, потому что он решает реальные проблемы быстрее, чем санкционированные ИТ-отделом решения. Устранение этого разрыва автоматически снижает рискованное поведение.

  • Рассматривайте взаимодействия с ИИ как передачу данных. Применяйте политики предотвращения утечек данных (DLP) к запросам (промптам). Классифицируйте данные, которые никогда не должны попадать во внешние модели.
  • Обеспечьте прозрачность использования инструментов сотрудниками. Исследование BlackFog показывает, что 99 процентов организаций в настоящее время не имеют возможности измерять активность «теневого» ИИ в своей среде.
  • Для автономных ИИ-агентов требуются более строгие меры: песочницы, доступ с минимальными привилегиями и тщательная проверка каждого расширения перед развертыванием.
  • Командам безопасности необходимы системы мониторинга, разработанные для угроз, специфичных для ИИ, — инъекции промптов, компрометация цепочки поставок через вредоносные «навыки» и утечка учетных данных из памяти агента. Устаревшие инструменты для конечных точек не предназначены для выявления таких угроз.

Такое управление должно восприниматься сотрудниками как сервис, а не как ограничение. Компании, которые смогут это реализовать, окажутся в выигрышном положении. Те же, кто продолжит игнорировать проблему, уже отстают — их данные утекают из организации, запрос за запросом, на протяжении многих месяцев.



Подпишитесь на новости блога
Добавить в закладки
Поучаствуйте в опросе:
Из чего строить загородный дом?
Топ комментаторов:
adianon(44)
сергей(30)
Слава(27)
Стелла(23)
Nikiforov(17)
VITALY(14)