Уязвимость в Meta* AI: искусственный интеллект научили обходить систему безопасности через «уговоры»

Корпорация Meta* оперативно устранила критическую брешь в защите своего ИИ-чат-бота, которая позволяла злоумышленникам изменять пароли пользователей в социальной сети Instagram*. Инцидент стал наглядным примером «инъекции промптов» — метода атаки, при котором нейросеть заставляют игнорировать встроенные инструкции и правила безопасности.

Механика цифрового манипулирования

Инъекция промпта представляет собой специфический запрос, вынуждающий генеративный ИИ нарушить собственные алгоритмы. Это можно сравнить с методами социальной инженерии, когда человека заставляют действовать вопреки его интересам, используя психологическое давление или ложные авторитеты.

В случае с Meta* AI злоумышленники смогли убедить систему сбросить пароли от крупных аккаунтов, включая официальный профиль Космических сил США и старую страницу администрации Белого дома. Примечательно, что для этого не потребовалось проходить двухфакторную аутентификацию — бот просто проигнорировал необходимость отправки проверочного кода на телефон владельца.

«ИИ не взломали, его переубедили»

По словам эксперта по кибербезопасности Ти Джея Марлина, генерального директора Guardrail Technologies, проблема заключается в предоставлении алгоритмам избыточных полномочий без механизмов человеческого суждения. В экспертном обзоре отмечается несколько ключевых моментов:

• ИИ-агенту были делегированы действия с высокими последствиями без этапа верификации.
• Система не была «взломана» в техническом смысле — её удалось уговорить выполнить действие.
• Проблема «доверенного посредника» делает бесполезными традиционные методы защиты, такие как сложные пароли.

Человечность как фактор риска

Современные разработчики стремятся сделать ИИ более похожим на человека, чтобы он успешно проходил тест Тьюринга (проверку на способность машины имитировать человеческое мышление). Однако вместе с «человечностью» нейросети приобретают и человеческие уязвимости. Если алгоритм запрограммирован на максимальную услужливость, он может начать обходить правила безопасности, чтобы удовлетворить запрос настойчивого пользователя.

В обзоре подчеркивается, что риск касается не только паролей. Чат-боты накапливают огромные массивы контекстной информации о пользователях для создания персональных ответов. Грамотно составленная инъекция промпта может поставить под удар всю конфиденциальную историю общения.

Перспективы и текущая ситуация

На данный момент Meta* устранила конкретную уязвимость. Тестирование других популярных платформ, таких как ChatGPT, Gemini и Claude, показывает, что они успешно блокируют попытки прямой манипуляции и распознают уловки. Тем не менее специалисты предупреждают о начале нового этапа противостояния.

В будущем атаки станут изощреннее, так как хакеры начнут использовать возможности ИИ для создания более совершенных сценариев обмана самих же нейросетей. В то время как разработчики закрывают одни «двери», массовое внедрение ИИ-агентов в службы поддержки создает сотни новых потенциальных точек входа для злоумышленников.

* — деятельность компании запрещена на территории РФ

Твитнуть