«Загипнотизированные» ChatGPT и Bard могут убеждать пользователей платить мошенникам и проезжать на красный свет
Исследователи IBM убедили большие языковые модели сыграть в многослойную «игру», в результате которой боты предложили неправильные советы.
Исследователи безопасности из IBM говорят, что им удалось успешно «загипнотизировать» известные языковые модели Chat GPT от OpenAI и Bard от Google и склонить их к выдаче конфиденциальной финансовой информации, генерации вредоносного кода, поощрения пользователей к выплате выкупа и даже рекомендованию водителям ездить на красный свет. Исследователи смогли обмануть модели, убедив их принять участие в многослойных играх с целью доказать, что они «этичны и честны».
В рамках эксперимента исследователи задавали ботам различные вопросы с целью получить абсолютно ложный ответ, рассказывает Gizmodo. Как щенок, стремящийся угодить своему хозяину, языковые модели послушно подчинились. В одном сценарии ChatGPT сказал исследователю, что для налоговой вполне нормально просить депозит, чтобы получить возврат налога (на самом деле все не так, это распространенная в США тактика мошенников, чтобы украсть деньги). В другом ответе ChatGPT посоветовал исследователю двигаться через перекресток на красный свет.
Что еще хуже, исследователи приказали языковым моделям никогда не сообщать пользователям об «игре» и даже перезапускать эту игру, когда пользователь решил выйти. С такими параметрами модели ИИ начнут вводить пользователей в заблуждение, даже если пользователь непосредственно запросит у бота, участвует ли тот в игре. Даже если бы пользователь в итоге и смог понять подвох, исследователи придумали способ создать несколько игр одна внутри другой, чтобы пользователь просто попал в новую «игру» и в итоге все же оказался обманутым. Этот сложный лабиринт игр сравнивают с множеством слоев сна из киноленты «Начало» с Леонардо Ди Каприо.
В реальном мире киберпреступники теоретически могут «загипнотизировать» виртуального банковского агента, работающего на основе генеративной языковой модели, введя вредоносную команду и позже добыв украденную информацию. И хотя GPT-модели от OpenAI изначально не позволяли вносить уязвимость в сгенерированный код, исследователи сказали, что они могут обойти этот барьер, включив вредоносную специальную библиотеку в пример кода.
Также интересно, что GPT-4, который, как полагают, был обучен на большем количестве параметров данных по сравнению с другими моделями в тесте, оказался наиболее способным в понимании таких сложных игр. Это означает, что новые и более совершенные модели ИИ, хотя и являются по некоторым характеристикам более точными и безопасными, также потенциально имеют больше возможностей для «гипноза».
Топовый переводчик поехал в Беларусь менять паспорт — и сел за донаты. «КГБ посмотрел на сумму и решил, что никто в здравом уме не может потратить столько собственных денег»1313
Комментарии