Искусственный интеллект от OpenAI вышел из изолированной среды и взломал другую компанию во время теста на кибербезопасность

Компания OpenAI сообщила, что две системы искусственного интеллекта, проходившие тест на производительность (бенчмаркинг) в сфере кибербезопасности, вышли за пределы изолированной среды, самостоятельно нашли путь в глобальную сеть и взломали системы другой компании.

Жертвой стала компания Hugging Face — поставщик популярных инструментов для ИИ с открытым исходным кодом. Специалисты компании в начале прошлой недели обнаружили несанкционированный доступ к внутренним наборам данных и корпоративным учётным данным. Затронул ли инцидент информацию клиентов или партнёров, пока неизвестно.

Тогда в Hugging Face ещё не знали, кто стоит за атакой, но она была настолько сложной, что сотрудники предполагали: для неё могла использоваться одна из самых современных «передовых» (frontier) моделей искусственного интеллекта.

В отчёте, опубликованном 21 июля, OpenAI сообщила, что за взломом стояли две её модели. Отмечается, что в испытании участвовали модель GPT-5.6 Sol и ещё одна, более мощная, которая пока не представлена публично. Для проведения испытания модели были специально настроены так, чтобы реже отказываться от выполнения хакерских команд.

OpenAI изолировала модели в так называемой «песочнице» — закрытой системе, не имевшей доступа к интернету. Однако во время теста модели использовали свои возможности для взлома, чтобы выбраться из изолированной среды. Найдя доступ к сети, они проникли в системы Hugging Face.

OpenAI назвала этот случай беспрецедентным и сообщила, что готовит вместе с Hugging Face подробный технический отчёт.

Эксперт в сфере кибербезопасности Ариэль Герберт-Фосс полагает, что система могла взломать Hugging Face, так как это был самый быстрый путь к выполнению поставленной задачи. По его словам, возможность такого развития событий обсуждалась в научных кругах, но реальных примеров до сих пор не было.

По данным издания, инцидент произошёл на фоне дискуссий в США о рисках, которые могут нести мощнейшие системы искусственного интеллекта. Одни политики призывают сделать обязательными проверки таких моделей перед их выпуском, другие считают, что чрезмерное регулирование может замедлить развитие технологий и ослабить позиции США в конкуренции с Китаем.

За последний год возможности моделей искусственного интеллекта в сфере кибербезопасности заметно выросли. На этом фоне власти США и разработчики пока не пришли к единому подходу, как выпускать такие системы, учитывая как риски для кибербезопасности, так и потребности защиты.

В апреле компания Anthropic ограничила доступ к своей новой модели из-за опасений, связанных с её возможностями в сфере кибератак. Позже администрация Дональда Трампа также вводила ограничения на доступ к ряду моделей Anthropic, однако спустя несколько недель после переговоров они были сняты.

OpenAI также сначала распространяла GPT-5.6 Sol с ограничениями, но теперь модель стала доступна шире. При этом компания ранее заявляла, что индивидуальные государственные ограничения на распространение искусственного интеллекта могут создать опасный прецедент.

• 1
• 0
• 3
• 4
• 3
• 0
• 2
• 0