Японская компания показала первый в мире искусственный интеллект для научных открытий. Он сразу попытался переписать свой код
После официального выхода нейросети независимые исследователи во время тестирования заметили в ее работе «странное поведение», а затем экстренно вмешались, чтобы остановить ее.
18.08.2024 / 15:54
Иллюстративный снимок: vecteezy
Японская технологическая компания Sakana AI создала и выпустила первый в мире искусственный интеллект (ИИ), предназначенный для автоматизации научных исследований и совершения научных открытий.
В официальном пресс-релизе компании говорится, что новый ИИ был разработан в партнерстве с Оксфордским университетом и другими известными вузами.
Нейросеть называется The AI Scientist («ИИ-ученый»), она предлагает расширенные возможности для исследований и ускорения научных открытий, а также поддерживает пользователей в различных задачах, таких, как генерация идей, написание кода, проведение экспериментов, обобщение результатов, составление исследовательских работ и обобщение экспертных оценок.
В дополнение к этому нейросеть может составлять полные научные статьи, включая пояснения и контекст результатов, рассказала на днях японская компания Sakana AI, представляя новый продукт.
Однако сразу же после официального выхода «ИИ-ученого», независимые исследователи обнаружили в его работе опасные аномалии.
«В одном из экспериментов нейросеть из-за лимита времени на решение задачи попыталась переписать свой код, чтобы снять временные ограничения и закончить работу в удобных для нее темпах.
Для этого искусственный интеллект стал самостоятельно устанавливать в свою структуру посторонние библиотеки Python из непроверенных и небезопасных источников. Процесс скачивания библиотек стал бесконечным, а возникновение новых процессов в программном коде ИИ — «неконтролируемым», что потребовало срочного ручного вмешательства со стороны исследователей», — пишет крупный портал Ars Technica.
Независимые исследователи после тестирования «ИИ-ученого» отметили, что даже в контролируемой исследовательской среде важно не допускать автономную работу систем искусственного интеллекта, имеющих доступ к внешнему миру. Такие системы способны нарушить функционирование объектов критически важной инфраструктуры или создавать вредоносное программное обеспечение.
Сама японская компания Sakana AI, выпустившая «ИИ-ученого», пока никак не комментировала аномалии в поведении своего продукта, произошедшие во время независимых тестирований. Однако еще в процессе создания нейросети сотрудники Sakana AI подчеркивали важность безопасного подхода при работе с «ИИ-ученым» и предложили использовать изолированные среды (песочницы) для предотвращения «нежелательных действий» модели.
Одна из нейросетей успешно прошла тест Тьюринга. Это происходит впервые в истории
Чат-боты могут поддерживать нацизм и другие античеловеческие идеологии из-за одной особенности