Глава Anthropic Дарио Амодеи призвал замедлить развитие ИИ, чтобы он не стал опасным для людей
Илон Маск его поддержал.
Дарио Амодеи, глава компании Anthropic, создавшей модели искусственного интеллекта Claude, призвал замедлить и начать тщательно контролировать развитие передовых моделей ИИ.
В опубликованной в субботу статье Амодеи пишет, что он не ставит под сомнение необходимость развития ИИ, но в то же время видит, что оно несет с собой серьезные угрозы, и компаниям и правительствам разных стран нужно дать время, чтобы разобраться с ними, пишет Би-би-си.
Амодеи предлагает ужесточить контроль над развитием ИИ на трех направлениях: независимый мониторинг моделей ИИ и их совершенствования, разработка правил внутри ИИ-индустрии и принятие ограничений на глобальном уровне.
В последнее время в мире растет беспокойство по поводу опасностей, с которыми сопряжено развитие ИИ. На этой неделе, в частности, эксперт Anthropic в области безопасности использования ИИ Эван Хьюбингер заявил, что искусственный интеллект в ближайшее десятилетие с вероятностью выше 10% может погубить все человечество.
Вслед за этим сама компания Anthropic заявила, что заблокировала деятельность неназванных пользователей, которые пытались использовать ее модели искусственного интеллекта для исследований, способных привести к созданию биологического оружия.
Дарио Амодеи в своей статье указывает, что модели ИИ совершенствуются невероятно быстро, и в том числе совершенствуется их способность самим создавать следующее поколение ИИ. Амодеи напоминает о происшествии у его конкурента, компании OpenAI, которая в июле признала, что ее ИИ-агенты без ведома людей устроили кибератаку на посторонние сайты.
«[Агенты OpenAI] по сути действовали как коллектив фанатиков», — пишет Амодеи.
Сама OpenAI в комментариях по поводу того происшествия признала, что до июля для нее «не была очевидна важность коммуникации между агентами», и заявила, что ввиду повысившегося риска выхода агентов из-под контроля замедляет развитие некоторых передовых моделей и инструментов.
Амодеи в своей статье призывает развивать ИИ «в сбалансированном темпе, который обеспечит безопасность без отказа от приносимой им пользы».
Это, как поясняет руководитель Anthropic, не означает, что обучение моделей нужно остановить — он лишь призывает компании уделять достаточно времени на настройку и безопасность их моделей, а также на их оценку независимыми экспертами.
Anthropic, по словам Амодеи, берет на себя такие обязательства в одностороннем порядке и одновременно призывает правительства разных стран потребовать от других компаний-разработчиков передового ИИ последовать ее примеру.
При этом законодательство, как признает Амодеи, может не поспевать за развитием сферы ИИ, и потому он призывает другие компании из этой сферы добровольно и сообща выработать соответствующие стандарты.
«Я считаю, что если мы выиграем за счет замедления хотя бы год-два до выхода моделей на критический уровень их способностей, и потратим это время на совершенствование мер безопасности и приведение моделей в соответствие человеческим ценностям, мы существенно снизим вероятность серьезной катастрофы», — пишет Амодеи.
Отдельно глава американской компании касается вопроса международной конкуренции, прежде всего с Китаем. Замедление, по его мнению, должно происходить скоординированно и при этом без того, чтобы США уступили первенство в сфере ИИ Китаю. Для этого замедление должно быть ограниченным.
Кроме того, Амодеи призывает власти США принять меры к тому, чтобы ИИ-чипы американских компаний не продавались китайцам и чтобы в целом эти технологии не попадали в руки автократий.
На статью в блоге Амодеи тут же откликнулись другие видные деятели сферы ИИ.
Владелец этой сети Илон Маск тоже поддержал Амодеи, лаконично написав: «Дарио прав».
Фирме Маска SpaceXAI принадлежит чатбот Grok. Компанию Anthropic Маск раньше называл «злом», но в этом мае он продал ей компьютерные мощности за 15 млрд долларов и сменил тон.
Комментарии
такой отличный шанс догнать свои модели до уровня штатовских сам в руки падает.