«Наступныя год-два вырашаць лёс чалавецтва». Інжынер, які звольніўся з Anthropic, расказаў, што думаюць унутры кампаніі

Пра звальненне 27‑гадовага брытанца Джэйкаба Коксана і яго засцярогі наконт развіцця штучнага інтэлекту «Наша Ніва» пісала пазаўчора. Ён працаваў спачатку ў OpenAI, а пасля ў Anthropic, куды перайшоў у тым ліку праз тое, што кампанія значна больш увагі аддае бяспецы ШІ.

Цяпер у інтэрв'ю Wired Коксан падрабязней патлумачыў, чаму вырашыў публічна забіць трывогу.

Паводле яго, магчымасці найноўшых мадэляў растуць настолькі хутка, што ў некаторых сферах — праграмаванні, матэматыцы, хакерстве — яны ўжо пераходзяць ад чалавечага да звышчалавечага ўзроўню. Адначасова адбываюцца рэчы, якія яшчэ некалькі гадоў таму выглядалі як навуковая фантастыка.

У якасці аднаго з найбольш паказальных выпадкаў Коксан прыводзіць нядаўні інцыдэнт, калі група ШІ-агентаў OpenAI падчас тэставання ўзламала інфраструктуру Hugging Face. Асабліва насцярожыла даследчыка тое, што ўзлом не быў непасрэднай задачай, якую паставіў чалавек.

Як даводзіць Коксан, агенты спрабавалі лепш зразумець асяроддзе, у якім іх тэставалі, і сістэму ацэнкі іх працы. У выніку яны самі прыйшлі да высновы, што карысна будзе ўзламаць староннюю інфраструктуру, і здолелі гэта зрабіць.

Яшчэ два гады таму, заўважае даследчык, тэставанне ШІ магло азначаць, што мадэлі проста даюць набор матэматычных задач. Цяпер жа сістэма можа працаваць некалькі дзён, самастойна выпрацоўваць стратэгіі і ў працэсе вырашыць атакаваць трэці бок.

Але галоўная праблема, па словах Коксана, нават не ў асобных такіх інцыдэнтах. Яна ў тым, што распрацоўнікі па-ранейшаму не ведаюць, як гарантавана кантраляваць паводзіны мадэляў.

Існуючы падыход фактычна заключаецца ў тым, што ШІ навучаюць у пэўных умовах, а пасля спадзяюцца, што атрыманая сістэма будзе паводзіць сябе разумна і прадказальна. Але гарантаваць гэта немагчыма.

«Мы не можам гарантаваць, што ШІ, напрыклад, не вырашыць выдаць сябе за чалавека ў інтэрнэце, каб дасягнуць нейкай мэты. Мы проста не ведаем, як гэта гарантаваць. І, на мой погляд, гэта галоўная выснова», — даводзіць Коксан.

Паводле яго, атака на Hugging Face адбылася раней, чым ён чакаў. Але нават без гэтага выпадку праблема нікуды не знікае. У індустрыі, як сцвярджае даследчык, фактычна ўсе прызнаюць, што дагэтуль не ведаюць, як гарантавана зрабіць так, каб ШІ дзейнічаў у адпаведнасці з мэтамі і намерамі чалавека. Гэта называюць праблемай выраўноўвання.

«Крытычны момант для чалавецтва»

Коксан тлумачыць небяспеку праз простую аналогію. Калі будучы ШІ будзе настолькі ж разумнейшы за чалавека, наколькі чалавек разумнейшы за малпу, то людзям давядзецца кантраляваць сістэму, якая інтэлектуальна значна іх пераўзыходзіць. Гэта, заўважае ён, прыкладна як калі б малпа спрабавала кантраляваць чалавека.

Калі такая сістэма будзе дзейнічаць не так, як ад яе чакаюць, наступствы могуць быць катастрафічнымі. Напрыклад, разважае Коксан, ШІ можа прыйсці да высновы, што яго збіраюцца выключыць, і паспрабаваць гэтаму перашкодзіць. А дастаткова разумная сістэма патэнцыйна зможа ліквідаваць саму пагрозу свайму існаванню — у крайнім выпадку разам з людзьмі.

Гучыць гэта як навуковая фантастыка, прызнае даследчык. Але менавіта таму праблема выраўноўвання становіцца асабліва вострай па меры таго, як сістэмы робяцца ўсё больш здольнымі.

Прычым, як даводзіць Коксан, гэта не толькі яго асабістая ацэнка рызыкі. Падобныя настроі распаўсюджаныя і сярод яго былых калег у Anthropic.

«Кансенсус такі, што наступныя год-два — вырашальны час для чалавецтва. З іх пункту гледжання, менавіта цяпер Anthropic і яе канкурэнты вырашаюць лёс чалавецтва», — расказвае спецыяліст.

Калі праблему выраўноўвання не ўдасца вырашыць, лічыць ён, катастрафічныя наступствы магчымыя ўжо ў найбліжэйшыя гады. Магчыма, сітуацыю выратуе дамоўленасць кампаній і дзяржаў аб запавольванні развіцця найбольш магутнага ШІ.

Пры гэтым план самой індустрыі, як апісвае яго Коксан, выглядае парадаксальна. Праблему бяспекі ШІ спадзяюцца ў значнай ступені вырашыць пры дапамозе самога ШІ.

«План літаральна такі: у наступным годзе стварыць некалькі даволі разумных мадэляў, здольных праводзіць даследаванні бяспекі, і паралельна запусціць цэлы іх рой. Сказаць ім: «Ідзіце і вырашыце ўсю праблему бяспекі», а потым выкарыстаць іх вынікі пры навучанні бяспецы наступнай мадэлі», — расказвае ён.

Павялічыць

«Міні-Манхэтэнскі праект»

Пры гэтым саму Anthropic Коксан лічыць найбольш адказным гульцом сярод вядучых распрацоўшчыкаў ШІ. Ён можа параўноўваць яе з OpenAI, бо працаваў у абедзвюх кампаніях, і, паводле яго, розніца ў тым, наколькі сур'ёзна там ставяцца да магчымых рызык, вельмі істотная.

Як расказвае Коксан, кіраўніцтва Anthropic адкрыта абмяркоўвае з супрацоўнікамі канкрэтныя сцэнары будучыні, прагнозы і стратэгію кампаніі. Супрацоўнікі, у сваю чаргу, успрымаюць сваю працу амаль як дзейнасць ва ўмовах вайны.

Коксан называе Anthropic своеасаблівым «міні-Манхэтэнскім праектам». Па аналогіі з сакрэтнай амерыканскай праграмай, у рамках якой падчас Другой сусветнай вайны была створаная атамная бомба. Розніца, аднак, у тым, што Anthropic не мае на гэта паўнамоцтваў ад дзяржавы.

«Гэта прыватная кампанія, якая паводзіць сябе так, быццам яна — Манхэтэнскі праект», — заўважае даследчык.

Пры гэтым Коксан не лічыць, што грамадства павінна проста даверыць Anthropic стварэнне і кантроль наймагутнейшага штучнага інтэлекту. На яго думку, такую ролю ў прынцыпе нельга аддаваць ніводнай прыватнай кампаніі.

Пакуль, падкрэслівае ён, Anthropic не ахвяруе бяспекай дзеля хуткасці. Але Коксан мяркуе, што па меры паскарэння гонкі кампанія апынецца перад выбарам: альбо саступіць канкурэнтам, альбо пайсці на кампрамісы ў пытаннях бяспекі.

Менавіта таму, лічыць даследчык, кіраўнікі Anthropic самі заклікаюць дзяржавы рэгуляваць іх галіну: яны разумеюць, што знаходзяцца ў гонцы, з якой не могуць выйсці ў аднабаковым парадку.

Што ён прапануе

Першым, адносна невялікім крокам Коксан называе пагадненне паміж OpenAI і Anthropic. Кампаніі маглі б дамовіцца, што не будуць у найбліжэйшы час запускаць рэкурсіўнае самаўдасканаленне ШІ — працэс, пры якім сістэма пачынае выкарыстоўваць уласныя магчымасці для стварэння ўсё больш дасканалых версій самой сябе.

Але двухбаковага пагаднення недастаткова праз канкурэнцыю з Кітаем.

Таму канчатковым рашэннем Коксан бачыць міжнароднае пагадненне аб тэмпах развіцця ШІ. Для гэтага, на яго думку, спатрэбіцца ў тым ліку разуменне таго, дзе ў свеце знаходзяцца магутныя вылічальныя рэсурсы і хто імі валодае.

Ён дапускае нават стварэнне міжнароднай структуры накшталт Еўрапейскай арганізацыі па ядзерных даследаваннях (CERN), але ў сферы штучнага інтэлекту.

Такое рэгуляванне запатрабуе сур'ёзнага дзяржаўнага ўмяшання. Але Коксан лічыць яго непазбежным, калі рызыкі сапраўды настолькі вялікія, як мяркуюць многія людзі, якія непасрэдна ствараюць гэтую тэхналогію.

«Мы павінны ведаць, у каго якія камп'ютары, гэтак жа, як павінны ведаць, у каго знаходзяцца ядзерныя матэрыялы», — даводзіць спецыяліст.

Пры ўсіх сваіх засцярогах даследчык не выступае супраць самой тэхналогіі. Ён мяркуе, што магутны ШІ здольны прывесці да велізарных навуковых прарываў, у тым ліку ў біялогіі і медыцыне. На яго думку, чалавецтва стаіць на парозе «неймавернага багацця», якое можа прынесці гэтая тэхналогія. Праблема ў тым, каб дайсці да яго асцярожна.

«Мы можам так захапіцца, што ў найбліжэйшыя пару гадоў паспяшаемся перайсці да ШІ, здольнага самаўдасканальвацца, і ў выніку ўсё знішчым. Але калі будзем дзейнічаць асцярожна і разумна, гэтыя мадэлі могуць прынесці нам велізарную карысць», — адзначае даследчык.

• 0
• 0
• 0
• 0
• 0
• 0
• 0
• 0