«Мы не ведаем, як дабіцца алайнмэнту такіх сістэм». Размовы пра пагрозы ШІ — змова OpenAI, Google і Anthropic?

Максім Маханькоў: Матывы запаволіць развіццё штучнага інтэлекту — два, і гэта не ўратаванне чалавецтва

«Кіраўнікі амерыканскіх топавых кампаній, якія заклікаюць прытармазіць, запаволіць развіццё штучнага інтэлекту, каб «уратаваць чалавецтва ад экзістэнцыйнай пагрозы», кіруюцца ў сваёй дзейнасці зараз двума асноўнымі матывамі.

1. Яны спрабуюць несумленнымі, нярыначнамі метадамі захаваць сваю перавагу на рынку, закрыўшы доступ для маладых кампаній і стартапаў. Перакрыць кісларод канкурэнтам. Карацей, стварыць звычайны картэль / алігаполію.

Прыкладна тое самае, што рабіў летась Ілан Маск, калі выступаў за адмену дзяржаўных субсідый для «зялёнага» транспарту. Пры тым, што сам Маск з'яўляецца адным з кіраўнікоў найбуйнешага «зялёнага» бізнэсу («Тэсла») і сам раней атрымліваў велізарныя субсідыі ад амерыканскага ўрада. І тут таксама рэальныя матывы (імкненне заваяваць манаполію са сваёй «Тэслай» на рынку зарадных станцый) падмяняліся рыторыкай пра «павелічэнне эфектыўнасці і скарачэнне выдаткаў бюджэту».

2. У інвестараў усё больш і больш узнікае пытанняў, чаму тая «магія», чаму гэты «аракул», які ім усырычылі пад назвай «штучнага інтэлекту», не дае тых хуткіх вынікаў у скарачэнні выдаткаў, аўтаматызацыі бізнэс-працэсаў. Інвестарам абяцалі магічную чорную скрынку, якая заменіць праграмістаў і прадаўцоў, скароціць выдаткі і ўсё спросціць. А гэтая гадасць (калі яна не пад кантролем нармальнага інжынера) не проста піша гаўняны, немаштабаваны, неабслугоўваны код, але і патрабуе яшчэ новых узроўняў абстракцый, кампетэнцый, складанейшых працэсаў і большых выдаткаў.

Уся інфармацыйная кампанія пра тое, як мы «спецыяльна запаволілі неўтаймаваны штучны інтэлект, каб ён не выйшаў з-пад кантролю» накіраваная на тое, каб апраўдацца перад інвестарамі, чаму іх мільярдныя ўліванні не акупляюцца і не акупяцца ў агляднай будучыні. Таму што яны, тэхнаалігапалісты, выдатна разумеюць, што рэальныя здольнасці так званага «штучнага інтэлекту» на аснове вялікіх моўных мадэляў ужо ўтыкаюцца ў свае межы, у непераадольнае асімптатычнае плато (хто б і што вам не казаў пра «сінгулярнасць» і іншыя прыгожыя словы). Гэты выхад на плато (пры тым, што інвестарам усырычылі «сінгулярнасць») прасцей за ўсё патлумачыць тым, што «мы спецыяльна стрымліваем яго».

Вось і ўсё», — мяркуе Максім Маханькоў.

Андрусь Храпавіцкі: Улічвайце, што публічна даступныя мадэлі — гэта не самыя магутныя мадэлі францір-лэбаў

«Думкі Максіма Маханькова падзяляюць многія. У тым ліку ў пэўнай ступені Трамп, згодна з ягонымі нядаўнімі пастамі ў Truth Social.

Але ёсць і шмат іншых варыяцый, у тым ліку такіх, дзе перасцярогі Дарыё [Амадэі, кіраўніка Anthropic], Сэма [Альтмана, кіраўніка OpenAI] ды іншых лідараў індустрыі могуць быць абгрунтаванымі.

Вось для прыкладу: найноўшыя публічна даступныя мадэлі (Fable 5.1, GPT 6‑Astra і некаторыя іншыя) ужо дастаткова магутныя і могуць нарабіць праблем, калі раптам guardrails супраць misuse, якія францір-лэбы выстаўляюць, з той ці іншай прычыны не спрацавалі б. Былі ўжо выпадкі jailbreaks і г.д.

Так, сапраўды, можна спекуляваць пра плато магчымасцяў LLM-аў. Але тое, што мы цяпер маем на франціры, гэта я б сказаў не зусім LLM-ы. Сучасныя францір-мадэлі правільней называць reasoning models. Архітэктура трансформераў паступова трансфармуецца (соры за каламбур). Як хтосьці з лэбаў пажартаваў, мы цяпер маем так бы мовіць квазі-трансформеры. Так, яны ўсё яшчэ даволі блізкія да арыгіналу. Але паступова архітэктурныя рашэнні змяняюцца і ўдасканальваюцца.

Можна сцвердзіць, што найбольшы прырост у плане здольнасцяў новых мадэляў даюць хутчэй не архітэктурныя змены, а праца з данымі, на якіх мадэлі трэніруюцца. Як кажуць ангельцы: We are what we eat — «мы тое, што мы ямо». Тое ж самае, можна сказаць і пра мадэлі ШІ.

Вельмі важны аспект тут вось які. У францірных лэбах (і не толькі ў іх) ужо прыйшла эпоха рэкурсіўнага самаўдасканальвання мадэляў. Папярэдняя мадэль працуе над удасканальваннем працэсу трэніроўкі наступнай. То-бок фактычна папярэдняя мадэль як бы працуе над сваімі «нашчадкамі». Да таго ж мадэлі цяпер змяняюць harnesses, перапісваюць свой кантэкст, кіруюць кучамі агентаў і субагентаў. Гэтыя працэсы збольшага аўтаматызаваныя. Іх вельмі складана маніторыць. Можна вельмі проста штосьці прапусціць і нарабіць бяды.

А цяпер уявім, што a swarm of agents хакне якую-небудзь фінансавую структуру, нанёсшы шкоду на мільярды даляраў ці яшчэ нешта падобнае. Францір-лэбы проста засудзяць да банкруцтва, калі не дойдзе да арыштаў.

У пэўным сэнсе знешні маніторынг — гэта можа быць у тым ліку спробай абараніцца ад такіх судовых спраў. Кшталту староннія кампаніі / інстытуцыі маніторылі нашыя працэсы і нічога не заўважылі. 

Рэкурсіўнае самаўдасканаленне, якое мы маем цяпер, гэта слабая версія гэтага канцэпту. Сучасныя мадэлі пасля трэніроўкі маюць замарожаны стан вагаў. Але ідуць даследаванні і ў плане continual learning — пастаяннага навучання, дзе мадэль самаўдасканальваецца. Гэта вельмі складаны і патэнцыйна вельмі небяспечны кірунак. Уявім, што ў гэтым кірунку адбыўся прарыў. Маніторынг і алайнмэнт такіх сістэмаў стаў бы яшчэ больш складаным. Мы не ведаем, як дабіцца алайнмэнту такіх сістэмаў.

І яшчэ адно. Рэальнасць такая, што публічна даступныя мадэлі — гэта не самыя магутныя мадэлі францір-лэбаў. Погляд знутры можа мець крыху іншую оптыку», — мяркуе Андрусь Храпавіцкі.

• 9
• 0
• 2
• 3
• 3
• 0
• 0
• 0