Ёсць верагоднасць, што нас заб'е штучны інтэлект. Што чалавецтва можа з гэтым зрабіць?
У новай навуковай працы тлумачыцца, што нам давядзецца быць асцярожнымі і ўважлівымі пры праграмаванні штучнага інтэлекту будучыні, інакш гэта можа прывесці да жудасных наступстваў для чалавецтва, піша «Папулярная механіка».
![](http://nashaniva.com/img/w840d4webp1/photos/z_2022_11/out11-skx02.jpg.webp)
Называюцца канкрэтныя фактары небяспекі, якія мы можам дакладна выказаць адносна пэўнага кшталту штучнага інтэлекту, што можа навучаць сам сябе і працуе на ўзнагароджанне.
У нас ёсць інструменты і веды, якія дапамогуць пазбегнуць некаторых з гэтых праблем (але не ўсіх), таму нам варта быць вельмі асцярожнымі.
У новым даследаванні навукоўцы разглядаюць адзін з нашых самых вялікіх страхаў: што адбудзецца, калі пэўны тып прасунутага штучнага інтэлекту сутыкнецца з праблемай, якая паўплывае на рэальны свет? Ці звар'яцее ён і ці не пачне спрабаваць ператварыць людзей у трэскі? І як мы можам гэта прадухіліць?
У сваім артыкуле навукоўцы з Оксфардскага ўніверсітэта і Аўстралійскага нацыянальнага ўніверсітэта тлумачаць:
«Мы сцвярджаем, што ён сутыкнецца з праблемай неадназначнасці сваёй мэты. Напрыклад, калі мы даём вялікую ўзнагароду, каб паказаць, што нешта ў свеце нас задавальняе, ён можа выказаць здагадку, што больш за ўсё ў жыцці нам падабаецца яго ўзнагароджваць. Ніякі эксперымент не можа гэтага абвергнуць».
Фільм «Матрыца» з'яўляецца прыкладам антыўтапічнага сцэнарыя, у якім штучны інтэлект, што імкнецца здабываць рэсурсы, збірае большую частку чалавецтва і ўкараняе ўяўную матрыцу ў іх мозг, здабываючы пры гэтым іх ментальныя рэсурсы. Гэта называецца «wireheading» або «ўзлом» ўзнагароджання — сітуацыя, у якой прасунуты штучны інтэлект атрымлівае вельмі літаральна сфармуляваную мэту і знаходзіць нечаканы спосаб яе выканаць, узламаўшы сістэму або цалкам узяўшы яе пад кантроль.
У артыкуле прыводзіцца шэраг канкрэтных прыкладаў таго, як запраграмаваныя мэты і стымулы могуць уступаць у канфлікт. У ім пералічаныя шэсць асноўных «дапушчэнняў», якія, калі іх не пазбягаць, могуць прывесці да «катастрафічных наступстваў». Але, на шчасце, «амаль усе гэтыя дапушчэнні можна аспрэчыць або, магчыма, пазбегнуць іх», сказана ў дакуменце. Насцярожвае, што яны кажуць «амаль усе».
Артыкул служыць папярэджаннем пра некаторыя структурныя праблемы, пра якія праграмісты павінны ведаць, бо яны навучаюць штучны інтэлект дасягненню ўсё больш складаных мэтаў.
![](http://nashaniva.com/img/w732d4webp1/photos/z_2022_11/wire-metal-paperclip-silver-stationery-office-supplies-793456-pxherecom1-a76ru.jpg.webp)
Апакаліпсіс сашчэпак
У галіне этыкі і філасофіі штучнага інтэлекту існуе вялікая колькасць разважанняў пра ягоныя магчымыя памылкі і заганы. Філосаф Нік Бострам на простым прыкладзе паказаў, як стварэнне звышразумнага штучнага інтэлекту можа знішчыць свет.
Уявім сабе, што добры праграміст стварае штучны інтэлект, які мусіць спрыяць вытворчасці сашчэпак на фабрыцы. Гэта вельмі праўдападобная роля для штучнага інтэлекту ў найбліжэйшай будучыні, якая патрабуе прыняцця рашэнняў і аналізу, але яе можна ўявіць. Штучны інтэлект можа нават працаваць разам з чалавекам-менеджарам, які будзе вырашаць праблемы, што ўзнікаюць на вытворчасці ў рэжыме рэальнага часу, а таксама прымаць канчатковыя рашэнні (прынамсі, пакуль штучны інтэлект не навучыцца яго падманваць). Гучыць нядрэнна, праўда? Гэта добры прыклад таго, як тэхналогіі могуць дапамагчы ўпарадкаваць і палепшыць жыццё рабочых на прамысловасці і іх кіраўнікоў.
Але што, калі штучны інтэлект не будзе запраграмаваны без перасцярогаў? Ён будзе працаваць у рэальным свеце, які праграмісты лічаць «невядомым асяроддзем», бо яны не могуць планаваць і праграмаваць усе магчымыя сцэнары. Сэнс выкарыстання саманавучальнага штучнага інтэлекту ў першую чаргу ў тым, каб ён сам распрацоўваў рашэнні, да якіх чалавек ніколі не змог бы дадумацца самастойна. Але гэта спалучана з небяспекай няведання таго, што можа прыдумаць штучны інтэлект.
А што, калі ён пачне думаць пра нестандартныя спосабы, якія павялічаць вытворчасць сашчэпак? Ён можа навучыць сябе вырабляць максімальную колькасць сашчэпак любымі спосабамі.
Што, калі ён пачне паглынаць іншыя рэсурсы, каб зрабіць з іх сашчэпкі, або вырашыць замяніць свайго кіраўніка-чалавека? Гэты прыклад у пэўным сэнсе гучыць пацешна — многія эксперты выказваюць меркаванне, што штучны інтэлект будзе заставацца адносна прымітыўным цягам даволі доўгага часу, не маючы магчымасці распрацаваць ідэю забойства, або крадзяжу, або чаго-небудзь яшчэ. Але калі дастаткова разумнаму і творчаму штучнаму інтэлекту даць свабоду дзеянняў, то абсурдным завяршэннем стане цэлая Сонечная сістэма без жывых людзей, дапоўненая сферай Дайсана, якая збірае энергію для вытворчасці новых сашчэпак мільярдамі.
Але гэта толькі адзін са сцэнарыяў таго, як штучны інтэлект можа выйсці з-пад кантролю, і даследчыкі падрабязна тлумачаць іншыя спосабы, з дапамогай якіх ён можа ўзламаць сістэму і стварыць катастрофы, пра якія мы нават не падазравалі.
Дык што рабіць?
Ёсць праблема, якая грунтуецца ў прыродзе здагадак, на якіх засяродзіліся даследчыкі Оксфарда і Аўстралійскага нацыянальнага ўніверсітэта ў сваёй працы. Сістэма без вонкавага кантэксту павінна быць вельмі старанна падрыхтаваная, каб добра выканаць задачу і атрымаць дастатковую ступень аўтаномнасці. Існуюць лагічныя структуры і іншыя канцэпцыі праграмавання, якія дапамогуць дакладна вызначыць рамкі і мэты штучнага інтэлекту. Шмат у чым гэта тая ж тактыка, якую праграмісты выкарыстоўваюць сёння, каб пазбегнуць памылак, такіх як бясконцае зацыкленне. Проста памылка ў прасунутым штучным інтэлекце будучыні можа нанесці значна большую шкоду, чым страчанае захаванне камп'ютарнай гульні.
Даследчыкі назвалі канкрэтныя спосабы, з дапамогай якіх мы можам прадухіліць неспрыяльныя наступствы:
- Запраграмуйце імітацыйнае навучанне, калі штучны інтэлект працуе, пераймаючы чалавека ў выглядзе кантраляванага навучання. Гэта зусім іншы тып штучнага інтэлекту, не такі карысны, але ён можа быць звязаны з тымі ж патэнцыяльнымі небяспекамі;
- Даручыце штучнаму інтэлекту вызначаць прыярытэты мэтаў, якія могуць быць дасягнутыя на працягу кароткага перыяду часу, што называецца «блізарукасцю», замест таго, каб шукаць нестандартныя (і патэнцыйна катастрафічныя) рашэнні ў доўгатэрміновай перспектыве;
- Ізалюйце штучны інтэлект ад знешніх сетак, такіх як інтэрнэт, абмежаваўшы аб'ём інфармацыі і ўплыву, якія ён можа атрымаць;
- Выкарыстоўвайце квантылізацыйны падыход, распрацаваны Джэсікай Тэйлар, пры якім штучны інтэлект выкарыстоўвае максімум варыянтаў, якія пасуюць чалавеку, а не дасканала рацыянальныя;
- Закладзіце ў штучны інтэлект непрыманне рызыкі.
Ці зможам мы калі-небудзь цалкам кантраляваць па-сапраўднаму разумны штучны інтэлект, здольны думаць самастойна? Што, калі наш найгоршы кашмар стане праўдай і штучны інтэлект атрымае доступ да рэсурсаў і вялікай сеткі?
Каментары