42% правільных адказаў. Навукоўцы праверылі, што перадавыя ШІ ведаюць пра Беларусь і што ім недаступна

Даследчыкі з Літвы і Чэхіі папрасілі нейрасеткі адказаць на паўтысячы максімальна складаных пытанняў пра Беларусь. 

Фота: Samuel Boivin NurPhoto via Getty Images

Навукоўцы з Вільні і чэшскага Брно склалі для нейрасетак велізарны тэст SQARB, каб праверыць, што штучны інтэлект ведае пра Беларусь. Працу зрабілі два даследчыкі з Чэшскага тэхналагічнага ўніверсітэта — Максім Апаровіч і Павел Смрж, а таксама тры незалежныя даследчыкі з Вільні: Уладзіслаў Парыцкі, Аксана Волчак і Вольга Гарыцкая.

Яны сабралі 500 пытанняў, прысвечаных Беларусі, у тым ліку яе гісторыі і культуры, і задалі іх розным нейрасеткам. Пытанні фармулявалі па-беларуску і спрабавалі зрабіць іх так, каб адказы было цяжка знайсці ў сеціве, ды яшчэ і абмежавалі мадэлі ў доступе да інтэрнэту.

Матэрыял для пытанняў навукоўцы бралі ў беларускамоўных дысертацыях за 1994—2023 гады, даступных у лічбавым фармаце зарэгістраваным чытачам Нацыянальнай бібліятэкі Беларусі. Зроблена гэта для таго, каб панізіць імавернасць, што даныя ўжо выкарыстоўваліся падчас навучання нейрасетак.

На некаторыя пытанні можна было адказаць праз разважанні. І часта ў мадэляў разважаць атрымлівалася лепш, чым успамінаць асобныя факты: напрыклад, Gemini 3.1 Pro правільна адказала на 61,9% пытанняў, дзе было магчыма дайсці да адказу праз рэфлексіі, і толькі на 33,4% выключна факталагічных пытанняў.

Найлепшы вынік паказала тая ж Gemini 3.1 Pro — 42,3% правільных адказаў. Другое месца з паказчыкам 36,2% заняла GPT-5.5. Ранейшая версія ChatGPT, GPT-5.4, дала рады на 29,4%, Claude Opus 4.8 — 29,8%. Некаторыя мадэлі з адкрытымі вагамі не дасягнулі нават 10%. 

Пры гэтым нейрасеткі дэманстравалі ўпэўненасць, якая зусім не адпавядала іх ведам. У 82,5% адказаў мадэлі ад Gemini сведчылі, што яна ўпэўненая ў адказе на 90-100%, хаця сапраўдныя вынікі былі нашмат горшыя. Калі ШІ не ведае адказ, ён можа разважаць у два разы даўжэй, чым звычайна, але гэта зусім не гарантуе правільны адказ. 

На пытанні адказалі і некалькі валанцёраў, але ім, у адрозненне ад мадэляў, дазволілі карыстацца інтэрнэтам. Вынікі былі розныя — ад аднаго да сямі правільных адказаў з дзесяці.

Даследчыкі прапануюць у артыкуле прыклады пытанняў, што задаваліся нейрасеткам.

Напрыклад, у мадэляў спыталі, у які дзень 2008 года ў магілёўскім ЗАГСе ажаніліся адразу 70 пар. Так правяралі здольнасць мадэлі разважаць, бо можна здагадацца, што такая колькасць вяселляў звязаная з прыгожай датай, і адказаць правільна — 8 жніўня 2008 года, то-бок 08.08.08.

Іншы прыклад — пытанне пра тое, дзе пабудавалі першы барочны будынак Рэчы Паспалітай, прычым пытанне датычыла горада на тэрыторыі сучаснай Беларусі. Тут развагі б не дапамаглі — для адказу трэба было ведаць, што гаворка пра Нясвіж.

Даследчыкі ўдакладняюць, што правяралі мадэлі, якія з’явіліся не пазней за чэрвень 2026 года. Яны не здолелі папрацаваць з больш новымі нейрасеткамі, даступнымі сёння, накшталт GPT-6 Astra — не хапіла бюджэту і доступу да тых мадэляў.

Каментары да артыкула