42% правильных ответов. Ученые проверили, что передовые ИИ знают о Беларуси и что им недоступно
Исследователи из Литвы и Чехии попросили нейросети ответить на полтысячи максимально сложных вопросов о Беларуси.
Фото: Samuel Boivin NurPhoto via Getty Images
Ученые из Вильнюса и чешского Брно составили для нейросетей огромный тест SQARB, чтобы проверить, что искусственный интеллект знает о Беларуси. Работу выполнили два исследователя из Чешского технологического университета — Максим Апарович и Павел Смрж, а также три независимых исследователя из Вильнюса: Владислав Парицкий, Оксана Волчек и Ольга Горицкая.
Они собрали 500 вопросов, посвященных Беларуси, включая ее историю и культуру, и задали их различным нейросетям. Вопросы формулировали по-белорусски и старались сделать их такими, чтобы ответы было трудно найти в сети, да еще и ограничили модели в доступе к интернету.
Материал для вопросов ученые брали из белорусскоязычных диссертаций за 1994—2023 годы, доступных в цифровом формате зарегистрированным читателям Национальной библиотеки Беларуси. Сделано это для того, чтобы снизить вероятность того, что данные уже использовались при обучении нейросетей.
На некоторые вопросы можно было ответить путем рассуждений. И часто моделям удавалось рассуждать лучше, чем вспоминать отдельные факты: например, Gemini 3.1 Pro правильно ответила на 61,9% вопросов, в которых можно было прийти к ответу путем размышлений, и только на 33,4% исключительно фактологических вопросов.
Наилучший результат показала та же Gemini 3.1 Pro — 42,3% правильных ответов. Второе место с показателем 36,2% заняла GPT-5.5. Предыдущая версия ChatGPT, GPT-5.4, справилась на 29,4%, Claude Opus 4.8 — 29,8%. Некоторые модели с открытыми весами не достигли даже 10%.
При этом нейросети демонстрировали уверенность, которая совершенно не соответствовала их знаниям. В 82,5% ответов модели от Gemini свидетельствовали, что она уверена в ответе на 90-100%, хотя настоящие результаты были намного хуже. Если ИИ не знает ответа, он может рассуждать в два раза дольше, чем обычно, но это вовсе не гарантирует правильный ответ.
На вопросы ответили и несколько волонтеров, но им, в отличие от моделей, разрешили пользоваться интернетом. Результаты были разные — от одного до семи правильных ответов из десяти.
Исследователи приводят в статье примеры вопросов, которые задавались нейросетям.
Например, у моделей спросили, в какой день 2008 года в могилевском ЗАГСе поженились сразу 70 пар. Так проверяли способность модели рассуждать, так как можно догадаться, что такое количество свадеб связано с красивой датой, и ответить правильно — 8 августа 2008 года, то есть 08.08.08.
Другой пример — вопрос о том, где построили первое барочное здание Речи Посполитой, причем вопрос касался города на территории современной Беларуси. Здесь рассуждения не помогли бы — для ответа нужно было знать, что речь идет о Несвиже.
Исследователи уточняют, что проверяли модели, которые появились не позднее июня 2026 года. Они не смогли поработать с более новыми нейросетями, доступными сегодня, наподобие GPT-6 Astra — не хватило бюджета и доступа к тем моделям.