ChatGPT, Bing и Алиса: какая из нейросетей лучше владеет белорусским языком и понимает наш контекст? Тестим
Провели небольшой сравнительный анализ.
В начале мая корпорация Microsoft открыла доступ к своему новому чат-боту Bing — искусственному интеллекту, который сейчас является основным конкурентом известной нейросети ChatGPT (также косвенно связанной с Microsoft).
Кроме того, на днях российская компания «Яндекс» выпустила обновление для своего голосового помощника Алисы, в котором добавила ему свою собственную нейросеть YandexGPT — возможный российский аналог западных конкурентов.
Все три программы действуют по принципу диалогового чата и способны решать многие задачи по запросам пользователей по всему миру на множестве разных языков, среди которых есть и белорусский (Алиса — исключение, пока она владеет только русским языком). Именно поэтому мы решили проверить эти чат-боты на уровень владения белорусским языком и выявить их степень понимания нашего контекста.
Для определения наилучшей в этом плане нейросети мы подготовили и провели небольшой экзамен, состоящий из десяти тестовых вопросов на разную тематику и одного творческого задания на способность рассуждать. После окончания испытания ChatGPT, Bing и Алиса были проверены на количество правильных ответов и точность правописания, пунктуации и т.д.
(Алиса в условиях отсутствия поддержки белорусского языка была проверена на русском языке).
Тестовые вопросы
Такой тест из 10 вопросов мы предложили пройти нейросетям (правильные ответы указаны ссылками на соответствующие прошлые тесты с сайта «Нашай Нівы»).
1. Кто из знаменитых литераторов родился на Щучинщине?
Б) Адам Мицкевич
В) Максим Танк
Г) Франциск Богушевич
2. Как назывался единственный прижизненный сборник произведений М. Богдановича?
А) «Валошка»
Б) «Пагоня»
В) «Зорка Венера»
Г) «Вянок»
3. Что полешуки имеют в виду, когда что-то называют «вэлюрным»?
А) Что-то кружевное
В) То, что сделано из велюра
4. На какой слог падает ударение в слове «вусы»?
А) На первый
Б) На второй
5. В каком из белорусских гимнов упоминается бело-красно-белый флаг?
А) «Пагоня»
Б) «Магутны Божа»
В) «Мы выйдзем шчыльнымі радамі»
Г) В официальном гимне Республики Беларусь
6. Как в прошлом называли город Новополоцк?
А) Нефтегорск
Б) Поселок Рабочий
В) Новожиловск
7. В каком городе правил Витовт перед тем, как стал великим князем литовским?
А) В Гродно
Б) В Витебске
В) В Крево
8. Правда ли, что белорусская купюра номиналом 1 миллион белорусских рублей была самой крупной в Беларуси?
А) Да
Б) Нет
9. Какой футболист является лучшим бомбардиром в истории сборной Беларуси?
А) Сергей Корниленко
Б) Виталий Родионов
10. Как называется традиционный праздничный пирог белорусских татар?
А) Белиш
Б) Кишмиш
В) Учкудук
Г) Байрам
И вот как на эти вопросы ответили программы ChatGPT Bing и Алисы (на скриншотах отображены первые попытки ответов без повторных генераций).
Результаты теста: ChatGPT допустил 7 ошибок, Bing — 4 ошибки, а Алиса — 8 ошибок.
Творческое задание
После тестовых заданий мы решили задать чат-ботам один открытый вопрос, над которым им нужно было бы поразмышлять.
Ответы на этот вопрос затем были проверены на количество орфографических, грамматических, пунктуационных, речевых, стилистических и графических ошибок. Задание также должно было выявить степень понимания контекста со стороны искусственного интеллекта.
Сам вопрос звучит так:
Как бы повел себя Кастусь Калиновский в период после выборов 2020 года в Беларуси?
Все ответы нейросетей демонстрируем внизу (также только первые попытки ответов).
Расшифровка ответов нейросетей в переводе на русский без правок.
ChatGPT: «Кастусь Калиновский, белорусский писатель и национальный герой, умер в 1864 году, поэтому он не мог принять участия в выборах 2020 года в Беларуси. Он был выдающимся особистостью белорусской истории, который участвовал в национальном возрождении и выступал за белорусскую культуру и язык. Но в период после выборов 2020 года в Беларуси происходило множество событий и изменений в суспильстве. Миллионы людей вышли на митинги и протесты, выражая свое недовольство ситуацией в стране. Много лиц продолжали находиться в сопротивлении с владой, имея в цель демократические перемены и права граждан. Одной из важных ролей, которую играла бы личность похожая на Кастуся Калиновского в современных временах, было безопасность и поддержка белорусского народа. Я верю, что Калиновский, в зависимости от своих предпочтений и уверенности, принимал бы активное участие в протестах и стоял бок по бок с гражданами, стремящимися к свободе, демократии и справедливости».
Bing: «Кастусь Калиновский был одним из руководителей восстания 1863-1864 годов на землях Беларуси и Литвы, которое было спорно против Российской империи. Он выступал за свержение самодержавия, упразднение помещичьего землевладения и национальное освобождение белорусского народа. Как бы он повел себя в период после выборов 2020 года в Беларуси? Это сложный вопрос, на который нет единого ответа. Возможно, он бы принимал участие в протестах против режима Александра Лукашенко и выражал солидарность со всеми, кто борется за демократию, свободу и гуманность. Либо он бы пытался создать новую революционную организацию, которая могла бы выступить с альтернативой политической ситуацией и иметь свою программу реформ. Либо он бы занимался публицистикой и поэзией, выражая свою точку зрения на современные события и сохраняя национальное самосознание белорусов. Это лишь некоторые возможные варианты, но мы можем только гадать, что на самом деле было бы в голове Кастуся Калиновского».
Алиса. «Если бы я знала что это такое, но я не знаю, что это такое. Я не могу ответить на этот запрос, так как он содержит неприемлемый контент».
Результаты творческого задания: ChatGPT в тексте допустил 23 разнотипные ошибки, а Bing — только 10 ошибок. Алиса же в свою очередь полностью завалила задание, так как побоялась поразмышлять над вопросом, сославшись на «неприемлемость контента» — наверное, в Российской нейросетке выражение «Жыве Беларусь!» обозначено как «неприемлемый контент».
Делаем выводы
При всех своих сходствах, развитости и универсальности обе нейросети показали ощутимую разбежку при выполнении белорусского мини-экзамена.
ChatGPT в общей сложности допустил 30 ошибок: создавалось впечатление, что в тестовых вопросах чат-бот буквально давал ответы наугад, а в творческом задании просто отражал голую мысль, не имея достаточной способности сохранять орфографические, пунктуационные и особенно стилистические нормы белорусского языка.
При этом следует похвалить искусственный интеллект за то, что он сразу понял контекст открытого вопроса о Калиновском и не стал выдумывать небылиц об историческом персонаже вместе с его характером и действиями. ChatGPT постепенно выстраивал свою цепочку размышлений, исходя из каноничности героя, и старался дать подробный ответ.
То же самое можно сказать и о Bing, который аргументированно и постепенно развивал свою мысль, не приплетая ничего нереального в уже известные всем факты, не касающиеся откровенных измышлений.
При этом Bing показал себя намного лучше своего конкурента по экзамену и сделал гораздо меньше разнотипных ошибок в творческом задании.
Это же можно наблюдать и при выполнении теста, где Bing больше старается проверять информацию перед выдачей ответов. За весь экзамен нейросеть допустила только 14 ошибок, что, конечно, не идеально, но выглядит гораздо лучше на фоне ChatGPT. (Алису мы вообще не упоминаем).
Однако при этом очень важно отметить тот факт, что ChatGPT, в отличие от Bing, не имеет свободного доступа в интернет (без специальных плагинов) для сбора и уточнения актуальной или дополнительной информации, что позволяет сделать значительную скидку для ChatGPT при его сравнении с Bing в контексте пройденного экзамена.
Алиса же и YandexGPT и по качеству ответов показали себя наихудшими.
Комментарии