Этот молодой белорус стоял у истоков ChatGPT. Вот что он сделал
Если бы не гомельчанин Дмитрий Богданов, ChatGPT и другие нейросети могли бы выглядеть совершенно иначе. Рассказываем, как идеи его работы повлияли на технологии, известные во всем мире.
Дмитрий Богданов. Фото: Dzmitry Bahdanau / LinkedIn
Ещё когда Дмитрий Богданов был подростком, он показал, что имеет большой талант к программированию. В 2009‑м парень окончил лицей БГУ и поехал на международную олимпиаду по информатике в болгарском Пловдиве, где занял 13‑е место из 301 участника.
Далее парень изучал прикладную математику в БГУ, а заодно продолжил участвовать в соревнованиях. В 2012 году Богданов в составе команды из трёх человек поехал на престижный студенческий чемпионат по программированию ACM-ICPC. В мировом финале команда белорусов заняла пятое место и обошла даже конкурентов из Гарварда — те оказались седьмыми.
После БГУ гомельчанин поступил в немецкий университет Якобса, где получал магистерскую степень, и в 2014‑м поехал на стажировку в Монреальский университет. Там он познакомился с Йошуа Бенжио — канадским информатиком и одним из «крёстных отцов» искусственного интеллекта, который ещё в нулевые разрабатывал первые нейросети.
В 2014‑м вместе с Бенжио и Кёнхёном Чо, аспирантом Монреальского университета, Богданов написал статью, через которую и попал в историю нейросетей, причём Дмитрий в списке авторов указан первым. Та статья вышла под названием «Нейронный машинный перевод с совместным обучением выравниванию и переводу».
Что же придумал Богданов с коллегами? Речь о том, чтобы научить компьютеры по-другому воспринимать текст.
Представьте, что вам нужно запомнить длинное предложение. Если вы попытаетесь запомнить в нём каждое слово по отдельности, вероятно, часть слов вы потеряете и не сможете потом восстановить. Да ещё есть риск, что в потерянной вами части предложения будет какая-то важная по смыслу информация. Совсем другая история, если вы попытаетесь понять смысл предложения и связи между словами. Тогда когда нужно будет восстановить предложение, то вы сделаете это с учётом тех слов, которые важны в непосредственном контексте.
Примерно этому Богданов с коллегами и научили нейросети: определять, на какие части оригинального предложения нужно обратить большее внимание.
Помните машинный перевод в 2000‑е и начало 2010-х? Тогда Google Translate и другие подобные программы могли путать значения слов, терять связи между частями длинных предложений или даже менять смысл высказываний. Но в середине 2010‑х многое изменилось: Google Translate начали переводить на нейросетевой перевод, и, по данным Google, качество перевода со временем улучшилось на 55-85% по сравнению с прошлой технологией. В объяснении перехода на такой перевод Google ссылается, в том числе на статью Богданова, Бенжио и Чо.
Но ведь последствия той статьи вышли далеко за пределы машинного перевода, для которого механизм Богданова и разрабатывали. В 2017‑м появились трансформеры — нейросети, которые обрабатывают информацию во многом по принципам усовершенствованных механизмов внимания. И как раз на трансформерах основаны современные языковые модели, в том числе и ChatGPT.
Со времён Богданова, однако, тот механизм внимания значительно улучшили, и это понятно — ведь применяют его совсем не только в машинном переводе.
Но и у ChatGPT, и у Богданова есть одна общая идея — нейросеть сама выбирает, какие слова в тексте самые важные. ChatGPT работает по принципу, при котором программа сама задаёт словам много вопросов и благодаря обучению знает, какие связи между ними нужно учитывать.
В 2020‑м Дмитрий Богданов получил докторскую степень в Монреале, а в 2021‑м возглавил исследовательскую программу Conversational Assistant в стартапе ServiceNow. Работал он в том числе над системами, способными писать программы и понимать человеческие инструкции.
А с 2025‑го Богданов — участник команды основателей крупного стартапа Periodic Labs, где пытаются объединить ИИ с настоящими научными экспериментами. При этом он является приглашённым профессором в канадском Университете Макгилла, где работает с молодыми исследователями ИИ.
Вклад белоруса в развитие ИИ значителен, но было бы неправильно говорить, что без него мы бы не имели ChatGPT и хороших машинных переводчиков. Если бы не Богданов, Бенжио и Чо, к тем же решениям могли бы прийти и другие учёные. Но мир технологий, так укоренившихся в нынешнюю жизнь, тогда мог бы быть иным.