Робот пишет сочинение на экзаменах

На следующем этапе письменного теста требуется написать сочинение объёмом в 600 слов, как вот это:

[Обсудите взлёты и падения морской торговли в Восточной и Юго-Восточной Азии XVII века...]

Как я уже ранее упомянула, наш робот берёт предложения из учебников и Википедии, комбинирует их и оптимизирует, создавая сочинение, ничего при этом не понимая. Но, что удивительно, его сочинение лучше, чем у большинства студентов!

А как насчёт математики?

Полностью автоматизированная машина по решению математических задач была мечтой с момента появления термина «искусственный интеллект», но она очень долгое время оставалась на уровне арифметики. В прошлом году мы наконец смогли успешно разработать систему, которая решала задачи доуниверситетского уровня, как вот эта. Исходная задача записана на японском, нам понадобилось научить робота 2 000 математических аксиом и 8 000 тысячам японских слов, чтобы он смог воспринимать задачи, написанные на естественном языке. И сейчас он переводит такие задачи в формулы, считываемые компьютером. Странно, но, думаю, сейчас он уже может их решать. Иди и реши. Да! В данный момент он производит символьные вычисления. Ещё более странно, но, наверное, для компьютера это самая забавная часть.

Теперь он выдаёт правильный ответ, хотя в его решении не под силу разобраться даже математикам. Как бы то ни было, в прошлом году наш робот попал в один процент лучших после письменного экзамена по математике на втором этапе.

Поступил ли он в Todai?

Нет, вопреки моим ожиданиям. Почему? Потому что он не понимает смыла того, что выдаёт. Сейчас я покажу его типичную ошибку при выполнении теста по английскому языку.

[Нейт: Мы почти в книжном магазине. Ещё несколько минут.
Сунил: Подожди. ______. Нейт:
Спасибо. Вечно такое случается... ]

Разговаривают двое. Для нас, кто понимает, о чём идёт речь...
(выберите вариант ответа для заданной выше ситуации в магазине)

[1. «Мы долго шли».
2. «Мы почти пришли».
3. «У тебя явно дорогие ботинки».
4. «У тебя развязался шнурок».]

Очевидно, что правильный ответ — под номером 4, так? Но Todai-робот выбирает ответ под номером 2, даже выучив 15 миллиардов английских предложений с применением технологий глубокого обучения. Хорошо. Теперь вам понятно, что я имела в виду, когда говорила: «Современный ИИ не читает и не понимает». Он только притворяется, что он это делает.

Он смог бы поступить в более чем 60% японских университетов

На этом графике представлено распределение полумиллиона студентов, сдававших такой же экзамен, как и Todai-робот. Сегодня наш Todai-робот входит в первые 20 процентов, и он смог бы поступить в более чем 60 процентов японских университетов, но не в Todai. Но посмотрите, как он выделяется из обширной зоны будущих служащих, так называемых «белых воротничков».

Предмет для беспокойства

Вы, наверное, думаете, что я в восторге. В конце концов, мой робот обошёл всех студентов. А я, наоборот, забеспокоилась. Как вообще эта машина, не обладающая разумом, превзошла студентов, наших детей? Так? Я решила выяснить, что же происходит в мире людей. Я взяла сотни предложений из школьных учебников, составила лёгкие тесты-викторины и попросила тысячи старшеклассников ответить на эти вопросы.

Вот один из примеров.

[Буддизм распространился в ..., христианство — в ... и Океании, ислам — в ...]

Конечно, изначально вопросы записаны на японском, их родном языке.

[ _____ распространился в Океании. 1. Индуизм. 2. Христианство. 3. Ислам. 4. Буддизм.]

Очевидно, что правильный ответ — христианство, так? Там же написано! Todai-робот выбрал правильный ответ. Но 1/3 младших учеников средней школы дали неправильный ответ. Думаете, подобная ситуация существует только в Японии? Я так не думаю, потому что Япония всегда получала высшие баллы в OECD PISA тестах, в которых оценивается успеваемость 15-летних учащихся по математике, наукам и чтению каждые три года.