Идиот или гений? Как работает и на что способен искусственный интеллект

Если вы не знаете, верный ответ (B). Сотрудники Института Аллена адаптировали нейронные сети, обошедшие людей в тесте SQuAD, чтобы проверить их на новом наборе вопросов. Они обнаружили, что даже когда эти сети дополнительно тренировали на подмножестве из восьми тысяч вопросов по естествознанию, при ответе на новые вопросы они демонстрировали результаты, не превосходящие случайного угадывания[303]. На момент написания этой книги наивысшая точность, показанная системой ИИ на этом наборе данных, составляет около 45 % (25 % – при случайном угадывании)[304]. Специалисты из Института Аллена назвали свою статью об этом наборе данных “Думаете, вы решили задачу по созданию вопросно-ответных систем?” К ней напрашивается подзаголовок: “Ошибаетесь”.

Что это значит?

Я хочу описать еще одну вопросно-ответную задачу, специально разработанную для проверки понимания “прочитанного” системой ОЕЯ. Прочитайте предложения и вопросы:

Предложение 1: “Городские власти отказали протестующим в разрешении на проведение митинга, потому что они опасались беспорядков”.

Вопрос: Кто опасался беспорядков?

A. Городские власти B. Протестующие

Предложение 2: “Городские власти отказали протестующим в разрешении на проведение митинга, потому что они призывали к беспорядкам”.

Вопрос: Кто призывал к беспорядкам?

A. Городские власти B. Протестующие

Предложения 1 и 2 по-английски различаются только одним словом (опасались / призывали), но именно это слово определяет ответ на вопрос. В предложении 1 местоимением “они” обозначены городские власти, в предложении 2 – протестующие. Как мы, люди, понимаем это? Мы полагаемся на свои фоновые знания о функционировании общества: мы знаем, что протестующие имеют повод для недовольства и порой призывают к беспорядкам на митингах или провоцируют их.

Вот еще несколько примеров[305]:

Предложение 1:

“Дядя Бена все еще обыгрывает племянника в теннис, хотя он на 30 лет старше”.

Вопрос: Кто старше?

A. Бен B. Дядя Бена

Предложение 2: “Дядя Бена все еще обыгрывает племянника в теннис, хотя он на 30 лет младше”.

Вопрос: Кто младше?

A. Бен B. Дядя Бена

Предложение 1:

“Я лил воду из кувшина в стакан, пока он не наполнился”.

Вопрос: Что наполнилось?

A. Кувшин B. Стакан

Предложение 2: “Я лил воду из кувшина в стакан, пока он не опустел”.

Вопрос: Что опустело?

A. Кувшин B. Стакан

Предложение 1:

“Стол не пройдет в дверной проем, потому что он слишком широкий”.

Вопрос: Что слишком широкое?

A. Стол B. Дверной проем

Предложение 2: “Стол не пройдет в дверной проем, потому что он слишком узкий”.

Вопрос: Что слишком узкое?

A. Стол B. Дверной проем

Уверена, вы уловили смысл: два предложения в паре различаются одним словом, но именно от этого слова зависит, к какой вещи или человеку относится местоимение “он”. Чтобы верно ответить на вопросы, машине необходимо не только обрабатывать предложения, но и понимать их, по крайней мере в некоторой степени. В целом для понимания этих предложений необходимы знания, основанные на здравом смысле. Так, дядя обычно старше племянника, при переливании воды из одной емкости в другую первая емкость пустеет, а вторая наполняется, а если что-то не проходит в проем, то эта вещь слишком широка, а не слишком узка.