Рациональность: От ИИ до Зомби

И вот, МакДермот пишет: «Для дисциплинированного программиста хорошим тестом будет использование gensyms в ключевых местах, чтобы посмотреть будет ли все ещё восхищаться системой, если СОСТОЯНИЕ-УМА будет переименовано в G1073…» мы получим ЭТО (СЧАСТЬЕ, G1073) «что выглядит далеко не столь впечатляюще».

Или если я слегка перефразирую идею: если ты заменишь случайными символами все осмысленные английские слова, то ты не сможешь понять, что означает G1071 (G1072, 1073). Эта программа ИИ описывает гамбургеры? Яблоки? Счастье? Кто знает? Если ты удалишь говорящие английские названия, обратно они не вырастут.

Представим, что физик сказал тебе: «Свет — это волны»

, и ты ему полностью поверил. У тебя в голове появилась маленькая сеть:

ЭТО(СВЕТ, ВОЛНЫ)

И если кто-то вдруг спросит «Из чего состоит свет?», ты сможешь ответить «Из волн!»

Как пишет МакДермот: «Проблема в том, чтобы слушатель заметил, что именно ему сказали. Не „понял“, а всего лишь „заметил“». Предположим, что физик сказал бы тебе «Свет сделан из мелких изгибающихся штучек» (на всякий случай: это неправда). Заметишь ли ты разницу в ожидаемом опыте

?

Как можно понять, что не стоит доверять кажущемуся знанию «Свет — это волны»? Один из способов: «смогу ли я восстановить это знание, если оно почему-то исчезнет из моей головы?»

Это похоже по духу на замену говорящих английских названий из программы ИИ с целью узнать, сможет ли кто-то понять к чему они должны «относиться». Также здесь можно привести пример Искусственного Арифметика, который запрограммирован записывать и выдавать ПРИБАВИТЬ(СЕМЬ, ШЕСТЬ) = ТРИНАДЦАТЬ. Он, разумеется, не сможет восстановить это знание, если стереть его из его памяти (если только ещё кто-нибудь не запишет его обратно). Аналогично и знание «Свет — это волны» будет потеряно безвозвратно, если только ты не спросишь о нём заново у физика. Ты не сможешь создать это знание сам, как может это сделать физик.

Тот же опыт, что заставляет нас формулировать убеждения, соединяет их с другими нашими знаниями, чувственными входными данными или моторными выходными данными. Если ты увидишь, как бобёр грызёт дерево, то ты будешь знать как «зверь-что-грызёт-дерево» выглядит и сможешь опознать его в будущем, независимо от того, будут ли его называть «бобром» или как-то иначе. Но если ты приобрёл свои убеждения о «бобрах», когда кто-то другой рассказал тебе факты о «бобрах», то, возможно, ты не опознаешь бобра, если его увидишь.

Знание, которое ИИ не сможет восстановить сам — чудовищная опасность. Это так же опасно, как говорить кому-то факты о физике, которые он не в состоянии проверить сам. Ведь физики, говоря «волны», имеют ввиду не «мелкие кривые штучки», а чисто математическое понятие.

Как заметил Давидсон, если ты веришь, что «бобры» живут в пустынях, что они белого цвета, а взрослые особи весят полтора центнера, то у тебя вообще отсутствуют какие-либо убеждения о бобрах: ложные или правдивые. Твои убеждения о бобрах недостаточно верны, чтобы быть ложными2. Если у тебя нет достаточно опыта, чтобы восстановить убеждение в случае, если оно будет удалено, то есть ли у тебя опыт, позволяющий соединить это убеждение с чем-нибудь вообще? Витгенштейн: «Колесо, которое можно свободно вращать, не задевая других частей, не является частью механизма».

Почти сразу же, когда я начал читать про ИИ, даже до того, как я начал читать МакДермота, я понял, что постоянно спрашивать себя «Как бы я смог восстановить это знание, если оно будет удалено из моего разума?» — это очень хорошая идея.

Чем обширней удаление, тем строже тест. Если удалить доказательства теоремы Пифагора, смогу ли я доказать её заново? Думаю, да. Если удалить всё знание о теореме Пифагора, догадаюсь ли я о ней, чтобы доказать её заново? Сложно поставить такой эксперимент. Однако, если бы мне дали прямоугольный треугольник с длиной сторон 3 и 4 и сказали бы, что гипотенуза вычисляема, думаю, я бы смог её вычислить, при условии, что другие мои знания математики остались при мне.

Как насчёт самого понятия математического доказательства? Если бы мне никто не говорил о нём, мог бы я изобрести его, основываясь на моих оставшихся убеждениях? Ведь когда-то люди не знали о такой идее. Кто-то же её придумал. Что же он заметил? Замечу ли я, если увижу что-то такое же новое и не менее важное? Окажусь ли я способен на оригинальное мышление?

Как много своих знаний ты смог бы восстановить самостоятельно после удаления? Какова допустимая глубина удаления? Это не просто проверка для отсеивания недостаточно связанных убеждений. Такие размышления позволяют впитать целый фонтан знаний, а не всего лишь один факт.