Рациональность: От ИИ до Зомби

Или даже более простая версия этой проблемы. 2 + 2 = 4 — это истина, то есть (((2 + 2) = 4) = ИСТИНА) — это теорема. Последняя теорема Ферма — тоже истина. Таким образом: я верю в то, что 2 + 2 = 4 => я верю в ИСТИНУ => я верю в последнюю теорему Ферма.

Да, я знаю, это выглядит очевидно неверным. Но представьте себе, что кто-то пишет программу логического вывода, использующую принцип «равные термины можно подставлять», и программа выдаёт такой результат. Теперь представьте, что программист пишет статью о том, как избежать этого. Теперь представьте, что кто-то ещё не соглашается с предложенным решением… Спор до сих пор продолжается.

Я лично сказал бы, что Джон совершает ошибку типизации, вроде попытки вычесть 5 граммов из 20 метров. «Утренняя звезда» — не то же самое, что утренняя звезда, хотя и одна и та же вещь. Убеждение — не планета.

утренняя звезда = вечерняя звезда

«утренняя звезда» ≠ «вечерняя звезда»

На мой взгляд, проблема проистекает из-за того, что не удалось корректно провести разницу между убеждениями и вещами. Исходная ошибка была в том, что ИИ хранит свои убеждения об убеждениях Мэри об «утренней звезде», используя то же представление, как и для убеждений об утренней звезде.

Если Мэри верит, что «утренняя звезда» — это Люцифер, это не означает, что Мэри верит в то, что «вечерняя звезда» — это Люцифер, потому что «утренняя звезда» ≠ «вечерняя звезда». Весь парадокс возникает из-за того, что в нужных местах не поставлены кавычки.

Вы, быть может, помните, что я не впервые говорю о введении дисциплины использования типизации — последний раз я об этом говорил, когда рассуждал об ошибке, к которой приводит неразличение выгоды и ожидаемой выгоды. При изучении физики безмерно полезно отслеживать единицы измерений — может выглядеть утомительным писать «см» и «кг», но только до тех пор, пока вы не заметите, что (а) ваш ответ выглядит ошибочным на порядок и (б) он выражен в секундах на квадратный грамм.

Точно так же, убеждения — это не то же самое, что и планеты. Если мы говорим о человеческих убеждений, то, как минимум, определённым является то, что убеждения находятся в голове, а планеты в космосе. Убеждения весят несколько микрограмм, планеты же весят гораздо больше. Планеты больше, чем убеждения… ну, вы поняли идею.

Кажется недостаточным заключить в кавычки «утреннюю звезду», чтобы предотвратить путаницу, потому что для людей текст будет выглядеть похожим. Поэтому, быть может, лучшим способом ввести типизационную дисциплину будет использование визуально различных способов кодирования:

утренняя звезда = вечерняя звезда

21.20.18.06.15.15.33.33.00.09.03.06.09.05.01 ≠ 03.06.25.06.18.15.33.33.00.09.03.06.09.05.01

Изучение математической логики также может помочь научиться различать цитату и референт. В математической логике |- P (P — теорема) и |- []'P' (доказуемо, что существует кодированное доказательство кодированного утверждения P в какой-то кодированной системе доказательств) — это очень разные утверждения. Если вы снизите уровень «цитирования» в математической логике, то это примерно то же, что и опустить единицу измерения — в результате вы можете получить нелепые результаты, типа «скорость света равна 299 792 458 метрам».

Альфред Тарский однажды попытался определить значение «истины», используя бесконечную последовательность предложений:

(«Снег — белый» — это истина) тогда и только тогда, когда (снег — белый)

(«Хорьки зелёные» — это истина) тогда и только тогда, когда (хорьки зелёные)

…

Когда предложения типа этих начнут выглядеть в ваших глазах осмысленными, вы начнёте различать закодированные утверждения и состояния окружающего мира.

Похожим образом, понятие истины весьма отличается от понятия реальности. Говоря «истина» мы сравниваем убеждение с реальностью. Но реальность не станет реальнее от того, что её сравнили с убеждением, ей вовсе не нужны никакие сравнения для того, чтобы быть реальной. Помните об этом, когда вам в следующий раз придётся услышать утверждение, что ничто не является истинным.

Качественное замешательство

Элиезер Юдковский

Я полагаю, что основной причиной путаницы между «убеждением», «истиной» и «реальностью» является качественное мышление об убеждениях.

Давайте рассмотрим типичную постмодернистскую попытку поумничать:

«Солнце вращается вокруг Земли» — истина для Ханги Охотника-собирателя, но «Земля вращается вокруг Солнца» — истина для Эмары Астронома! Разные общества имеют разные истины!

Нет. Разные общества имеют разные убеждения. Убеждения имеют другой тип, нежели истина, это как сравнивать яблоки с вероятностями.

Ах, но ведь нет никакой разницы между тем, как ты используешь слово «убеждение» и как ты используешь слово «истина»! Вне зависимости от того, говоришь ли ты «я убеждён, что снег белый» или «снег белый — это истина», ты выражаешь одно и то же мнение.