Рациональность: От ИИ до Зомби

Человек может каждый день использовать заурядную мысленную картину своего гаража (без драконов), всегда правильно предсказывающую его ощущения после открытия двери, но ни разу в жизни не произнести про себя предложение «В моём гараже драконов нет». Это почти наверняка случалось и с тобой: открывая дверь гаража, или спальни, или чего-нибудь ещё, и ожидая не увидеть драконов, на сознательном уровне ты думаешь о чём угодно, но не о драконах.

И для того, чтобы продолжать стоять на своём и верить в дракона — или чтобы продолжать уклоняться от мысли изменения представления о себе как о верящем в дракона — совсем необязательно думать: «Я хочу верить в дракона, живущего в моём гараже». Достаточно лишь нежелания перспективы признания в ложности заявленных убеждений.

Для того, чтобы правильно готовить оправдания для будущих экспериментальных результатов, Кредерус должен, во-первых, хранить где-то в разуме правильную модель ситуации, контролирующую его ожидания, и, во-вторых, действовать и мыслить таким образом, чтобы защитить либо своё свободно плавающее убеждение о драконе, либо своё представление о себе, как о верящем в дракона.

Если Кредерус верил в убеждение о существовании дракона и вдобавок был убеждён в существовании дракона, то проблема была бы уже не так грозна. Кредерус желал бы рисковать, если речь идёт об экспериментальных предсказаниях, и, возможно, даже согласился бы отказаться от убеждения о существовании дракона, если бы его предсказания бы не сбылись (хотя, если Кредерус был бы не до конца уверен в существовании дракона, то его вера в убеждение могла бы помешать этому признанию). Однако, когда кто-то заранее оправдывается, это обычно требует расхождения убеждения и веры в убеждение.

Байесианское дзюдо

Элиезер Юдковский

Вы можете получить массу удовольствия, общаясь с людьми, чьи ожидания будущего теряют связь с их же верой в убеждения.

Как-то на одном званом обеде я пытался объяснить человеку, чем я зарабатываю на жизнь; и он сказал: «Я не верю в возможность искусственного интеллекта, ведь лишь Бог может создать душу».

Я, должно быть, движимый божественным наитием, немедленно ответил:

— То есть, если я смогу создать искусственный интеллект, то это докажет ложность вашей религии?

— Что? — сказал он.

— Ну, если ваша религия предсказывает, что я неспособен создать искусственный интеллект, то факт создания мной искусственного интеллекта будет означать неправоту вашей религии. Либо ваша религия допускает возможность создания ИИ, либо его создание опровергнет вашу религию.

Повисла пауза — он осознал, что только что сделал свою гипотезу фальсифицируемой — и затем он ответил:

— Ну, я не имел ввиду, что вы не сможете создать интеллект. Я хотел сказать, что он не может испытывать эмоции таким же образом, что и мы.

— Итак, если я создам искусственный интеллект, в который не будет заложено ничего навроде заранее написанного сценария, и моё творение начнёт говорить о чём-то, похожем на нашу духовную жизнь, то тогда ваша религия неверна.

— Ну, гм, видимо нам придётся остаться при своих мнениях на этот счёт. «Согласиться не соглашаться» — в таких случаях говорят англичане.

— На самом деле, так нельзя. Есть теорема из области рациональности — теорема Ауманна о согласии — которая говорит о том, что два рационалиста не могут согласиться не соглашаться. Если два человека не соглашаются друг с другом, то хотя бы один из них должен быть в чем-то неправ.

Мы коротко прошлись по этой теме. И, наконец, он сказал:

— Ну, кажется, на самом деле я пытался сказать вот что: я считаю, что вы не можете создать что-то вечное.

— Ну, я тоже так считаю!— ответил я. — Я рад, что мы смогли прийти к консенсусу по этому вопросу, как и требует теорема Ауманна о согласии.

Я протянул свою руку и он пожал ее, а потом побрёл дальше.

Женщина, которая стояла рядом и слушала наш разговор, серьёзно посмотрев на меня, сказала: «Это было прекрасно».

— Большое спасибо, — ответил я.

Притворная мудрость

Элиезер Юдковский

Самое жаркое место в аду закреплено за теми, кто во время кризиса оставались нейтральными.

– Данте Алигьери, эксперт по аду. Ой, то есть Джон Ф. Кеннеди, который приписывал цитаты кому попало.

Нейтральность и неторопливость с выводами - широко известный прием, который часто применяется в тех случаях, когда люди желают выставить себя взрослыми, мудрыми, непредвзятыми, или просто показать свое превосходство над другими.

Примером этого выступают мои родители, которые отвечали на теологические вопросы вроде «Почему в Древнем Египте, несмотря на обилие хороших записей о множестве разных событий, нет записей о том, что евреи хотя бы были там?» фразами: «Когда я был в твоем возрасте, я тоже задавал такие вопросы, но теперь я это перерос».