Рациональность: От ИИ до Зомби

Наконец, я понял, что язычница не пыталась убедить в чём-то нас и не пыталась убедить в чём-то себя. Её пересказ легенды о сотворении вообще не имел отношения к сотворению мира. Пятиминутная обличительная речь была одобрительным возгласом, что-то вроде транспаранта на футбольном стадионе. Транспарант с надписью «ВПЕРЁД СИНИЕ» не утверждает ничего о фактах и не пытается быть убедительным. Это просто кричалка.

Та странная подчёркнутая гордость… язычница словно участвовала в гей-параде обнажённой (Замечу мимоходом: не имею ничего против участия в гей-параде в обнажённом виде. Лесбиянство не относится к числу вещей, которые могут быть уничтожены правдой). Это было не просто выражением одобрения, как участие в гей-параде, это было оскорбительно эпатажным выражением одобрения, как участие в гей-параде голышом. В этом проглядывало убеждение в том, что её не смогут раскритиковать или арестовать, ведь всё это сделано во имя прославления её сообщества.

Именно поэтому для неё столь большое значение имела смехотворная абсурдность её слов. Попытка звучать более разумно эквивалентна надеванию одежды.

Убеждение как одеяние

Элиезер Юдковский

Я уже разделил убеждения на контроллеры ожиданий, веру в убеждения

, провозглашения и крики ободрения. Контроллеры ожиданий мы будем называть «полноценными убеждениями», остальные формы «неполноценными убеждениями». Полноценное убеждение может быть неверным или иррациональным (искреннее убеждение в том, что молитва исцелит больного ребёнка), но остальные формы иногда трудно вообще считать за убеждения.

Ещё один подвид неполноценных убеждений — убеждение как групповая идентификация, способ входить в сообщество. Робин Хансон использует великолепную метафору(English): люди, носящие необычную одежду в качестве своей униформы (например, риза священника или еврейская кипа), поэтому я буду называть это «убеждением как одеянием».

Зная человеческую психологию, можно сказать, что мусульмане, атаковавшие Всемирный торговый центр, без сомнения считали себя героями, защищающими истину, правосудие и Путь Ислама от ужасающих инопланетных чудовищ а-ля «День независимости». Нужно быть сильно не от мира сего — не иметь ни малейшего представления о том, как видят мир обычные люди — чтобы сказать это вслух в баре Алабамы. Американцы так не говорят. Американцы говорят, что террористы «ненавидят нашу свободу», а столкновение самолёта со зданием было «актом трусости». Нельзя говорить «героическое самопожертвование» и «террорист-смертник» в одном предложении, даже с целью правдиво показать, как видит мир Враг. Само понятие

 «отвага и альтруизм террориста» является одеянием Врага — поскольку об этом понятии говорит Враг. Понятие «трусость и социопатия террориста» является американским одеянием. Хочешь описать, как мир видит Враг, — забудь о кавычках; ты же не одеваешься на Хэллоуин фашистом, так?

Убеждение-как-одеяние может объяснить, почему люди могут придавать такой веснеполноценным убеждениям. Подозреваю, что вера в убеждения или религиозные провозглашения, сами по себе, с трудом порождают глубокие и мощные эмоциональные эффекты. Я не эксперт в этой области, но у меня сложилось следующее впечатление: люди, переставшие ожидать предсказанного религией будущего, пойдут на многое ради того, чтобы убедить себя в своей страстной вере, и эту отчаянность легко спутать с настоящим сильным чувством. Но всё же, это уже не тот огонь, который они носили в детстве.

С другой стороны, человеку очень легко искренне, пылко, на инстинктивном уровне принадлежать группе, болеть за любимую команду

 (Этот факт — фундамент надувательства под названием «Республиканцы против Демократов» и аналогичных лжедилемм(English) в других странах, но это уже другой разговор). Идентификация с племенем — очень мощная эмоциональная сила, люди готовы за неё умереть. И после того, как человек стал членом племени, он начинает вкладывать в убеждения, которые играют роль племенной униформы, всю ту страсть, с которой он принадлежит этому племени.

Требование аплодисментов

Элиезер Юдковский

Во время Сингулярного Саммита 2007, один из ораторов ратовал за создание демократичного мультинационального проекта по разработке Искусственного Интеллекта. Я подошел к микрофону и задал вопрос: