Рациональность: От ИИ до Зомби

Аффективная смертельная спираль может зарождаться вокруг сверхъестественных убеждений; особенно вокруг монотеистических религий, центральное место в которых занимает сверхсчастливый агент, в основном определеяемый как соглашающийся с любым хорошим заявлением про его религию; особенно вокруг тех, в которых комплексы мемов развились достаточно для того, чтобы заявлять о сверхъестественной каре за неверие. Однако смертельная спираль может возникнуть и вокруг политической инновации, харизматичного лидера, веры в национальную идею или экономическую гипотезу. История учит, что аффективные смертельные спирали опасны, вне зависимости от того, включают ли они в себя сверхъестественное или нет. Религия как класс ошибок недостаточно выделяется, чтобы рассматриваться как ключевая проблема.

Сэм Харрис подобрался ближе к истине, когда обвиняюще указал на само явление веры. Если вы не налагаете бремя доказательства на всякое и каждое дополнительное хорошее заявление, то впасть в аффективный резонанс необычайно просто. Посмотрите на бедных последователей Нью Эйдж. В христианстве развилось множество видов защиты от критики, выступая в защиту чудес веры; последователи Нью Эйдж в культурном отношении унаследовали кэшированную мысль, что вера – это хорошо, однако не имеют ограничивающего их Писания, которое могло бы оградить их от конкурирующих мемов. В конечном итоге течение Нью Эйдж погрязло в смертельных спиралях вокруг звезд, деревьев, магнитов, диет, заклинаний, единорогов…

Но аффективная смертельная спираль становится много опаснее, когда критика становится грехом, бестактностью или преступлением. В мире существуют вещи, которые заслуживают огромной похвалы, и вы не можете точно сказать, где для них проходит граница между заслуженной и незаслуженной похвалой. Однако не существует Идеи, настолько истинной, что будет неправильно критиковать любой аргумент, поддерживающий ее. Таких идей нет и не будет. Никогда. Во веки веков. Это точно. Большая часть возможных убеждений в нетривиальном пространстве ответов ложна, и подобным образом большая часть возможных аргументов в их поддержку тоже ложна, и даже самая лучшая идея не сможет это изменить.

И втройне неправильно отвечать на критику насилием. В человеческом искусстве рациональности крайне мало запретов без всяких «если», «и», «но» или каких-либо исключений. Но вот это – один из них. На плохой аргумент находится контраргумент. Но не пуля. Никогда. Во веки веков.

Охлаждение групповых убеждений при помощи испарения

Элиезер Юдковский

Ранние исследователи культов были удивлены, когда обнаружили, что когда культы получают сильный удар — пророчество ли не сбывается, или на свет выплывают грешки основателя культа — они часто возвращаются даже сильнее чем прежде, с усиленным убеждением и фанатизмом. Свидетели Иеговы предсказывали Армагеддон в 1975, основываясь на своих вычислениях из Библии; 1975 пришел и ушел. Культ Анафемы, все еще действующий и в наши дни, выжил после того как предсказанный им интергалактический флот не появился 27 сентября 1975. (Статья в Википедии про данный культ упоминает несбывшееся пророчество касательно 2001 года, однако обходит стороной ранний провал в 1975, что уже достаточно интересно.)

Почему же групповое убеждение становится сильнее после встречи со столь разрушительным контр-свидетельством?

Стандартное объяснение данного явления основано на теории когнитивного диссонанса. Когда люди производят «невозвратные» действия в поддержку убеждения — отдают все свое имущество в ожидании прилета НЛО — они просто не могут признать, что они ошиблись. Вызов их убеждению представляется громадным когнитивным диссонансом; им приходится усилить свои мысли, чтобы противостоять шоку, таким образом укрепляясь в своем фанатизме. В данной интерпретации увеличение группового фанатизма есть результат увеличения фанатизма индивидуального.

Я смотрел на джава-апплет, который показывал использование охлаждения испарением для получения конденсата Бозе-Эйнштейна, когда до меня дошло, что совершенно другая сила может отвечать за увеличение фанатизма. Охлаждение испарением устанавливает барьер потенциальной энергии вокруг собрания горячих атомов. Тепловая энергия по существу статистична по природе — не все атомы движутся с совершенно одинаковой скоростью. Кинетическая энергия каждого атома варьируется, поскольку атомы сталкиваются друг с другом. Если вы устанавливаете барьер потенциальной энергии немного выше, чем средняя тепловая энергия, то при случайном стечении обстоятельств какой-то атом может получить достаточно кинетической энергии, чтобы вылететь из ловушки. Группа при этом становится существенно холоднее, чем барьер потенциальной энергии вокруг нее. Различные действия с апплетом помогли мне понять это яснее.