Рациональность: От ИИ до Зомби

Не каждое изменение является улучшением, но каждое улучшение является изменением. Если вы хотите сделать что-то лучше, то у вас нет другого выбора, кроме как делать это по-другому. Да, общепринятая мудрость включает в себя немалый объем настоящей мудрости; да, имеет смысл сначала получить побольше доказательств действенности того, что кажется странным. Но тревожность не является разновидностью взвешенного рационального соображения. Это страх поверить во что-то, что заставит ваших друзей смотреть на вас как на натурального психа. И поэтому люди спрашивают «Это не культ, да?» таким тоном, каким никогда не говорят о политических выборах или покупке большого телевизора.

И это меня сильно достает.

Это словно бы как только вы поверите во что-то, во что не верят ваши предки, Фея Культа спускается с небес и заражает вас Сущностью Культа, и следующее, что вы помните — вы все носите робы и поете гимны. Словно «странные» убеждения являются прямой причиной проблем, а не лишение сна и побои. Что вред, наносимый культами — вроде суицида с целью попасть на небеса и так далее — просто показывает, что все со странными убеждениями сумасшедшие; что первой и основной характеристикой «членов культа» является то, что они — необычные аутсайдеры.

Да, социально необычное убеждение содержит для группы риск сформировать дихотомию «свой-чужой», попасть под влияния охлаждения испарением и т.д. Но необычность — это фактор риска, а не само расстройство. Точно то же происходит, если есть цель, про которую вы думаете, что она стоит достижения. Не имеет значения, истинно это убеждение или нет — обладание хорошей целью всегда подставляет вас под риск смертельной спирали счастья. Но это делает возвышенные цели фактором риска, а не пороком. Некоторые цели на самом деле стоят того, чтобы стремиться к их осуществлению.

С другой стороны, я не вижу легитимных причин для лишения сна или угроз побоями оппозиционерам, и точка. Когда группа это делает, то независимо от того, зовете вы ее «культом» или нет, у вас есть прямой ответ на прагматичный вопрос, стоит ли к ней присоединяться.

Проблема четвертая: страх одинокого инакомыслящего это что-то, что сами культы используют. Страх того, что твои друзья будут смотреть на вас с осуждением — это тот эффект, который настоящие культы используют чтобы привлекать людей и удерживать их у себя — помещая новообращенных в окружение, состоящее только из последователей культа.

Страх странных идей и склонность к конформизму, без сомнения, помогли многим потенциальным жертвам избежать культов. Когда вы вне культа, они помогают вам сохранить это положение. Но когда вы находитесь внутри культа — они не дают вам выйти. Конформизм просто удерживает вас там, где вы находитесь, не разбирая, хорошее это место или нет.

Человек хочет, чтобы существовал способ, при помощи которого он мог бы убедиться, что он не в «культе». Некий определенный неопровержимый аргумент, который можно предъявлять людям, которые смеются над ним. Способ, который раз и навсегда бы убедил его, что он занимается правильным делом и избавил бы его от постоянных сомнений. Я верю, что это и называется «потребность в завершении». И — конечно же — культы тоже это используют.

И вот фраза «культовая контркультовость».

Жизнь с сомнением не является добродетелью — назначение любого сомнения — это уничтожить само себя, либо подтвердившись, либо опровергнувшись, и сомнение — это то, что просто удерживает на месте, ничего не давая достичь. Но иногда сомнение действительно требует времени, чтобы самоуничтожиться. Жизнь с набором сомнений, которые в текущий момент еще не разрешены — неизбежный факт в жизни рационалиста. Сомнение не должно быть страшным. Иначе вам придется выбирать между тем, чтобы жить загнанным и тем, чтобы жить глупым.

Если вы на самом деле искренне не понимаете, является ли группа культом, тогда вы просто должны выбирать в условиях неопределенности. А для этого существует теория принятия решений.

Проблема пять: недостаток стратегического мышления.

Я знаю людей, которые принимают решения насчет Сингулярности только взвесив все, и аналогичным образом они действуют при оценке политических партий и основных религий. Взвешенно, а не тревожно или защищаясь. Эти люди могут видеть с первого взгляда, что Сингулярность, очевидно, не является полномасштабным культом с лишением сна и прочим. Но они считают, что он станет культом, вследствие факторов риска, таких как превращение концепции сильного ИИ в Сверх-Счастливого Агента (агента, в основном определяемого как соглашающийся с любым хорошим утверждением о нем). Только потому, что что-то не является культом сейчас, не значит, что оно не станет культом в последующем. Культовость является аттрактором, а не сущностью.

Раздражает ли меня такой вид благоразумия? Конечно же нет. Я и сам провожу немало времени, размышляя о таком сценарии развития событий. Я стараюсь так выставить мои фишки Го, чтобы блокировать это направление. Например, одним из проявлений этого является серия постов об ошибках культов в мышлении.