Рациональность: От ИИ до Зомби

Оги ответил: «Если ты найдешь на дороге молоток и продашь его, то можешь запросить за него мало или много. Но если ты оставишь молоток себе и будешь заколачивать им гвозди, то кто станет сомневаться в его ценности?».

Новичок заявил: «Вот, именно это меня и беспокоит — ваши таинственные ответы в духе дзен».

Оги сказал: «Ладно, буду выражаться проще и приведу совершенно разумные аргументы, которые продемонстрируют, что ты попал не в секту. Но сначала ты должен надеть эту дурацкую шляпу».

Оги протянул новичку огромную коричневую ковбойскую шляпу.

«Э-э, мастер…», — начал было новичок.

«Когда я всё объясню», — прервал его Оги, — «ты поймешь, почему это было необходимо. Ну, или можешь и дальше не спать ночами, мучаясь вопросом о том, секта это или нет».

Новичок надел ковбойскую шляпу.

Оги заговорил: «Как долго ты будешь повторять мои слова и игнорировать их смысл? Беспорядок в мыслях начинается с привязанности к предпочитаемым выводам. Тебя слишком тревожит, насколько ты выглядишь рационалистом в своих глазах. Ты пришел ко мне, чтобы снова обрести уверенность. Если бы ты был по-настоящему любопытным, то, не зная в какую сторону двигаться, ты искал бы способ разрешить свои сомнения. Поскольку ты хотел избавиться от когнитивного диссонанса, ты охотно надел дурацкую шляпу. Будь я плохим человеком, я бы заставил тебя заплатить сотню серебряных монет. Когда задумываешься над вопросом, связанном с реальностью, полезность или бесполезность твоего знания скоро становится очевидной. Ты же уподобился мечнику, что беспрестанно кидает взоры по сторонам, — уж не засмеялся ли кто-нибудь над ним?..».

«Ладно-ладно, я понял!» — воскликнул новичок.

«Ты просил длинную версию», — заметил Оги.

Позднее этот новичок стал преемником Оги и обрел известность под именем Ни но Тачи. С той поры он не позволял ученикам цитировать свои слова в их дебатах, говоря: «Используйте техники, а не ссылайтесь на них».

Второй коан

Начинающий рационалист подошел к мастеру Оги и сказал: «Учитель, меня беспокоит, что наши рациональные додзё… ну… слегка сектантские».

«Это серьезный повод для беспокойства», — заметил Оги.

Новичок подождал немного, но Оги молчал.

Поэтому новичок заговорил снова: «Я имею в виду, что нам приходится носить эти мантии с капюшонами, — в них мы выглядим, прошу прощения, типа как хреновы масоны».

«А, — проронил Оги, — мантии и внешние атрибуты».

«Ну, да, мантии и атрибуты, — подхватил новичок. — Выглядят просто ужасно нерациональными».

«Я рассею все твои опасения, — ответил мастер, — но сначала ты должен надеть эту дурацкую шляпу». И Оги вытащил шляпу волшебника, украшенную полумесяцами и звездами.

Новичок взял шляпу, оглядел и возопил в отчаянии: «Да как она вообще может помочь!»

«Ты очень беспокоишься о взаимодействии одежды с теорией вероятности, — изрек Оги, — поэтому неудивительно, что для достижения понимания ты должен носить специальную шляпу».

Когда новичок завершил обучение, он взял себе имя Боузо1 и обсуждал рациональность не иначе как в клоунском наряде.

Эксперимент Аша о конформизме

Элиезер Юдковский

Соломон Аш, с помощью экспериментов, поставленных в 1950-е, а впоследствии хорошо воспроизводившихся, привлек внимание к явлению, которое сейчас известно как конформизм. В классическом эксперименте испытуемый видел загадку вроде той, что приведена на рисунке: «Какая из полос A, B, C той же длины, что и полоса X? Подумайте минутку, чтобы определиться с ответом».

Источник

Подвох был в том, что испытуемый проходил тест вместе с другими людьми, которые тоже смотрели на рисунок. Они играли роль других испытуемых, однако на деле были сообщниками экспериментатора. Эти «испытуемые» в эксперименте, один за одним, утверждали, что линия С той же длины, что и Х. Как много людей в такой ситуации согласились бы с этим очевидно неверным ответом, соглашаясь с мнением большинства? Каков по вашему мнению был их процент?

Три четверти испытуемых в эксперименте Аша дали «конформистский» ответ хотя бы раз. Треть испытуемых «подстраивалась» более чем в половине случаев.

Интервью после эксперимента показали, что хотя большинство участников заявили о своем неверии в данные ими конформистские ответы, несколько утверждали, что они на самом деле считали, что ответ большинства был верен.

Аша встревожили данные результаты:

«То, что обнаруженная нами склонность к конформизму в нашем обществе столь сильна … представляет собой определенную проблему. Перед нами встают вопросы о том, как мы получаем знания и какими ценностями руководствуемся при выборе действий.»