Рациональность: От ИИ до Зомби

Одна из добродетелей рационализма — эмпиризм — состоит в привычке постоянно задаваться вопросом о том, какой опыт предсказывается этим убеждением — или, ещё лучше, какой запрещается. Ты убеждён, что флогистон — причина огня? Тогда что ты ожидаешь увидеть, исходя из этого? Ты считаешь Валки Вилкинсена пост-утопистом? Тогда что ты рассчитываешь встретить в его книгах? Нет, не «охлаждение колониальных чувств»; какое переживание случится с тобой? Веришь ли ты в то, что если дерево падает в лесу, и нет никого рядом, чтобы это услышать, то оно всё равно создаёт звук? Тогда какой опыт должен выпасть на твою долю?

Ещё лучше спросить о том, какой опыт тогда с тобой точно не

 случится. Ты веришь в то, что жизненная сила объясняет загадочную разницу между живым и неживым? Тогда какие происшествия это убеждение запрещает, какое событие совершенно точно опровергнет это убеждение? Ответ «никакое» говорит о том, что это убеждение не ограничивает

 возможные переживания. Оно позволяет случиться с тобой чему угодно. Оно плавает.

Споря по поводу вопроса, вроде бы связанного с фактами, всегда держи в уме различие ожиданий будущего, из-за которого происходит спор. Если найти это различие не удаётся, то, скорее всего, вы спорите о названиях ярлыков в сети убеждений — или, ещё хуже, о плавающих убеждениях: ракушках-прилипалах на сети убеждений. Если ты не представляешь, какой опыт следует из того, что Валки Вилкинсен принадлежит к пост-утопистам, то ты можешь спорить бесконечно (а ещё ты можешь опубликовать бесконечное количество статей в литературных журналах).

И самое главное: не спрашивай, во что верить, — спрашивай, чего ожидать. Каждый вопрос об убеждениях должен порождаться вопросом о предсказаниях, и именно этот вопрос о предсказаниях должен быть в центре внимания. Каждое смутное убеждение должно рождаться как смутное ожидание, а затем оплачивать жилплощадь прогнозами будущего. Если убеждение становится злостным неплательщиком — высели его.

Сказ о науке и политике

Элиезер Юдковский

Во времена Византийской империи светская жизнь оказалась разделена на два лагеря: Синий и Зелёный. Синие и Зелёные убивали друг друга на дуэлях, в драках «стенка на стенку», в засадах и погромах. Прокопий Кесарийский говорил о них: «Вражда к противникам возникает у них без причины и остаётся навеки; не уважаются ни родство, ни свойство, ни узы дружбы. Даже родные братья, приставшие один к одному из этих цветов, другой к другому, бывают в раздоре между собою». Эдвард Гиббон писал: «Поддержка одной из группировок стала необходимой для любого кандидата, будь он светским или духовным лицом».

Кто же были эти Синие и Зелёные? Всего лишь спортивные болельщики — сторонники синей и зелёной команд в гонках на колесницах.

А теперь представьте общество будущего, которому пришлось сбежать в сеть подземных туннелей и пещер и закрыть все входы. Мы не будем уточнять, бежали ли они от болезни, войны или от радиации. Первым подземным жителям удалось наладить производство еды, возобновление воздуха, найти воду, организовать освещение и выжить. Их потомки благоденствовали и даже стали строить города. О верхнем мире остались лишь легенды, написанные на клочках бумаги, и один из таких клочков описывал небо, бескрайний простор воздуха над полом без стен. Небо было лазурного цвета, и в нем летали странные объекты, напоминающие пучки белого хлопка. Значение слова «лазурный» вызывало противоречия, некоторые говорили, что оно обозначает синий цвет, а другие — зелёный.

В ранние дни подземного сообщества соперничество Синих и Зелёных доходило до открытого насилия, но теперь царит перемирие — мир, рождённый отвращением к бессмысленной вражде. Культурные обычаи изменились, существует многочисленный и преуспевающий средний класс, воспитанный в духе правового государства и непривычный к насилию. В школах преподаётся история: как долго длилась вражда между Синими и Зелёными, как много людей погибло, как мало в итоге изменилось. Граждане подготовлены к странной новой философии, гласящей, что люди — это люди, не важно, за Синих они или за Зелёных.