Рациональность: От ИИ до Зомби

Чувство злости на гоблина, за то что он связал шнурки - это состояние разума, которое касается не только того, как работает мир. Если ты, скажем, буддист, или тебе сделали лоботомию, или ты просто родился очень флегматичным человеком, то действия гоблина тебя не разозлят. Это не влияет на твои ожидания: ты все еще уверен, что открыв чулан, увидишь пару ботинок, привязанных друг к другу шнурками. Зол ты или спокоен - это не должно влиять на твои прогнозы, поскольку твои эмоции не влияют на происходящее в чулане (хотя, конечно, может потребоваться некоторое усилие, чтобы рассуждать трезво).

Однако, злость сцеплена с состоянием разума, имеющим

 отношение к тому, как работает мир: ты злишься потому, что думаешь, что гоблин связал шнурки ботинок. Критерий рациональности рапространяется как вирус: от исходного вопроса, завязал ли гоблин шнурки, и до возникшей в итоге злости.

По мере улучшения представлений о том, каков мир на самом деле, эмоции могут как ослабнуть, так и усилиться. Иногда мы избегаем сильных эмоций, отрицая факты, прячась от мира, порождающего столь сильные эмоции. В таком случае, изучая искусство рациональности и тренируясь не отрицать факты, ты можешь заметить усиление эмоций.

Когда я начинал учиться рациональности, я постоянно сомневался, нормально ли

испытывать сильные эмоции, допустимо ли это вообще, и правильно ли. Не думаю, что замешательство было вызвано только лишь моим неверным представлением о рациональности. Я встречал немало людей с подобными проблемами, и эти люди даже и не думали становиться рационалистами. Когда они были счастливы, они сомневались в своём праве быть счастливыми, а когда расстроены - не могли понять, нужно ли бороться с этой эмоцией. Ещё со времён Сократа (а возможно, и гораздо раньше) в кругу людей, считавших себя культурными и утончёнными, было не принято показывать, что вам что-то небезразлично. Испытывать чувства постыдно — в приличном обществе так просто не делают. Надо видеть взгляды, которые на меня бросают люди, узнав, насколько мне важна рациональность. И я подозреваю, что причина кроется не в необычности предмета интереса, а в том, что они не привыкли встречать здравомыслящих взрослых людей, которые демонстрируют, что им важно хоть что-то.

Но сейчас я знаю, что нет ничего постыдного в сильных эмоциях. Усвоив правило «То, что может быть разрушено правдой, должно быть разрушено», я также понял, что «То, что питается правдой, должно расцветать». Когда случается что-то хорошее, я счастлив, и не мучаюсь сомнениями, рационально ли быть счастливым. Когда случается что-то ужасное

(English), я не бегу от печали, ища ложные утешения и фальшивые плюсы. Я представляю прошлое и будущее человечества, десятки миллиардов смертей на протяжении всей истории, горе и страх, поиск ответов, дрожащие руки, тянущиеся вверх из рек крови, то, чем мы можем стать в тот день, когда звёзды станут нашими городами, вся эта тьма и весь этот свет; я знаю, что я никогда не смогу полностью это понять, и я не знаю слов, которыми можно было бы передать эти мысли. Несмотря на всю мою философию, я всё ещё смущаюсь показывать сильные эмоции, а тебе, возможно, некомфортно видеть их проявления. Но теперь я знаю, что в чувствах нет ничего иррационального.

Зачем нужна истина?

Элиезер Юдковский

Некоторые комментаторы спрашивают меня, зачем необходимо искать истину (к счастью, почти никому не нужно объяснять, что есть истина). Желание сделать своё мировоззрение рациональным вырастает именно из стремления к истине, и уже благодаря этому желанию все мировоззрения можно разделить на «хорошие» и «плохие».

В «Двенадцати добродетелях рациональности» я писал: «Первая добродетель — любопытство». Любопытство — первая причина искать истину, и, несмотря на то, что эта причина не единственна, в ней есть особая восхитительная чистота. В глазах человека, движимого любопытством, приоритет вопроса зависит от его эстетической ценности. Сложный вопрос, где вероятность неудачи необычно высока, стоит больших усилий, чем простой, где ответ и без того ясен — ведь узнавать новое интересно.

Кто-то может возразить: «Любопытство — эмоция, а эмоции иррациональны». Я называю эмоцию «иррациональной», если она основана на ложных убеждениях или, точнее, поведении, неправильном в свете известной информации: «К твоему лицу подносят железо, и ты веришь, что оно раскалено, но можно видеть, что оно холодно — тогда Учение осуждает твой страх. К твоему лицу подносят железо, и ты веришь, что оно холодно, но можно видеть, что оно раскалено — тогда Учение осуждает твоё спокойствие». И наоборот: эмоцию, вызванную истинными убеждениями либо рациональным с точки зрения желания узнать истину мышлением можно назвать «рациональной эмоцией» (Поэтому удобно считать, что спокойствие — не абсолютный ноль шкалы, а тоже эмоция, не лучше и не хуже всех остальных).