Рациональность: От ИИ до Зомби

Нет очевидной связи между утверждениями поверхностного уровня «Спичка зажигается от чирканья» и «Людям нужен воздух, чтобы дышать». Потребовались столетия, чтобы обнаружить эту связь, и даже сейчас, судя по всему, это какой-то несущественный факт, которому учат в школе и который важен лишь для небольшого круга специалистов. Нам слишком легко вообразить мир, где одно из этих правил работает, а второе — нет, перестать верить в одно, но не в другое. Но это лишь воображение, а не реальность. Если вы разделили карту на четыре части, чтобы её было проще хранить, это не значит, что сама территория также разделена на четыре обособленные части. Наш разум хранит отдельные правила поверхностного уровня в обособленных отсеках, но это не отражает никакой обособленности законов, управляющих Природой.

Мы можем извлечь из всего этого урок. Поведение фосфора проистекает из ещё более глубоких законов: законов электродинамики и хромодинамики. «Фосфор» — это лишь наше слово для обозначения электронов и кварков, организованных определенным образом. Нельзя изменить химические свойства фосфора, не изменив законы, которым подчиняются электроны и кварки.

Если вы окажетесь в мире, где спички не зажигаются, вы перестанете быть организованной материей.

Реальность сплетена гораздо плотнее, чем люди предпочитают верить.

Единый закон

Элиезер Юдковский

Антуан Лоран Лавуазье обнаружил, что дыхание и огонь (горение) работают по одному принципу. Это было одно из наиболее поразительных объединений в истории науки, оно слило вместе мирскую сферу материи и священное таинство жизни, которые люди делили на отдельные мистерии.

Первое великое объединение было сделано Исааком Ньютоном, который сказал, что движение планет подчиняется тем же законам что и падающее яблоко. Шок от этого открытия был больше, чем от открытия Лавуазье. Дело было не только в том, что Ньютон осмелился объединить земное царство материи с явно отличной и священной небесной сферой, когда-то считавшейся обителью богов. Открытие Ньютона породило понятие универсального закона, который одинаков везде и всегда, буквально не имея исключений.

Люди живут в мире поверхностных явлений, которые делятся на категории, из которых вытекает большое количество исключений. Тигр ведет себя не так, как буйвол. Большинство буйволов имеют четыре ноги, но, возможно, у этого есть три. Зачем кому-то думать что есть законы, которые верны везде? Это, очевидно, не так.

Только в одном случае, похоже, мы хотим закон, который бы выполнялся везде — это когда мы говорим о моральных законах — социальных правилах поведения. Некоторые члены племени могут попробовать взять больше, чем их доля от буйвола, возможно с каким-либо умным оправданием, так что в случае моральных законов мы, кажется, в самом деле имеем инстинкт универсальности. Да, правило о разделе мяса применяется и к вам, нравится ли вам это или нет. Но даже тут есть исключения. Если по некоторой аномальной причине более сильное племя угрожает перебить вас, если Боб не получит в два раза больше мяса, нежели все остальные, вы дадите Бобу двойную порцию. Идея правила, которое вообще не имеет исключений, кажется слишком жесткой, продуктом ограниченного мышления фанатиков, поскольку, находясь в тисках своей идеи, они не могут осознать богатства и сложности реального мира.

Это обычное обвинение в адрес ученых — профессиональных знатоков богатства и сложности реальной Вселенной. Потому что когда вы на самом деле смотрите на вселенную, оказывается, что она является, по человеческим меркам, безумно жесткой в применении своих правил. Насколько мы знаем, не было ни одного нарушения сохранения импульса с незапамятных времен до наших дней.

Иногда, очень редко, мы наблюдаем явное нарушение наших моделей фундаментальных законов. Хотя наши научные модели могут существовать в течение одного или двух поколений, они не являются стабильными на протяжении веков. Но не думайте, что это делает саму Вселенную капризной. Это смешение карты с территорией. Ибо, когда пыль уляжется, и старая теория будет заменена, то получается, что Вселенная всегда действовала в соответствии с новым обобщением, которое мы обнаружили, которое опять будет абсолютно универсальным в свете текущих человеческих знаний. Когда было обнаружено, что ньютоновская гравитация была частным случаем общей теории относительности, было видно, что общая теория относительности формировала орбиты Меркурия за десятилетия до того, как человек узнал об этом, и позже стало очевидным, что общая теория относительности управляла коллапсом звезд в течение миллиардов лет, прежде чем появилось человечество. Ошибаются только наши модели — сам Закон был всегда абсолютно постоянным или так наша новая модель говорит нам.