Рациональность: От ИИ до Зомби

В одной из комедий Мольера доктор объясняет действие снотворного тем, что в нём содержится «фактор усыпления». Тот же самый принцип. Это универсальный недочёт человеческой психики: столкнувшись с таинственным явлением, нам легче объяснить его через таинственную субстанцию с внутренне присущими ей свойствами, чем через лежащие в основе сложные процессы.

Но ещё более страшная ошибка — допущение того, что ответ может быть таинственным. Если явление кажется таинственным, то это факт о наших знаниях, а не факт о самом явлении. Виталисты увидели таинственный пробел в своих знаниях и постулировали таинственную штуку, заполняющую этот пробел. Тем самым они перемешали карту и местность. Всё недоумение и замешательство находятся в карте, а не внутри отдельных субстанций.

Именно поэтому раз за разом на протяжении всей человеческой истории люди поражаются тому, что невероятно таинственный вопрос имеет приземлённый не-таинственный ответ. Окутанными тайной могут быть только вопросы, но не ответы.

Поэтому я называю теории вроде витализма «таинственными ответами на таинственные вопросы».

Признаки таинственных ответов на таинственные вопросы:

Во-первых, объяснение работает не контроллером ожиданий, а затычкой для любопытства.

Во-вторых, в гипотезе нет движущихся частей: модель является не определённым сложным механизмом, а, скорее, просто сплошной субстанцией или силой. В гипотезе говорится, что таинственная субстанция или таинственная сила находятся вот здесь и вызывают вот это, но причина, по которой таинственная сила ведёт себя именно таким образом, инкапсулирована в пустую тавтологию.

В-третьих, люди, предлагающие это объяснение, дорожат собственным незнанием

. Они с гордостью говорят о том, что обычная наука терпит поражение от этого явления, и о том, как это явление непохоже на все остальные обыденные явления.

В-четвёртых, несмотря на этот ответ, явление по-прежнему остаётся тайной, сохранив ту же степень завораживающей необъяснимости, что и вначале.

Тщетность эмерджентности

Элиезер Юдковский

Провалы флогистона и витализма — примеры исторического знания задним числом. Посмею ли я выступить и назвать современную теорию, которую считаю настолько же ошибочной?

Я называю эмерджентность или эмерджентный феномен — обычно определяемый как исследование систем, поведение которых на высоких уровнях являются следствием или «появляется» (to emerge) из взаимодействия многих низкоуровневых элементов. (Википедия: «То, как сложные системы и паттерны появляются из множества относительно простых взаимодействий»). Если воспринимать буквально, это утверждение подходит для любого феномена нашей вселенной, выше уровня отдельных кварков, что и является частью проблемы. Представьте, что можно показать на обвал рынка и сказать «Это не кварк!». Похоже на объяснение? Нет? Ну так и «Это эмерджентный феномен!» тоже не подходит.

Я протестую против прилагательного «эмерджентный», а не против глагола «появляется». Нет ничего плохого во том, чтобы сказать «X появляется на основе Y», где Y — специфическая, детальная модель с динамическими частями. «Возникает на» — еще один способ выразить ту же мысль: гравитация возникает из кривизны пространства-времени, в соответствии со специфической математической моделью Общей Теории Относительности. Химия возникает на основе взаимодействия атомов, в соответствии со специфической моделью квантовой электродинамики.

Представим, я буду говорить, что гравитация объясняется «возникновением», или что химия — «возникающий феномен», и утверждать, что это мое объяснение.

Слово «появляется» приемлемо, так же, как и «появляется из» или «вызвано» приемлемы, если ссылаются на специфическую модель, которую можно оценить саму по себе.

Однако, «эмерджентность» обычно используется иначе. Оно используется как объяснение само по себе.

Я уже потерял счет случаям, когда я слышал «Интеллект — эмерджентный феномен!», как объяснение интеллекта. Это применение подходит всем пунктам, характеризующим мистический ответ на мистический вопрос. Что ты узнал, сказав, что интеллект «эмерджентный»? Ты не можешь сделать новых предсказаний. Ты не знаешь ничего о поведении реальных разумов, о чем бы не знал ранее. Это воспринимается как новый факт, но ты не ожидаешь других результатов. Твое любопытство вроде бы удовлетворено, но не накормлено. Гипотеза не имеет динамических частей, нет детализированной внутренней модели для манипуляций. Те, кто предлагают гипотезу «эмерджентности», признаются в своем незнании внутреннего устройства и гордятся этим; они противопоставляют «эмерджентные» науки и «обычные».

И даже после того, как ответ «Как? Эмерджентность!» дан, феномен не перестает быть таинственным и обладать той же непроницаемостью, что и прежде.