Рациональность: От ИИ до Зомби

И наоборот, если ты сказал что-то вопиюще очевидное, а твой собеседник с этим не согласился, то он либо идиот, либо намеренно упирается с целью позлить тебя.

И к тому же, если кто-то рассказывает о какой-то вещи, обоснование которой не очевидно, а затем ждёт от тебя понимания и поддержки, — и возмущается, не найдя их — то он явно безумен.

И я думаю, что этот эффект (вкупе с

иллюзией прозрачности

 и

самоякорением

(English)) объясняет

многие

 аспекты тех легендарных затруднений, с которыми сталкиваются учёные, пытающиеся общаться с обывателями (или даже просто с учёными из других областей науки). Я часто вижу следующую картину: объяснение не удаётся. Популяризатор науки делает

один

 шаг назад, хотя правильным было бы сделать два, или даже больше шагов назад. Слушатель же, в свою очередь, считает, что всё должно стать понятным через один шаг, хотя на самом деле для этого необходимо больше шагов. Обе стороны ведут себя так, словно понятийное расстояние между ними очень мало; будто бы всеобщие знания очень близки к любому новому знанию.

Биолог, говоря с физиком, может обосновать теорию эволюции, сказав, что она — «простейшее объяснение». Но легендарная история науки не впиталась в души большинства остальных людей; они не видят этих столетий, от Ньютона до Эйнштейна, подаривших фразе «простейшее объяснение» весь её потрясающий смысл, превративших её в Слово Силы, что произносится при рождении теорий и высекается на их надгробных камнях. Для не-учёного фраза «но это — простейшее объяснение!» звучит, как любопытный, но вряд ли решающий аргумент; простота не выглядит могущественным инструментом для постижения офисных интриг или для починки автомобиля. Должно быть, биолог слишком ослеплён любовью к своим идеям для того, чтобы непредвзято взглянуть на альтернативные объяснения, которые звучат настолько же убедительно (они звучат убедительно для меня, поэтому они должны звучать убедительно для любого человека из моего окружения).

Биолог может понять, что впервые теория эволюции звучит странновато. Однако, если кто-то отвергает эволюцию даже после того, как биолог рассказал, что это наиболее простое объяснение и пояснил, почему… Ну, видимо, не-учёные просто глупы, и нет смысла с ними разговаривать.

Хорошее выступление должно

проложить понятийный путь

, начинающийся от позиций, которые аудитория

уже знает или принимает

. Если ты задашь недостаточную глубину рекурсии, то в итоге ты будешь просто разговаривать сам с собой.

Каждое новое заявление должно очевидным образом опираться на аргументы, сказанные тобой ранее и принятые аудиторией. Как только эта цепочка нарушается, аудитория начинает считать тебя жертвой секты.

То же самое произойдёт, если ты позволишь себе опираться на аргумент более сильно, чем готовы разрешить слушатели. Например, если ты посчитаешь фразу «эволюция — простейшее объяснение» решающим аргументом (таким она и является), а не любопытным, чуточку забавным нюансом (так она выглядит в глазах человека, не привыкшего чтить Бритву Оккама).

И не давай слушателям намёков на то, что ты считаешь их отставшими от тебя на дюжину понятийных шагов, или то, что ты думаешь, что располагаешь какими-то особыми неизвестными им фундаментальными знаниями. Слушатели не знают о том, что эволюционная психология предсказывает существование дефекта мышления, ведущего к недооценке понятийных расстояний. Они не думают, что у пробок на дороге общения есть какая-то особенная причина. Поэтому их просто будет раздражать твоя снисходительность.

И если ты считаешь, что можешь кратко объяснить понятие «систематической недооценки понятийных расстояний», быстренько бросив пару слов, то вынужден тебя огорчить…

Линза, видящая свои изъяны

Элиезер Юдковский

Свет покидает Солнце, ударяется о шнурки и отпрыгивает прочь; некоторые фотоны входят в зрачок и попадают на сетчатку; энергия фотонов запускает волну нервных импульсов; нервные импульсы доходят до зрительной коры, где на основе оптической информации строится трёхмерная модель, распознанная как развязанные шнурки; и теперь ты убеждён в том, что твои шнурки и в самом деле развязаны.

Вот секрет осознанной рациональности: в этом процессе передачи сцепленности нет ничего магического, и его можно понять. Ты можешь понять, как ты видишь свои шнурки. Ты можешь думать о том, какие когнитивные процессы создают убеждения, отражающие реальность, и какие когнитивные процессы — нет.

Мыши могут видеть, но они не могут понять зрения. Ты можешь понять зрение, и поэтому ты способен на вещи, которые мышам и не снились. Подивись этому несколько секунд, ведь это действительно чудо.