Рациональность: От ИИ до Зомби

И я отвечаю, «Э, нет, не совсем. Я склонен избегать логического заблуждения обобщения на основе выдуманного свидетельства.»

Некоторые люди понимают сразу и смеются. Другие начинают защищать свое право на использование таких примеров, отрицая, что это заблуждение.

Что плохого в использовании кино или книг как исходной точки обсуждения? В конце концов, никто ведь и не говорит, что это истина. Где же ложь, в чем здесь грех рационалиста? Научная фантастика представляет собой попытку автора представить будущее; почему бы не воспользоваться плодами уже сделанных размышлений, вместо того, чтобы начинать заново?

Не каждый неверный шаг в точном танце рациональности заключается в явно видимом убеждении в чем-то ложном; есть менее заметные пути ошибаться.

Сначала давайте предположим, что научная фантастика представляет собой полноценную рациональную попытку предсказать будущее. Даже наиболее добросовестные писатели в первую очередь повествователи; требования к повествованию непохожи на требования к прогнозированию. Как отметил Ник Бостром:

«Когда в последний раз вы видели фильм о том, как человечество внезапно вымирает (без предупреждения и без того, чтобы его кто-то заменил)? А ведь такой сценарий может быть куда вероятнее, чем сценарий где люди-герои успешно отражают вторжение монстров или роботов, хотя он намного скучнее.»

Художественная литература имеет свои специфические искажения. Но попытки исправить их недостаточно. Повествование никогда не является рациональной попыткой анализа, даже у лучших фантастов, поскольку истории не используют распределения вероятностей. Я покажу это так:

«Боб Меркельфуд с опаской проскользнул в дверь инопланетного звездолета, поглядывая направо и налево (или наоборот) на предмет того, не остались ли где-то ужасные Космические Монстры. У него было только одно оружие, которые было эффективно против них, Космический Меч, который с 30% вероятностью состоял из чистого титана, 20% — обычного железа, 45% — таинственных черных дисков, найденных на развалинах Стоунхеджа и 5% других возможных результатов, слишком незначительных, чтобы их перечислять.

Меркельфуд (хотя был значительный шанс, что на самом деле там была Сьюзан Виффлифуфер) сделал два шага вперед и отпрыгнул назад, когда громкий рев разорвал тишину темного шлюза! Или тихий фоновый гул светлого шлюза! Хотя Амфер и Вуфи (1997) доказали, что Меркельфуд был съеден в тот момент, Споклабакл (2003) указывает на то, что…»

Персонажи могут быть невежественны, однако автор не может сказать три волшебных слова «я не знаю». Протагонист должен следовать единой линии событий в будущее, полной подробностей и окружения истории, от возможной будущей точки зрения Виффлифуфер по поводу феминизма, до цвета ее серег.

Потом все эти обременительные детали и сомнительные предположения упаковываются и получают короткий ярлык, создавая иллюзию, что они являются единым пакетом.

С проблемами, у которых большое пространство ответов, наибольшая трудность не проверка верного ответа, но просто поиск, где именно начать поиск в этом пространстве. Если кто-либо начинает с вопросов о том, будет ли ИИ помещать нас в капсулы как в «Матрице», они сразу начинают со 100-битового предположения, без подтверждения 98 бит свидетельства для определения этого в пространстве ответов как возможности стоящей точного обсуждения. Об этом стоит беспокоиться только после того как первые 98 бит будут подтверждены до почти определенности, что скажет вам, где следует проводить всю работу.

«Предварительный» шаг определения возможностей, стоящих точного обсуждения включает в себя шаги вида: взвешивание того, что вы знаете и не знаете, что вы можете предсказать и чего не можете, приложение сознательные усилий для избежания искажения абсурдности и широких интервалов подтверждения, обдумать, какие вопросы наиболее важны, пытаясь не упустить возможных «черных лебедей» и подумать (заблаговременно) о неизвестных неизвестных. Преждевременный переход к «Матрица: да или нет?» пропускает все это.

Любой профессиональный спорщик знает, что управление определениями в споре — это практически управление исходом спора. Если вы начали с размышлений о Матрице, то в вашей голове станут возникать образы марширующих армий роботов, с трудом побеждающих людей — а не образ суперинтеллекта, похрустывающего нанотехнологическими пальцами. Такая постановка вопроса заставляет фокусироваться на «Мы против них», переводя потом внимание на вопросы типа «Кто победит?», «Кто должен победить?», «ИИ на самом деле будет такой?» Это создает общую атмосферу зрелищности, типа «Каково твое удивительное видение будущего?»

Позабытыми в гулкой пустоте являются: рассмотрения, что возможно более одного варианта реализации ИИ; зависимость будущего от начальных условий; мощь интеллекта, превосходящего человеческий, и аргумент его непредсказуемости; есть люди, которые принимают риски всерьез и стараются предотвратить их.