Рациональность: От ИИ до Зомби

Почему кто-либо, даже очень религиозный человек, может думать, что это может хоть как-нибудь помочь ответить на вопрос о первопричине? Почему вопрос «откуда взялся Бог?» автоматически не всплывает в разуме? Утверждения «Бог не может иметь причины» или «Бог создал Себя Сам» приводят нас в то же состояние, что и «время началось вместе с Большим Взрывом». Далее следует спросить, почему существует вся эта метасистема, или почему какие-то явления могут иметь причину, а какие-то не могут.

Я ставлю цель не обсудить мнимый парадокс первопричины, а задаться вопросом, почему кто-то считает, что восклицание «Бог!» может разрешить парадокс. Восклицание «Бог!» говорит о принадлежности племени, и поэтому у людей возникает соблазн делать это как можно чаще — иногда это утверждение можно услышать даже в ответ на «почему ураган обрушился на Новый Орлеан?». Но всё же… Совершенно очевидно, что 

в этой конкретной головоломке «Бог» ничем не помогает. Бог не смог бы сделать парадокс менее парадоксальным, даже если бы существовал. Как можно этого не замечать?

Джонатан Уоллес предположил, что «Бог!» работает, как семантический стоп-сигнал:

это не столько сознательное утверждение, сколько дорожный знак на трассе для мыслей, говорящий «дальше не думай, проезд закрыт». Восклицание «Бог!» не разрешает парадокс, а, скорее, устанавливает в нужном месте дорожный знак, чтобы остановить цепочку естественных вопросов и ответов.

Но ты — хороший и правильный атеист, и, разумеется, ни за что не попадёшься в ловушку. Но семантические стоп-сигналы не исчерпываются восклицанием «Бог!», это лишь наглядный пример.

Трансгуманистические технологии — молекулярная нанотехнология, продвинутые биотехнологии, генетическая инженерия, искусственный интеллект, и так далее — ставят нас перед лицом нелёгких политических вопросов. В какой степени правительство должно вмешиваться в выбор генов будущего ребёнка его родителями, или оно не должно вмешиваться вообще? Если родители желают дать ребёнку ген шизофрении, то следует ли им это позволить? Если улучшение интеллекта — крайне дорогостоящая процедура, то должно ли государство её обеспечивать, чтобы не допустить возникновения когнитивной элиты? Эти задачи могут выполнять различные общественные институты — например, частные благотворительные фонды, оказывающие финансовую помощь в усилении интеллекта — но в ответ на каждое такое предложение неизбежно возникает очевидный дальнейший вопрос: «Справится ли этот институт со своей задачей?». Изготовление опасных нанотехнологий может караться судебными исками, но сработает ли такая схема?

Один из моих знакомых знает ответ на любой из этих вопросов: «Либеральная демократия!». Это всё. В этом и заключается его ответ. Если же попытаться спросить: «А насколько хорошо в мировой истории либеральные демократии справлялись с такими сложными задачами?» или «А если либеральная демократия совершит глупость?», тогда вы станете автократом, либертопианцем, или просто очень, очень нехорошим человеком. Никто не имеет права сомневаться в демократии.

Как-то я назвал такие размышления «божественной привилегией демократии», но точнее будет сказать, что «Демократия!» была его семантическим стоп-сигналом. Если бы кто-нибудь заявил: «Пусть всё это решает «Газпром»!», то он бы начал задавать очевидные вопросы: «Почему? Что «Газпром» может тут сделать? Почему ему можно доверять в таких вопросах? Что насчёт его прошлого опыта в решении похожих по сложности задач?»

Или, представим, что кто-нибудь заявляет: «поляки строят заговор, чтобы убрать кислород из атмосферы Земли». Ты наверняка задашься вопросом зачем им это надо, чем они будут дышать и способны ли они вообще тайно преследовать единые цели. Если ты не задаёшь дальнейших вопросов после утверждения «Корпорации планируют убрать кислород из атмосферы Земли», то слово «корпорации» сработало тут как семантический стоп-сигнал.

Не забывай, что понятие «семантический стоп-сигнал» нельзя превращать в обобщённый контраргумент против вещей, которые тебе не по душе («Да ну, это просто бессмыслица, приправленная семантическими стоп-сигналами!»). Слово не может быть стоп-сигналом само по себе; вопрос заключается в том, производит ли оно этот эффект на конкретного человека. Сильные эмоции по отношению к чему-то

 — недостаточное основание для того, чтобы назвать это стоп-сигналом. Я не одобряю террористов и не испытываю страха перед частной собственностью, но это не означает, что слова «террористы» или «капитализм» выполняют функции дорожных знаков в моём мышлении (когда-то такой эффект имело слово «интеллект», но это уже в прошлом). Главная черта семантического стоп-сигнала — нежелание рассмотреть следующий очевидный вопрос.

Таинственные ответы на таинственные вопросы

Элиезер Юдковский