Рациональность: От ИИ до Зомби

Это то, от чего я стараюсь предостеречь, говоря, что рационалисты должны выигрывать. Не скулить, а выигрывать. Если вы продолжаете проигрывать, возможно, вы делаете что-либо не так. Не утешайте себя тем, как вы были замечательно рациональны, если вы проиграли. Это не то, как должно все идти. Это не рациональность неправильна, это вы неправильно используете рациональность.

Это касается и эпистемологической рациональности, если вы осознаете, что думаете о убеждении Х как о разумном (потому что большинство людей верят в это же или просто потому что оно звучит привлекательно), хотя сам по себе мир определенно демонстрирует Y.

Но люди, похоже, понимают это иначе, нежели я имею в виду — словно любой, кто объявляет себя рационалистом, мгновенно преисполняется непобедимого духа, что позволяет им получать все что угодно без усилий и без каких-либо помех или чего-то подобного, я не знаю.

Возможно, альтернативную фразу можно найти у Мусаси, который сказал: «Путь школы Ити — это дух выигрывания, вне зависимости от длины и формы твоего клинка».

«Рациональность — это дух выигрывания»?

«Рациональность — это путь выигрывания»?

«Рациональность — это систематизированное выигрывание»?

Ученые уже всё это знают?

Элиезер Юдковский

poke утверждает:

«Умение выдвигать относящиеся к делу гипотезы – важный навык, развивая который, ученый проводит значительную часть своего времени. Это может не входить в традиционное описание науки – что не означает его отсутствия в институте современной науки, который добывает подлинное, актуальное знание здесь, в реальном мире: несовершенно ваше описание, а не наука».

Знаю, что я называл себя в молодости «глупым», но это лишь словесный оборот; «неумелое владение высоким интеллектом» было бы точнее. Элиезер18 обычно не делал очевидных ошибок – только его «очевидное» не было моим «очевидным».

Нет, я не проходил традиционное обучение. Но когда я оглядываюсь и вижу, что Элиезер18 делал неверно – я вижу множество современных ученых, делающих те же ошибки. Я не вижу ни одного признака, что они были предупреждены лучше, чем я.

Сэр Роджер Пенроуз – физик мирового уровня – все еще полагает, что сознание имеет причиной квантовую гравитацию. Предполагаю, что никто никогда не предупреждал его о таинственных ответах на таинственные вопросы – ему говорили лишь, что его гипотезы должны быть фальсифицируемы и иметь наблюдаемые следствия. Как и Элиезеру18.

«Cознание имеет причиной квантовую гравитацию» имеет проверяемые следствия. Сказанное подразумевает, что можно взглянуть на нейроны и обнаружить когерентную квантовую суперпозицию1, (которая, коллапсируя2?) способствует обработке информации, и что вы никогда не сможете воспроизвести поведение на входе-выходе нейрона, используя расчетную микроанатомическую симуляцию…

… но даже после того, как вы сказали: «Сознание имеет причиной квантовую гравитацию», вы не сможете на этой основе предсказать, как именно ваш мозг помыслит «Я мыслю, следовательно, я существую!» или таинственную красноту красного – даже если вы думаете, что тем самым прояснили вопрос.

Это громадный знак опасности – теперь я понимаю, но это не знак опасности, о которой я был предупрежден, и я сомневаюсь, что Пенроузу когда-либо говорил о ней его научный руководитель. Сомневаюсь, что и Нильс Бор был когда-либо предупрежден о ней, когда пришло время формулировать Копенгагенскую интерпретацию.

Насколько я могу сказать, причина, по которой Элиезер18, и сэр Роджер Пенроуз, и Нильс Бор не были предупреждены, в том, что не существует общепринятого предупреждения.

Я не обобщал понятие «таинственных ответов на таинственные вопросы» в столь многих словах, пока не начал писать байесианский анализ того, что отличает технические, нетехнические и полутехнические научные объяснения.

Сейчас, конечный результат того анализа может быть сформулирован не-технически в терминах четырех знаков опасности:

объяснение действует скорее как затычка для любопытства, чем как управление ожиданием.

у гипотезы нет подвижных частей – секрет не в особом составном механизме, а в явно неделимом веществе или силе.

те, кто предлагает объяснение, лелеют свое невежество; они с гордостью говорят, как явление одерживает победу над обычной наукой или как оно непохоже на обычные природные явления.

даже после того, как ответ дан, явление остается тайной и наделено теми же качествами удивительной необъяснимости, которые у него были изначально.