Рациональность: От ИИ до Зомби

Я касался этой темы прежде чем заговорил о провалах при попытках найти третью альтернативу. Но на самом деле это не мотивированная остановка. Назвать это «мотивированной остановкой» значит подразумевать, что в первую очередь проводился поиск.

В «Нижней строчке» я привел наблюдение, что только настоящие определяющие факторы наших убеждений могут вообще влиять на точность в реальном мире, только настоящие определяющие факторы наших действий могут влиять на нашу эффективность в достижении целей. Кто-то, кто покупает лэптоп за миллион долларов, на деле думая «о, сверкает» и это является настоящей причиной его решения купить лэптоп. Никакое количество оправданий не изменит этого, пока оправдание не будет искренним, заново проведенным процессом поиска, который мог бы изменить решение. По-настоящему мог бы изменить. Большая часть критики проистекает из чувства долга, скорее символической инспекции, а не чего-либо еще. Свободные выборы в стране с одной политической партией.

Чтобы искренне оправдать Библию как объект для восхвалений путем отсылки к ее литературной ценности, вы бы должны были каким-либо образом провести нейтральную вычитку книг-кандидатов, пока вы не найдете книгу с наиболее высокой литературной ценностью. Популярность является одним из разумных критериев для подбора кандидатов, так что я предположу, что вы могли бы закончить чтением Шекспира, Библии и Геделя, Эшера, Баха. (В противном случае было бы достаточно невероятным совпадением найти Библию как кандидата среди миллионов других книг.) Настоящая трудность в пресловутой «нейтральной вычитке». Достаточно легко, если вы не являетесь христианином, но если это не так…

Но конечно же такого не бывает. Никто не делает такого поиска. Выписывать оправдание «литературной ценности» над нижней строчкой «Я люблю Библию» это историческое введение в заблуждение относительно того, как на самом деле нижняя строчка была написана, это как продавать кошачье молоко в качестве коровьего. Нижняя строчка не была выведена из верхних. Это заключение было сделано совсем не так.

Если вы искренне ставите ваш вывод под критику, которая может потенциально изменить его — если критика по-настоящему имеет эту силу — тогда это модифицирует «настоящий закулисный алгоритм» вашего вывода. Это меняет сцепленность вашего вывода в возможных мирах. Но люди переоценивают насколько вероятно они на самом деле могут изменить свое сознание.

Со всеми этими открытыми сознаниями, вы думаете что можно лучше менять убеждения.

Позвольте предположить: Да, вы признаете, что изначально вы решили что хотите купить лэптоп за миллион долларов при мысли «о, сверкает». Да, вы допускаете, что это не тот процесс принятия решения, который совпадает с заявленными вами целями. Но с тех пор вы решили, что на самом деле должны потратить ваши деньги так, чтобы обеспечить лэптопами как можно больше людей. И все еще при этом не нашли более эффективного способа сделать это, кроме как купить лэптоп за миллион долларов — потому что, ух ты, вы даете деньги магазину и стимулируете экономику! Попробуйте-ка побейте это!

Друг мой, у меня имеются сильные подозрения насчет этого потрясающего совпадения. У меня имеются чертовски сильные подозрения что лучший ответ в условиях этого прекрасного, рационального, альтруистического критерия совпадает с идеей, которая изначально пришла вам в голову при помощи другого, не связанного с этим критерием и не имеющего оправдания процесса. Если вы не думаете, что бросая кости, вероятно можно найти верный ответ, насколько же вероятно, что одна и та же идея может являться конечной точкой рационального и иррационального познания?

Неправдоподобно, чтобы вы использовали ошибочное мышление и при этом еще не наделали ошибок.

Это ваша настоящая причина отказа?

Элиезер Юдковский

Иногда люди узнают о моих трансгуманистических убеждениях. Эти убеждения выглядят непохожими на мои идеи о человеческой рациональности. Идеи про сверхинтеллект или дружественный ИИ звучат странно и экзотично. И люди часто сразу же отвергают их.

Если попросить кого-нибудь из них объяснить причину, то не так уж редко в ответ можно услышать:

— Почему я должен верить тому, что говорит Юдковский? У него нет даже докторской степени!

Нередко свидетели такого разговора советуют: «Тебе нужно получить докторскую степень, и тогда люди к тебе прислушаются». Иногда этот совет исходит даже от самого возражающего: «Возвращайся, когда получишь степень!»

Для получения степени есть хорошие и плохие причины, и конкретно эта — плохая.

Враждебная реакция на трансгуманистические тезисы на самом деле может вызываться разными причинами. Большинство из них упираются в соответствие шаблону, они не основаны на какой-то продуманной цепочке рассуждений. Тезис распознается как «странная непонятная идея», или «научная фантастика», или «культ конца света» или «чрезмерный юношеский энтузиазм».