Рациональность: От ИИ до Зомби

Albert Hastorf and Hadley Cantril, “They Saw a Game: A Case Study,” Journal of Abnormal and Social Psychology 49 (1954): 129–134, http://www2.psych.ubc.ca/~schaller/Psyc590Readings/ Hastorf1954.pdf.

Pronin, “How We See Ourselves and How We See Others.”

Robert P. Vallone, Lee Ross, and Mark R. Lepper, “The Hostile Media Phenomenon: Biased Perception and Perceptions of Media Bias in Coverage of the Beirut Massacre,” Journal of Personality and Social Psychology 49 (1985): 577–585, http://ssc.wisc.edu/~jpiliavi/965/hwang.pdf.

Hugo Mercier and Dan Sperber, “Why Do Humans Reason? Arguments for an Argumentative Theory,” Behavioral and Brain Sciences 34 (2011): 57–74, https://hal.archives-ouvertes.fr/file/index/docid/904097/filename/Mercie…

.

Richard E. Nisbett and Timothy D. Wilson, “Telling More than We Can Know: Verbal Reports on Mental Processes,” Psychological Review 84 (1977): 231–259, http://people.virginia.edu/~tdw/nisbett&wilson.pdf.

Eric Schwitzgebel, Perplexities of Consciousness (MIT Press, 2011).

Jonathan Haidt, “The Emotional Dog and Its Rational Tail: A Social Intuitionist Approach to Moral Judgment,” Psychological Review 108, no. 4 (2001): 814–834, doi:10.1037/0033-295X.108.4.814.

Scott Alexander, “Why I Am Not Rene Descartes,” Slate Star Codex (blog) (2014), http://slatestarcodex.com/2014/11/27/why-i-am-not-rene-descartes/

.

Luke Muehlhauser, “The Power of Agency,” Less Wrong (blog) (2011), http://lesswrong.com/lw/5i8/the_power_of_agency/.

Чрезвычайно удобные оправдания

Правильная скромность

Элиезер Юдковский

Давно известно, что хорошая наука требует некоторой скромности. Какой именно скромности — это вопрос другой.

Представим креациониста, который говорит: «Но откуда нам точно знать, что теория эволюции верна? Это просто теория. Вам стоит вести себя скромнее и учитывать все мнения». Это скромность? Креационист проявляет крайне избирательную недоуверенность, отказываясь включить в свою картину мира огромное количество свидетельств, которые приведут к некомфортному для него выводу. Я бы сказал, что независимо от того, «скромность» это или нет, это неверное па в танце.

А как насчет инженера, который скромно разрабатывает дополнительные механизмы безопасности для оборудования, даже будучи абсолютно уверенным, что оборудование не сломается? Такой вид скромности кажется мне хорошим. В истории было немало случаев, когда инженер был абсолютно уверен в том, что машина не сломается, а потом она ломалась. Что насчет студента, который перепроверяет свои ответы на контрольной по математике? Это я бы тоже отнес к хорошей скромности.

А что насчет студента, который говорит: «Не важно, сколько раз я проверю свои ответы, всё равно я никогда не смогу быть до конца уверен, что они верны», и поэтому не проверяет их вообще? Возможно, действия студента из предыдущего примера вызваны схожими эмоциями. Но студент из предыдущего примера поступает более разумно.

Вы предлагаете этому студенту заниматься усерднее, на что он отвечает: «Нет, мне это не поможет. Я же не такой умный, как ты. С моими скромными способностями мне нет смысла даже надеяться на результаты получше». Это социальная сдержанность, а не скромность. Она связана с положением в племени, а не с научным подходом. Если вы просите кого-то «быть скромнее», по умолчанию эти слова ассоциируются с социальной сдержанностью, которая является интуитивным, унаследованным от предков, ежедневно используемым инструментом. Научная скромность - относительно недавнее и более тонкое изобретение, и по своей сути не относится к общественным отношениям. Вы сможете применить научную скромность, даже находясь в одиночестве в космическом скафандре за много световых лет от Земли, где никто не может вас видеть. Или даже в том случае, если вы получите абсолютную гарантию того, что никто и никогда больше не будет вас критиковать, независимо от того, что вы сделаете или подумаете. Перепроверка своих вычислений и в этих ситуациях будет мудрым решением.

Наш студент говорит: «Но я видел, как другие студенты перепроверяли свои ответы и всё равно их ответ оказывался неправильным. Или вдруг мы столкнулись с проблемой индукции и в этот раз 2 + 2 будет равно 5? Что бы я ни делал, я никогда не могу быть полностью уверен». Это звучит очень глубокомысленно и очень скромно. Но вряд ли случайно то, что также студент хочет побыстрее сдать работу, чтобы пойти домой и поиграть в видеоигры.