Рациональность: От ИИ до Зомби

Сейчас я не буду обсуждать настоящие эксперименты о калибровке, которые проводились учеными — вы можете найти их в моей работе «Потенциальное влияние когнитивных искажений на оценку глобальных рисков» — потому что, сходу рассказывая слушателям об этих экспериментах без должной у них подготовки, я нередко был свидетелем того, как они затем использовали их в качестве Универсального контраргумента, который почему-то всегда приходит в голову в тех случаях, когда нужно проигнорировать уверенность оппонента по поводу непонравившегося мнения, и никогда — при анализе своего собственного. Поэтому я стараюсь избегать упоминания экспериментов о калибровке за исключением тех случаев, когда я рассказываю о понятиях рациональности по определенному плану, который включает в себя предупреждения против мотивированного скептицизма.

Как бы то ни было, наблюдаемая калибровка у людей такова: вещи, в которых они «уверены на 99%», происходят не в 99% случаев.

Например, вы заявляете, что на 99,99% уверены в истинности выражения 2 + 2 = 4. Значит, вы только что сказали, что смогли бы сделать 10 000 независимых утверждений с одинаковой в них уверенностью и ошибиться в среднем всего один раз. Может быть, для 2 + 2 = 4 такой невероятный уровень уверенности и возможен: «2 + 2 = 4» является крайне простым выражением как в математическом, так и в эмпирическом смысле, и убеждение в его истинности широко распространено в обществе (не с выражением страстной поддержки, а со спокойным принятием как чего-то само собой разумеещегося). Поэтому, возможно, по поводу истинности этого убеждения все же можно иметь уверенность, равную 99,99%.

Однако я не думаю, что можно иметь уверенность в 99,99% для таких утверждений, как «53 является простым числом». Да, оно кажется верным, но если вы сделаете 10 000 независимых утверждений такого рода — именно так: не просто некий набор утверждений о простых числах, а новое утверждение каждый раз — вы ошибетесь больше, чем однажды. Питер де Бланк рассказывал на эту тему очень забавную историю. (Я просил его больше так не делать.)

Тем не менее, карта — это не территория: если я говорю, что на 99% уверен в истинности 2 + 2 = 4, это не значит, что я думаю, будто «2 + 2 = 4» истинно с 99% точностью, или что «2 + 2 = 4» верно в 99% случаев. Утверждение, относительно которого я высказываю свою уверенность — «2 + 2 = 4 является истинным абсолютно всегда и без исключений», а не «2 + 2 = 4 обычно является истинным».

А что до убеждения в том, что можно иметь уверенность в 100% относительно математических утверждений — перестаньте! Если вы высказываете уверенность величиной в 99,9999%, это значит, что вы можете сделать миллион отдельных утверждений, одно за другим и ошибиться в среднем лишь один раз. Это заняло бы у вас примерно год времени, если бы вы произносили одно утверждение каждые 20 секунд по 16 часов в день.

Высказывая уверенность величиной в 99,9999999999%, вам придется сделать это триллион раз. Теперь вам предстоит говорить в течение ста человеческих жизней и ни разу при этом не ошибиться.

Выскажите уверенность величиной в (1 − 1/гуголплекс) и ваше эго далеко превзойдет эго любого пациента психиатрической клиники, верящего, что он является Богом.

А гуголплекс гораздо меньше, чем даже относительно небольшие среди непостижимых по своему размеру чисел вроде 3^^^3. Но даже уверенность величиной в 1 - 1/3^^^3 ненамного ближе к ВЕРОЯТНОСТИ 1, чем, например, к 90%.

Если даже и этого мало, то гипотетические Темные повелители Матрицы, которые прямо сейчас играются с оцениванием вашим мозгом убедительности этого самого утверждения, преградят дорогу и спасут нас от падения в бездну бесконечной определенности.

Абсолютно ли я уверен в этом?

Разумеется, нет.

Как сказал Рафаль Смигродски:

Я предполагаю, что можно присваивать уверенность меньше 1 к математическим понятиям, которые сами необходимы для определения теоремы Байеса, и при этом все равно иметь возможность ее использовать. Я не полностью уверен в том, что я всегда должен быть уверен не до конца. Возможно, я спокойно могу быть уверенным в чем-то. Но как только я присваиваю утверждению вероятность величиной в 1, пути назад нет. Независимо от того, что я увижу или узнаю, мне придется отвергнуть все, что противоречит моей аксиоме. Мне не нравится идея о том, что у меня больше никогда в жизни не будет возможности изменить свое мнение по поводу определенного вопроса.

0 и 1 не являются вероятностями

Элиезер Юдковский

Один, два и три - это целые числа, как и минус четыре. Если считать в верхнюю или нижнюю сторону, можно встретить еще очень и очень много целых чисел. Как бы то ни было, вы никогда не доберетесь до того, что называется «положительной бесконечностью» или «отрицательной бесконечностью» - поэтому целыми числами они не являются.