Рациональность: От ИИ до Зомби

О’Брайен поднял левую руку, тыльной стороной к Уинстону, спрятав большой палец и растопырив четыре.

— Сколько я показываю пальцев, Уинстон?

— Четыре.

— А если партия говорит, что их не четыре, а пять, — тогда сколько?

— Четыре.

На последнем слоге он охнул от боли. Стрелка на шкале подскочила к пятидесяти пяти. Все тело Уинстона покрылось потом. Воздух врывался в его легкие и выходил обратно с тяжелыми стонами — Уинстон стиснул зубы и все равно не мог их сдержать. О’Брайен наблюдал за ним, показывая четыре пальца. Он отвел рычаг. На этот раз боль лишь слегка утихла.»

Я постоянно ужасаюсь вроде бы умным людям — таким как коллега Робина Тайлер Коувен — которые не думают, что бороться с искажениями важно. Это же ваше мышление, говорим мы. Ваш интеллект. Он отделяет вас от обезьяны. Он создал весь наш мир. Вы не думаете, что то, как работает наше мышление — важно? Вы не думаете, что систематические сбои в нашем разуме важны? Вы думаете, что инквизиция пытала бы ведьм, если бы все люди были идеальными байесианцами?

Тайлер Коувен похоже считает, что преодоление искажений также можно считать искажением: «Я рассматриваю блог Робина как пример искажения, которое показывает что искажение может быть весьма полезно.» Я надеюсь, что это только результат слишком абстрактного мышления в попытках звучать умнее. Неужели Тайлер серьезно думает, что сфера нечувствительности к человеческой жизни стоит на одном уровне с попытками спасти как можно больше человеческих жизней?

Оруэлл был вынужден бороться с похожим отношением — что признавать различия это всего лишь юношеская наивность:

«Стюарт Чейз и другие пришли к выводу, что все абстрактные слова бессмысленны, после чего использовали это как предлог для пропаганды своего рода политической пассивности. Если вы не знаете что такое фашизм, то как вы можете с ним бороться?»

Возможно исправление искажений не выглядит особо интересным, если рассматривать его как борьбу против редких случайных ошибок. Возможно труднее заинтересоваться этим, если нет четко видимого врага, которому нужно противостоять. Так что дайте нам прояснить, что всюду, где в мире есть человеческое зло, всюду где есть несправедливость и жестокость и целенаправленное убийство — всегда есть искажения, которые окружают эти явления. Там, где люди с ясностью противостоят искажениям, скрытое зло отступает. У истины есть враги. Если бы Overcoming Bias выпускало бы бюллетень в Советском Союзе, то каждый автор и каждый комментатор были бы отправлены в лагеря.

Во всей человеческой истории каждый великий шаг вперед был сделан под влиянием новой ясности мысли. За исключением нескольких природных катастроф, каждое великое горе произошло под влиянием глупости. Наш последний враг — мы сами; это война и мы солдаты на ней.

Против рационализации

Знание искажений может вредить

Элиезер Юдковский

Как-то раз я пытался рассказать маме о проблеме калибровки экспертов. Я сказал: «Когда эксперт говорит, что уверен в событии на 99%, оно случается только в 70% случаев». Повисла тишина, я вдруг осознал, что говорю с мамой, и поспешно добавил: «Конечно, ты должна быть осторожна с этим знанием и применять его к себе, а не пользоваться им против тех, с кем не согласна».

Она ответила: «Серьёзно? Это восхитительно! Я буду ссылаться на это постоянно!»

Работа Тейбера и Лоджа «Мотивированный скептицизм в оценке политических убеждений» (англ. Motivated skepticism in the evaluation of political beliefs) описывает шесть явлений:

Эффект предшествующего отношения. Испытуемые, у которых уже есть ясная позиция, находят доводы в пользу своей точки зрения охотнее, чем в пользу обратной. Это происходит, даже если их поощряют быть беспристрастными.

Систематическая ошибка опровержения. Люди тратят больше времени и сил, чтобы найти слабые места в аргументах против своей позиции, нежели в поддерживающих её.

Систематическая ошибка подтверждения. Работая с источниками, испытуемые ищут те, которые подтверждают их позицию, а не опровергают.

Поляризация мнений. Когда группе испытуемых предлагают уравновешенный список доводов за и против, их изначальные разногласия только усиливаются.

Эффект силы мнения. Чем радикальнее мнения людей, тем более они подвержены названным выше искажениям.

Эффект сноровки. Испытуемые, искушённые в политике, легче оспаривают неприятные наблюдения и доводы. Поэтому они сильнее подвержены искажениям.

Если вы мыслите иррационально, то новые знания могут вам навредить. Для истинных байесианцев информация никогда не наделена отрицательной ожидаемой полезностью. Но люди — не совершенные байесовские мыслители. Мы можем сделать себе хуже, если неосторожны.

Я видел тех, кого подвело знание искажений. Оно было оружием, что разносило вдребезги любой довод, который приходился этим людям не по душе. Умение делать это — среди главных причин того, что люди с высоким интеллектом ведут себя глупо. (Станович называет это явление дисрациональностью.)