Рациональность: От ИИ до Зомби

Я предполагаю, что есть аналогичное искажение в психологически реалистичном поиске, мотивированная остановка и мотивированное продолжение: когда у нас есть скрытый мотив для выбора «лучшего» текущего варианта, у нас есть скрытый мотив остановиться, выбрать и отвергнуть любые другие варианты. Когда у нас есть скрытый мотив отвергнуть лучший текущий вариант, у нас есть скрытый мотив приостановить суждение, ожидая дальнейших свидетельств, чтобы сгенерировать больше вариантов — найти что-нибудь, что угодно, что можно делать вместо того, чтобы приходить к заключению.

Одним из главных исторических скандалов в статистике был Р.А. Фишер, выдающийся основатель области, настаивавший, что нет причинной связи между курением и раком легких. «Корреляция — это не причинность», сделал заключение он на Конгрессе. Возможно курильщики имеют ген, который определяет их склонность как к курению, так и к раку легких.

Или возможно Фишер был нанят как консультант табачными фирмами, которые дали ему скрытый мотив решить, что уже собранные свидетельства недостаточны, чтобы придти к выводу и что нужно продолжать искать. Фишер также сам был курильшиком и умер от рака кишечника в 1962 году.

(ad hominem примечание: Фишер был сторонником частотного подхода. Байесианцы более разумны в отношении выводов о возможной причинности.)

Наподобие многих других форм мотивированного скептицизма, мотивированное продолжение может попытаться замаскироваться под добродетельную рациональность. Кто может спорить против сбора дальнейших свидетельств? Я могу. Свидетельства чаще затратны и хуже, медленнее и определенно нет ничего добродетельного в отказе интегрировать уже имеющиеся свидетельства. Вы всегда можете изменить ваше мнение позже. (Приблизительное возражение может быть сформулировано следующим образом: трата одного часа обсуждения с вашим сознанием тщательно очищенным от всех выводов отлична от ожидания десяти лет на другое 20-миллионное исследование.)

Что касается мотивированной остановки, она проявляется в каждом месте, где боятся третьей альтернативы, и везде, где у вас есть аргумент, очевидный контраргумент которого вы даже не рассматриваете, и еще в паре мест. Она проявляется когда вы следуете курсу действий, который ощущается вами как хороший, так что вы даже не исследуете насколько хорошо на самом деле работает план, в страхе разрушить теплый свет морального удовлетворения, за которое вы платите хорошие деньги. Она проявляется везде, где ваши убеждения и ожидания расходятся, так что у вас появляется причина бояться сбора любых новых свидетельств.

Мораль в том, что решение уничтожить процедуру поиска (временно или навсегда), равно как и сама процедура, является подверженным искажению и скрытым мотивам. Вы должны подозревать мотивированную остановку, когда заканчиваете поиск и приходите к удобному решению, хотя при этом есть множество легкодоступных свидетельств, которые вы еще не собрали — сайты, которые вы можете посетить, контр-контраргументы, которые вы можете рассмотреть, или хотя бы те же пять минут, которые можно твердо выделить на обдумывание лучшего варианта. Вы должны подозревать мотивированное продолжение, когда есть некоторые свидетельства, склоняющие вас на путь, который вам не нравится, но вы решаете, что нужно еще свидетельств — дорогих свидетельств, которые как вы знаете, вы не можете в скором времени собрать, в противоположность тому, чтобы полчаса полазить в Гугле — прежде чем вам нужно будет сделать нечто неудобное.

Фальшивое оправдание

Элиезер Юдковский

Многие христиане, которые на самом деле не являются верующими, настаивают, что они почитают Библию как источник этических советов. Стандартный ответ атеиста на это озвучил Сэм Харрис: «И вы, и я знаем, что достаточно пяти минут размышлений, чтобы найти книгу, которая содержит более цельную и милосердную систему морали, чем Библия». Точно так же, христианин может попытаться утверждать, что Библия ценна как художественное произведение. Но тогда почему не почитать «Властелина Колец», намного превосходящую литературную работу? И несмотря на стандартную критику моральности Толкиена, «Властелин Колец» все равно превосходит Библию и как источник этических норм. Так почему же люди носят на шее кресты, а не кольца? Даже «Гарри Поттер» превосходит Библию как по художественной ценности, так и в области моральной философии. Если бы я на самом деле хотел быть жестоким, я бы сравнил Библию с «Кушиэлем» Жаклин Кэри.

«Как ты можешь оправдывать покупку украшенного драгоценностями лэптопа за миллион долларов, — спрашиваете вы своего друга, — когда так много людей вообще не имеют лэптопов?» Друг отвечает: «Но подумай о поддержке, которую это даст — производителю лэптопов, экспертам, которые выдают решения о таких лэптопах — у них будет на что жить, это стимулирует экономику и в конце концов многие люди получат свои лэптопы». Но было бы куда эффективнее купить 5000 обычных лэптопов, таким образом обеспечив поддержку производителю и выдачу лэптопов напрямую.