Рациональность: От ИИ до Зомби

Если что-либо истинно, то неизбежно есть аргументы в его пользу, вследствие чего эксперты видят эти свидетельства и меняют свое мнение (в теории!)

Если мы видим, что эксперт верит во что-либо, мы предполагаем существование некоего абстрактного свидетельства (пусть даже мы не знаем какого именно), и из существования данного свидетельства мы выводим истинность позиции эксперта.

Однако если мы знаем значение узла «Качество аргумента», это Д-отделяет узел «Истина» от узла «Убеждение эксперта», блокируя все пути между ними, в соответствии с определенным техническим критерием для «блокирования путей», который кажется очевидным для такого случая. Даже без проверки точного распределения вероятностей, мы можем из графа понять следующее:

p(истина|аргумент,эксперт)=p(истина|аргумент)

p(истина|аргумент,эксперт)=p(истина|аргумент)

Это не опровержение стандартной теории вероятности. Это просто более компактный путь выражения определенных вероятностных фактов. Вы можете выразить все это и через другие равенства и неравенства в любом подходящем распределении вероятностей — однако вам будет труднее визуально увидеть это. Авторитет и аргумент не являются двумя разными видами вероятности, как и разбрызгиватель не сделан из онтологически разного с солнечным светом вещества.

На практике вы никогда не можете полностью убрать влияние авторитета. Хороший авторитет более вероятно свидетельствует о версии, которую стоит принять во внимание; менее авторитетный источник может оказаться истинным с меньшей вероятностью, что и делает его аргументы менее надежными. Это не тот фактор, что вы можете убрать полностью путем выслушивания свидетельства, которое они учитывают.

Также очень трудно свести аргументы к чистой математике; и в ином случае, судя силу каждого шага можно полагаться на интуиции, которые вы не смогли бы повторить без тех же тридцати лет опыта.

Всегда есть неуничтожимая закономерность, что вы присвоите утверждению Э. Т. Джейнса о вероятности большую степень достоверности, нежели та, что будет вами присвоена аналогичному утверждению Элизера Юдковского. Нельзя считать, что пятьдесят дополнительных лет опыта не будут влиять.

Но на авторитет стоит полагаться только при прочих равных условиях, и он не выдерживает никакой конкуренции с сильными аргументами. Я нашел небольшую ошибку в одной из книг Джейнса — потому что алгебра важнее авторитета.

Ухватить задачу

Элиезер Юдковский

В искусстве рациональности есть дисциплина близости-к-задаче — попытки найти такое свидетельство, которое относилось бы только к самому вопросу настолько близко, насколько возможно, отметая как можно больше других аргументов.

Братья Райт говорят, «Наш самолет полетит». Если вы посмотрите, насколько они авторитетны (механики, чинящие велосипеды и изучавшие физику самостоятельно) и сравните их авторитет скажем с лордом Кельвином, вы обнаружите, что лорд Кельвин явно более авторитетен.

Если же вы будете вынуждены просмотреть вычисления братьев Райт и сможете в них разобраться, после чего проделаете аналогичную процедуру для вычислений лорда Кельвина (у которого вряд ли были какие-то вычисления, а не простое неверие), то значение авторитета будет сильно снижено.

Если же вы видите на самом деле летящий самолет, то вам не нужно заглядывать в вычисления, а авторитет Кельвина можно даже не обсуждать.

Чем плотнее ваши аргументы связаны с вопросом без промежуточных умозаключений — тем ближе наблюдаемые узлы к узлу задачи в Великой Паутине Причин и Следствий — тем сильнее свидетельство. Теорема о причинно-следственных графах говорит что вы никогда не сможете получить больше информации из дальних узлов, чем из расположенных совсем рядом, которые и затмевают дальние.

Джерри Кливер сказал: «Это не неудача в применении какой-то высокоуровневой, замысловатой, сложной техники. Это упущение самых основ. Вроде как не следить за шариком при игре в наперстки».

Подобно тому, как физика может превосходить авторитетность, она также может превосходить и рациональность. Кто был более рационален, братья Райт или лорд Кельвин? Если мы можем проверить их вычисления, то нам не нужно выяснять этот вопрос. Добродетель рационалиста не может заставить самолет полететь.

Если вы забыли об этом принципе, то изучение когнитивных искажений только повредит вам, поскольку вы будете отвлекаться от наиболее прямых аргументов. Довольно легко утверждать, что кто-либо проявляет искажение номер 182 из вашего списка универсальных обвинений, однако вы не сможете решить реальную задачу без наиболее близкого свидетельства. Если есть причины вследствие когнитивных искажений говорить, что светит солнце, это не значит, что от этого внезапно наступит ночь.