Рациональность: От ИИ до Зомби

Может быть будущие поколения, действуя в соответствии с убеждением, что научное знание - публичное и воспроизводимое, будут помечать как «научные» лишь те статьи, что напечатаны в бесплатных журналах. Ведь если ты требуешь плату за знание, является ли оно знанием человечества? Можем ли мы доверять результатам, если людям приходится платить, чтобы критиковать их? Действительно ли это наука?

Вопрос «Действительно ли это наука» плохо сформулирован. Является ли байесовским свидетельством журнал с закрытым доступом и ценой подписки 20000$ в год? Вместе с частными заявлениями комиссара полиции о том, что Вилки — криминальный босс, думаю я, ответ — «Да». Но следует ли канонизировать журналы с ограниченным доступом как «науку»? Должны ли мы допускать их в защищенный фонд убеждений? Как по мне, так науке послужит больше, если научным будет считаться публичное, воспроизводимое знание в фонде человечества.

Сколько свидетельств понадобится

Элиезер Юдковский

Напомню

, что свидетельство — это «событие, сцепленное с интересующей тебя сущностью последовательностью из причин и следствий», а сцепленность — «событие проявляется по-разному в зависимости от различных состояний цели». Так какое количество сцепленности — сколько свидетельств — требуется для того, чтобы поддержать убеждение?

Начнём с простого вопроса (достаточно простого для того, чтобы можно было получить ответ математически): насколько нужно сцепиться с лотереей, чтобы выиграть? Скажем, есть 70 шаров, вытаскиваемых в случайном порядке, и, чтобы выиграть, нужно, чтобы совпало шесть чисел. Тогда существует 131 115 985 возможных комбинаций, и вероятность того, что произвольный лотерейный билет выиграет, равна 1/131 115 985 (это 0,0000007%). Чтобы выиграть в лотерею, необходимы свидетельства, достаточно избирательные для того, чтобы благоволить одной комбинации, а не 131 115 984 её альтернативам.

Скажем, существуют вероятностные тесты, различающие выигрышные и проигрышные билеты. Например, можно ввести комбинацию в чёрный ящик, который всегда гудит, если комбинация выигрышна, и не всегда гудит, если комбинация проигрышна. Допустим, вероятность этого лишь 1/4 (или, в байесианской терминологии, 

отношение правдоподобия чёрного ящика — четыре к одному: если комбинация была выигрышной, то ящик загудит с вероятностью в четыре раза больше, чем для проигрышной).

Но возможных комбинаций очень много. Если ввести в ящик 20 проигрышных комбинаций, 5 из них (в среднем) заставят его загудеть — просто из-за вероятности ошибиться в 25%. Если ввести в ящик все 131 115 985 возможных комбинаций, то ящик загудит не только после выигрышной, но и после 32 778 996 проигрышных (в среднем).

Этот чёрный ящик не позволит выиграть лотерею, но это лучше, чем ничего. Благодаря ему, вероятность выигрыша вырастает от 1/131 115 985 до 1/32 778 997. Наблюдается прогресс в деле отыскания истины внутри обширного пространства возможностей.

Теперь предположим, что можно использовать второй ящик для того, чтобы проверить комбинацию дважды, независимо

. Оба ящика точно загудят на правильную комбинацию, а вероятность гудка в ответ на неправильную комбинацию — 1/4 независимо для каждого ящика, и поэтому оба ящика загудят на проигрышную комбинацию с вероятностью лишь в 1/16. Можно сказать, что суммарное свидетельство, полученное в результате двух независимых тестов, имеет отношение правдоподобия 16:1. Число проигрышных лотерейных билетов, прошедших оба теста — 8 194 749 (в среднем).

Раз всего возможно 131 115 985 лотерейных билетов, то соблазнительно сказать, что необходимы свидетельства, чья суммарная сила будет примерно 131 115 985 к 1 — то есть нужно событие (или серия событий), в 131 115 985 раз более вероятное при условии, что комбинация выигрышная, чем при условии, что комбинация проигрышная. Но на самом деле этого свидетельства хватит лишь на то, чтобы дать 50% вероятность выигрыша. Почему? Потому что, если применить фильтр этой силы к 131 миллиону проигрышных билетов, то один (в среднем) проигрышный билет его пройдёт. Выигрышный билет тоже его пройдёт, и в результате получатся два прошедших фильтр билета. Вероятность выиграть 50%, если купить можно лишь один.

Лучше посмотреть на ситуацию следующим образом. Вначале, есть 1 выигрышный билет и 131 115 984 проигрышных, поэтому шансы выиграть 1:131 115 984. Шансы ящика загудеть — 1 (для выигрышного билета) к 0,25 (для проигрышного). Умножив 1:131 115 984 на 1:0,25 , получаем 1:32 778 996. После добавления ещё ящика свидетельств, шансы опять умножаются на 1:0,25 , и теперь они равны 1 к 8 194 749: 1 выигрышный билет и 8 194 749 проигрышных.