Рациональность: От ИИ до Зомби

Теперь вообразим, что некая любопытная исследовательница сначала выписывает на лист бумаги все признаки обоих ящиков, анализирует их, применяя законы теории вероятности и свои знания, а потом записывает на нижней строчке: «Итак, по моей оценке вероятность того, что в ящике Б алмаз, — 85%». Эта запись — свидетельство чего? Чернила на бумаге появились как результат изучения цепи причин и следствий. Цепочка причинности проходит через все внешние признаки ящиков и зависит от них. В мирах с разными признаками на нижней строчке записана разная вероятность.

Так что записи любопытной исследовательницы сцеплены с наблюдениями о ящиках и через это — с тем, внутри какого из них алмаз. Записи же аргументатора говорят лишь о том, кто назвал бо́льшую цену. Разница между тем, что говорят эти записи, огромна, хотя сами фразы звучат похоже.

Насколько вы хороши как рационалист? Это решает тот способ, который определяет нижнюю строчку ваших умозаключений. Представьте, что нажимаете на педаль тормоза своей машины и слышите странный металлический скрежет. Заменять тормоз вам не хочется. Конечно, можно поискать причины, почему чинить машину не нужно. Но лишь правило, которое решает, какой именно вывод вы рассматриваете, определяет процент возможных миров, в которых вы не разобьётесь, — величину, что отражает ваш успех. Если вы ищете причины не чинить тормоз, то настоящее правило — «не делать дорогого ремонта». Если это хорошее правило, всё в порядке; если плохое — увы. Доводы, которые вы подберёте задним числом и запишете над заключением, уже ничего не изменят.

Дополнение: это эссе — предостережение для вас в ваших собственных выводах, а не универсальное возражение против заключений, которые вам не нравятся. Можно ведь говорить «моя оппонентка — искушённый аргументатор», чтобы сохранять те убеждения, в которые вы верили и раньше. Самый искусный софист мира скажет, что светит солнце, но вокруг останется светло. В следующем эссе рассмотрим этот вопрос чуть подробнее.

О чём свидетельствуют отсеянные свидетельства?

Элиезер Юдковский

В прошлом эссе я обсуждал проблему хитрого аргументатора, которого наняли, чтобы продать вам ящик, где может быть алмаз, а может и не быть. Аргументатор подчёркивает, что на ящике стоит синяя печать, которая на ящиках с алмазами встречается чаще, нежели на пустых. Что это значит с байесовской точки зрения? Должны ли вы послушно обновить свои вероятности — так, как желает аргументатор?

Вы сами видите все признаки, если ящик перед вами. Но что если нет? Представьте, что знаете о ящике лишь то, что рассказал аргументатор. Он говорит только правду, но не обязан сообщать всё, что знает. Каждое его утверждение — полноценное свидетельство; как можно не обновить свои вероятности? Неужели теперь среди возможных миров, где на ящике Б синяя печать, не выше доля тех, в которых лежит алмаз? Согласно Джейнсу, байесианцы всегда должны исходить из всех известных свидетельств, когда рассчитывают вероятности, — иначе могут возникать противоречия. Но выходит, что при достаточно разнообразных наблюдениях аргументатор может убедить вас в чём угодно, подобрав свидетельства на свой вкус. Тут что-то не так.

Взглянем на пример попроще. Перед нами неровная монетка, которая выпадает в двух третях бросков орлом, а в одной трети решкой — или наоборот. Изначально гипозеты о том, в какую сторону у монетки смещение, одинаково правдоподобны. Каждый выпавший орёл — один бит свидетельств смещения в сторону орла; каждая решка — один бит свидетельств смещения в сторону решки. Я подбрасываю монетку десять раз и говорю: «На четвёртом, шестом и девятом броске выпал орёл». Как вы теперь оцените вероятность, что смещение — в сторону орла?

Ответ может быть почти любым в зависимости от того, что заставило меня сказать эти слова, — от того, как я решил, о каких бросках сообщать.

Возможно, я всегда говорю результаты 4-го, 6-го и 9-го бросков, что бы ни выпало на них и на других бросках. Если вы знаете, что я следую такому правилу, то апостериорные шансы — 8:1 в пользу смещения в сторону орла.

Я могу сообщать только о тех бросках, где выпал орёл. Тогда вы знаете, что на остальных семи бросках выпали решки и апостериорные шансы — 1:16 против смещения в сторону орла.

Я могу заранее решить, что назову результаты 4-го, 6-го и 9-го бросков, только если моя апостериорная вероятность смещения в сторону орла окажется больше 98%.

Ну и так далее.

Или посмотрим на задачу Монти-Холла:

В этой игре перед вами три двери. За одной из них лежит 100 000 долларов, а за другими ничего. Ведущая просит выбрать дверь, и вы выбираете первую. Тогда ведущая открывает вторую — за ней пусто. Хотите ли вы открыть третью дверь или же всё ещё первую?