Рациональность: От ИИ до Зомби

Если ты когда-нибудь гордился тем, что в дилемме заключенного выбрал сотрудничать, или однажды оспаривал вывод классической теории игр о том, что «рациональнее» предать — что ты скажешь об этой настоящей дилемме заключенного?

PS На самом деле, я не считаю, что рациональные агенты всегда должны предавать в однократной дилемме заключённого, в которой другой игрок выберет сотрудничать, если ожидает того же от вас. Я думаю, что есть ситуации, где два агента могут рационально прийти к (С, С), а не к (П, П) и получить соответствующую выгоду.

Часть своих доводов я изложил при обсуждении задачи Ньюкома. Однако, мы не можем рассуждать о том, возможно ли в этой дилемме рациональное сотрудничество

, пока не избавимся от интуитивного ощущения, что исход (С,С) хорош сам по себе. Если мы хотим понять математику, мы должны научиться видеть сквозь социальный ярлык «взаимного сотрудничества». Если вы чувствуете, что с точки зрения Игрока 1 (С,С) гораздо лучше, чем (П,П), но не чувствуете, что при этом (П,С) гораздо лучше, чем (С,С), то вы пока не понимаете всю сложность этой задачи.

Количественный гуманизм

Пренебрежение масштабом

Элиезер Юдковский

Однажды трём группам испытуемых задали вопрос, сколько они готовы заплатить, чтобы 2 000, 20 000 и 200 000 перелётных птиц не погибли, увязнув в нефти. В ответах были названы суммы 80, 78 и 88 долларов соответственно1. То, что можно принять за бесчувственность, называется пренебрежением масштабом: количество спасённых птиц – масштаб альтруистического действия – мало повлияло на готовность заплатить.

Похожие эксперименты показали, что за очистку всех загрязнённых озёр Онтарио жители Торонто заплатили бы немногим больше, чем за очистку определённого района Онтарио2. Аналогично, жители четырёх западных штатов США за защиту всех 57 заповедников дикой природы в этих штатах заплатили бы лишь на 28% больше, чем за заботу об одном из заповедников3

.

Люди представляют «одинокую обессилевшую птицу с пропитанными чёрной нефтью перьями, которой не спастись» 4. Это представление, этот образ вызывает эмоциональное возбуждение, которое в основном и отвечает за готовность заплатить – и образ во всех трёх случаях один и тот же. Что до масштаба, то на него не обращают внимания – ни один человек не сможет представить 2 000 птиц сразу, не говоря уже про 200 000. Классический вывод состоит в том, что масштаб, растущий по экспоненте, вызывает всего лишь линейное увеличение готовности платить. Возможно, такое линейное увеличение соответствует увеличению времени скольжения взгляда по нулям в числах; это небольшое влияние добавляется к влиянию представления, но не умножает его. Эта гипотеза известна как «оценка по представлению».

Альтернативная гипотеза – «приобретение морального удовлетворения». Люди тратят достаточно денег, чтобы им стало теплее на душе от чувства выполненного долга. Уровень расходов, необходимый для приобретения теплоты на душе, зависит от личных качеств и финансового положения, но уж точно не от количества птиц.

Мы пренебрегаем масштабом, даже если на кону человеческие жизни. По мере увеличения предполагаемого риска хлорирования питьевой воды с 0,004 до 2,43 смертей в год на тысячу человек – в 600 раз – готовность заплатить возрастает с 3,78 до 15,23 долларов5. Барон и Грин не обнаружили эффекта от изменения числа спасённых жизней в 10 раз6

.

В статье «Нечувствительность к ценности человеческой жизни: исследование психофизического ступора» собраны свидетельства того, что сила восприятия человеческих смертей подчиняется закону Вебера и прямо пропорциональна логарифму их количества. Другими словами, порог различия (количество смертей, которое необходимо добавить к имеющимся, чтобы возникло чувство различия) постоянно увеличивается по мере роста общего количества смертей. Так, здравоохранительная программа для беженцев из Руанды получила намного больше поддержки, когда гарантировалось спасение 4 500 людей в лагере из 11 тысяч беженцев, чем тех же 4 500 в лагере из 250 000. Чтобы потенциальное лекарство от болезни посчитали достойным финансирования, оно должно гарантировать спасение значительно большего числа жизней, если изначально утверждалось, что эта болезнь – причина смерти 290 000 людей в год, нежели 160 000 или 15 0007.

Мораль: если вы хотите быть эффективным альтруистом, вы должны задействовать ту часть мозга, что обрабатывает нудные чернильные нули, а не просто переживать о бедной исстрадавшейся пропитанной нефтью птице.

1.Desvousges, W. Johnson, R. Dunford, R. Boyle, K. J. Hudson, S. and Wilson K. N. (1992). Measuring non-use damages using contingent valuation: experimental evaluation accuracy. Research Triangle Institute Monograph 92-1