Рациональность: От ИИ до Зомби

Книга 6 - Становясь Сильней. Как люди и сообщества могут применить все это на практике? Эти три цепочки начинаются с автобиографической истории о самых серьезных философских промахах Юдковского, сочетающейся с советами о том, как другие люди могут избежать подобных. Книга заканчивается рекомендацией по разработке курса обучения прикладной рациональности, основанной (основана рациональность, а не рекомендация (прим. перев.)) на фактических данных. И по формированию групп и институтов для поддержки заинтересованных студентов, педагогов, исследователей и друзей.

Еще цепочки дополнены «интерлюдиями», эссе с личного сайта Юдковского (http://www.yudkowsky.net). Они связаны с разными цепочками, например, «Двенадцать добродетелей рациональности» лирически суммируют множество уроков «Рациональности: от ИИ до Зомби», и часто цитируются в эссе.

Кликнув на звездочку в конце каждого эссе, вы попадете на оригинальную версию с сайта Less Wrong (так можно оставить комментарий) или с сайта Юдковского. Также вы можете обнаружить словарь терминов на http://wiki.lesswrong.com/wiki/RAZ_Glossary.

Карта и территория

Первая книга начинается с цепочки о когнитивных искажениях: «Предсказуемо неправы». Книга не ограничена этой темой: плохие привычки и плохие идеи тоже имеют значение, даже если они становятся следствием содержания нашего разума, а не его структуры. Таким образом, эволюционировавшие и изобретенные будут показаны в цепочках, начиная с дискуссии в «Ложных Убеждениях»

 о том, как ожидания расходятся с декларированными убеждениями.

Оценка иррациональности была бы неполной без теории, описывающей рациональность, или если «теория» будет состоять из смутных трюизмов, без точного объяснительного механизма. Цепочка «Замечая замешательство» раскрывает вопрос: почему полезно основывать поведение на «рациональных» ожиданиях и как это ощущается изнутри.

Дальше, «Загадочные ответы» ставит вопрос: способна ли наука решить эти проблемы для нас. Ученые основывают свои модели на повторяемых экспериментах, а не на спекуляциях и слухах. Наука также имеет великолепную репутацию в сравнении с историями, религией и… Да в сравнении с чем угодно имеет. Стоит ли волноваться по поводу «ложных» убеждений, ошибки подтверждения, ошибки знания задним числом и им подобных, если мы работаем с сообществом людей, желающих объяснять феномены, а не рассказывать трогательные истории?

За этим следует «Простая Истина», отдельная аллегория о природе знания и убеждений.

Однако именно когнитивные искажения предоставляют наиболее ясное и прямое представление о нашей психологии, виды эвристик и логику наших ограничений. Именно с искажений мы и начнем. Строка в Чжуан-цзы, пре-Даосского философского трактата, гласит: «Ловушка для рыбы существует из-за рыбы, заполучив рыбу, ты можешь позабыть о ловушке» 24.

Приглашаю исследовать эту книгу именно в таком духе. Используйте ее так, как использовали бы ловушку для рыбы, всегда внимательно следя за целью, для которой вы ее используете. Берите то, что можете использовать, то, что будет полезным, остальное — отбросьте. И пусть ваша цель послужит вам верно.

Благодарности

Я чрезвычайно признателен Nate Soares, Elizabeth Tarleton, Paul Crowley, Brienne Strohl, Adam Freese, Helen Toner и десяткам волонтеров, вычитывавших эту книгу.

Отдельно от всей души хочу сказать спасибо Alex Vermeer, который помог довести эту книгу до конца, и Tsvi Benson-Tilsen, который прочел ее от корки до корки, чтобы убедиться в удобочитаемости и связности изложения.

Что такое рациональность

Элиезер Юдковский

Здесь под «рациональностью» имеется в виду:

Эпистемическая рациональность: образ действий и мыслей, укрепляющий соответствие между местностью и её когнитивной картой, корректировка убеждений в свете новой информации. Искусство обретения убеждений, согласующихся с реальностью настолько близко, насколько возможно. Это соответствие обычно называют «точностью», «правдивостью» или «правильностью», и нас удовлетворяет подобное обозначение.

Инструментальная рациональность

: реализация ваших ценностей. «Ваших» не обязательно в смысле «личных» или «эгоистичных»: «твоей ценностью» может быть любая вещь, которая тебе небезразлична. Искусство направлять будущее в сторону более устраивающих тебя результатов. На LW это порой называется «выигрыванием».

Если это кажется довольно неплохим определением, вы можете прекратить чтение здесь; в ином случае продолжаем.