Рациональность: От ИИ до Зомби

К тому же, если вы захотите увеличить Сеть 1, это потребует O(N2)O(N2) соединений, где NN - число наблюдаемых характеристик.

А как можно построить более реалистичную сеть?

В такой сети активируются сначала узлы, отвечающие за наблюдаемые характеристики, от них сигнал идет к центральному узлу, а от него к еще не активированным (отвечающим за ненаблюдаемые характеристики) узлам. Это означает, что мы можем вычислить ответ за один шаг, а не ждать, пока сеть успокоится. С точки зрения биологии это очень важно, ведь нейроны работают с частотой в 20 герц. И расширение сети с такой архитектурой требует O(N)O(N) новых соединений, а не O(N2)O(N2).

Следует признать, что некоторые выводы делать проще, используя сеть с архитектурой первого типа, чем второго. В Сети 1 каждые два узла соединены напрямую. Поэтому если красные объекты не светятся в темноте, но красным мохнатым объектам обычно свойственны и другие характеристики сияйца, вроде яйцевидности и ванадия, Сеть 1 может это легко воспроизвести. Потребуется лишь несколько сильных отрицательных связей от цвета к светимости и более сильных положительных связей от текстуры ко всем остальным узлам кроме светимости.

Но это не означает, что в правиле «сияйца светятся в темноте» появилось «особое исключение». В Сети 1 нет узла, отвечающего за «сияйцность». Сияйцность появляется как аттрактор в распределенной сети.

Поэтому, да, от этих N2N2 соединений бывает польза. Но не часто. В реальных задачах мы редко наблюдаем животных, которые наполовину похожи на кошку, а наполовину — на собаку, и Сеть 1 для большинства таких реальных задач не подходит.

(Кроме того, есть факты, которые трудно воспроизвести как на Сети 1, так и на Сети 2. Предположим, что если лазурный цвет и сферическая форма встречаются одновременно, то это всегда означает наличие палладия. Однако, если эти характеристики присутствуют поодиночке, это является сильным свидетельством в пользу наличия ванадия. Если не вводить дополнительные узлы, на обеих сетях такое явление будет трудно воспроизвести. Архитектура и Сети 1, и Сети 2 неявно содержит предположение о том, какие связи между характеристиками возможны в реальности. В машинном обучении детей от взрослых отличает именно способность видеть такие неявные предположения.)

На самом деле, ни Сеть 1, ни Сеть 2 не похожи на реальные биологические системы. Однако, судя по всему, имеет смысл предполагать, что работа мозга в каком-то смысле ближе к Сети 2, чем к Сети 1. Сеть 2 быстрая, простая, масштабируемая и хорошо подходит для различения кошек от собак. Естественный отбор приходит к чему-то подобному точно так же, как вода стекает со склона холма.

Кажется, будто в задаче классификации объектов как сияиц или крубов и распределении их по корзинам нет ничего сложного. Но сможете ли вы заметить, что лазурные объекты никогда не светятся в темноте?

Возможно, вы обратите на это внимание, если окажетесь перед двадцатью объектами, которые будут различаться во всём, кроме лазурного цвета, и кто-нибудь выключит свет, и ни один из объектов не засветится. Другими словами, если ситуация будет такова, что не заметить отсутствие свечения в темноте будет почти невозможно. Возможно, когда вы понаблюдаете за всеми этими объектами вместе, ваш мозг сформирует новую подкатегорию и сможет определять характеристику «не светится» внутри этой подкатегории. Но если лазурные объекты будут рассеяны в куче из сотни других сияиц и крубов, то вы, скорее всего, ничего не заметите. Замечать подобные связи между характеристиками трудно и не интуитивно - по сравнению с различением кошек и собак.

Или: «Сократ - человек, все люди смертны, следовательно, Сократ смертен». Как Аристотель узнал, что Сократ был человеком? Ну, у Сократа не было перьев на теле, его ногти были плоскими, он был прямоходящим, говорил на греческом и, в целом, имел человеческую форму и вел себя как человек. И мозг решает — раз и навсегда, — что Сократ является человеком, и делает из этого вывод, что, как и все люди, которых он до этого наблюдал, Сократ тоже смертен. Вопрос о том, насколько ношение одежды связано со смертностью сильнее, чем умение говорить, кажется сложным и не интуитивным. Просто «то, что носит одежду и разговаривает — люди» и «люди смертны».

Существуют ли искажения, связанные с попыткой распределить объекты по категориям раз и навсегда? Разумеется, существуют. Например, читайте статью «Культовая контркультовость».

Продолжение следует…

Как алгоритм ощущается изнутри

Элиезер Юдковский

«Если в лесу падает дерево, и никто этого не слышит, то создаёт ли дерево звук?» Однажды я видел, как из-за этого вопроса разгорелся настоящий спор — совершенно наивный спор, который вообще не имел никакого отношения к берклианскому субъективизму. Просто:

— Оно производит звук, как и любое другое падающее дерево!

— Но что это за звук такой, которого никто не слышит?