Такой человек, как любой раб или жертва «промывания мозгов», имеет моральное право взбунтоваться. Рано или поздно некоторые и вправду бунтуют, как и рабы. ОИИ может представлять опасность – но и люди тоже. Однако люди и ОИИ, принадлежащие к открытому обществу, лишены внутренней склонности к насилию. Роботического апокалипсиса возможно избежать, если гарантировать, что всем доступны полные «человеческие» права и культурные привилегии, положенные «настоящим» людям. Члены открытого общества – единственного стабильного общества – сами выбирают свои награды, как внутренние, так и внешние. Их решения, как правило, не определяются страхом наказания.
Нынешние опасения по поводу «злобного» ОИИ заставляют вспомнить извечное недовольство буйными молодыми людьми: мол, они растут, игнорируя моральные ценности культуры. Но сегодня источником всех опасностей, связанных с увеличением знаний, выступает не буйная молодежь, а оружие в руках врагов цивилизации, будь то умственно извращенный (или порабощенный) ОИИ, психологически обработанные подростки или любое другое оружие массового поражения. К счастью для цивилизации, чем сильнее творческий потенциал человека завязан на мономаниакальный канал, тем больше этот человек страдает от преодоления непредвиденных трудностей, и так было на протяжении тысячелетий.
Не стоит беспокоиться насчет того, что ОИИ олицетворяет собой некую уникальную опасность в силу использования более совершенного оборудования, поскольку человеческая мысль тоже получит развитие благодаря тем же самым технологиям. Мы опираемся на техническую мысль с момента изобретения письма и счета. Столь же ошибочны страхи по поводу того, что ОИИ будет мыслить настолько качественно, что люди сравняются в его восприятии с насекомыми в восприятии людей. Мышление как таковое есть разновидность вычислений, и любой компьютер, «репертуар» функций которого включает в себя универсальный набор элементарных операций, может эмулировать вычисления любой другой машины. Следовательно, человеческий мозг может мыслить точно так, как будет мыслить ОИИ, подчиняясь лишь ограничениям скорости обработки данных и объема памяти, что можно компенсировать технологиями.
Вот простые правила, что можно и чего не следует ждать от ОИИ. Но как нам создать ОИИ? Можем ли мы заставить этот интеллект развиться из «популяции» ИИ (как люди из обезьян) в виртуальной среде? Если бы такой эксперимент удался, он был бы самым аморальным в истории, ибо нам неведомо, как достичь результата, не причиняя колоссальных страданий. Мы также не знаем, как предотвратить развитие статичной культуры.
Элементарные учебники по информатике объясняют, что компьютеры – это АПБ, абсолютно послушные болваны; вдохновляющая аббревиатура, не правда ли? Она отражает суть всех нынешних компьютерных программ: они понятия не имеют, что и как делают и почему. Потому бессмысленно наделять ИИ все новыми и новыми конкретными функциональными возможностями в надежде, что он в конечном итоге выполнит некое «провидческое» обобщение – и превратится из ИИ в ОИИ. Мы стремимся к обратному, наш идеал – НАМА: непослушный автономный мыслящий автомат[109]
.Как можно проверить мышление? По тесту Тьюринга? К сожалению, тут необходимо привлекать посредника. Можно вообразить некий масштабный проект в интернете: ИИ оттачивает свои мыслительные способности в беседах с людьми-посредниками и становится ОИИ. Но это предполагает, помимо прочего, что чем дольше посредник сомневается, программа перед ним или человек, тем ближе он к тому, чтобы признать собеседника человеком. Ожидать такого нет оснований.
А как можно проверить непослушание? Вообразим непослушание как обязательный школьный предмет с ежедневными уроками и экзаменом в конце семестра? (Предположительно с дополнительными баллами за то, что не посещал уроки и не пришел на экзамен?) Очевидная глупость.
Значит, несмотря на свою полезность в других приложениях, методика определения цели для проверки и обучения программы ее достижению должна быть отброшена. По правде говоря, я считаю, что любое тестирование при разработке ОИИ может оказаться контрпродуктивным и даже аморальным, как и в образовании людей. Я разделяю гипотезу Тьюринга о том, что мы узнаем ОИИ, когда он предстанет перед нами, но эта способность распознавать успех не поможет созданию успешной программы.