Просвещение продолжается. В защиту разума, науки, гуманизма и прогресса

Но даже если сильный искусственный интеллект и попытается проявить волю к власти, без сотрудничества с людьми он останется беспомощным мозгом в колбе. Кибернетик Рамез Наам попытался остудить страсти вокруг фума, технологической сингулярности и самосовершенствования ИИ по экспоненте:

Представьте себе, что вы супермощный ИИ, запущенный на некоем микропроцессоре (или, скорее, на миллионе таких процессоров). Внезапно вам приходит идея еще более быстрого и мощного микропроцессора, на котором вы бы могли работать. Теперь… вот незадача! Вам нужно произвести эти микропроцессоры, а производство интегральных схем весьма энергозатратно. К тому же вам потребуется сырье из разных уголков мира и стерильная среда, а значит, тамбур-шлюзы, фильтрация воздуха, масса специального оборудования и так далее. Чтобы все это раздобыть, привезти, собрать в одном месте, возвести здания и электростанции, провести испытания и, наконец, собрать процессоры, необходимо время и энергия. Реальный мир встал на пути вашей устремленной вверх спирали самосовершенствования[876]

.

Реальный мир часто становится на пути цифровых апокалипсисов. Когда суперкомпьютер HAL 9000 из фильма «Космическая одиссея 2001 года» начинает задирать нос, Дэйв обесточивает его отверткой, оставляя жалобно напевать песенку про Дейзи Белл. Конечно, ничто не мешает нам фантазировать о компьютере Судного дня – зловредном, оборудованном всем необходимым и неуязвимом для внешнего вмешательства. Но справиться с этой угрозой проще простого: не стройте его.

Когда перспектива восстания злых роботов начала казаться слишком карикатурной, чтобы принимать ее всерьез, экзистенциальные алармисты заприметили на горизонте новый цифровой апокалипсис. Теперь сюжет взят не из историй о Франкенштейне или Големе, но из сказки про джинна, который обещает исполнить любые три желания (третье всегда необходимо, чтобы отменить первые два), и из мифа о царе Мидасе, пожалевшем о новообретенной способности превращать в золото все, к чему прикасается, в том числе еду и членов своей семьи. Это опасность, которую еще называют проблемой совпадения приоритетов: человек ставит перед искусственным интеллектом некую задачу, а затем бессильно наблюдает, как тот упрямо и буквально воплощает в жизнь свое представление о ней, не учитывая остальных наших интересов. Выполняя поставленную задачу поддерживать уровень воды за плотиной, искусственный интеллект затопит город, не беспокоясь о его жителях. Если мы велим ему делать скрепки, он превратит в скрепки всю материю достижимой Вселенной, в том числе наше имущество и нас самих. Если мы попросим его сделать людей счастливыми, он поставит каждому по дофаминовой капельнице или перепрограммирует мозг человека так, чтобы тот был счастлив, сидя в изолированной капсуле. А если этот ИИ освоил концепцию счастья, рассматривая фото с улыбающимися лицами, он может заполонить галактику триллионами наноизображений желтых смайликов[877]

.

Я ничего не придумал. Все это – сценарии, предположительно иллюстрирующие угрозу роду человеческому со стороны развитого ИИ. Все они, к счастью, внутренне противоречивы[878], поскольку основаны на двух гипотезах: 1) люди так одарены, что способны создать всеведающий и всемогущий ИИ, и в то же время так пустоголовы, что передадут ему контроль над мирозданием, не проверив, как он работает, и 2) этот ИИ будет так гениален, что сможет придумать, как преобразовывать химические элементы и перепрошивать мозги, но так придурковат, что погрузит мир в хаос из-за элементарной оплошности или недопонимания. Способность выбрать ход действий, лучше всего удовлетворяющий конфликтующим между собой целям, – это не придаток к интеллекту, который инженер может не установить по забывчивости, а потом кусать локти; это и есть интеллект. То же самое можно сказать и о способности интерпретировать намерения пользователя языка в контексте. Только в комедийных сериалах вроде «Напряги извилины» робот реагирует на фразу: «Тащи сюда официанта», ухватив беднягу за голову, а услышав: «Туши свет», сует лампу в кастрюлю.