Искусственный интеллект. Этапы. Угрозы. Стратегии

Власть над природой и другими действующими силами

Способность некой действующей силы изменить будущее человечества зависит не только от абсолютной величины ее собственных характеристик и ресурсов: умственных способностей, жизненных сил, объема капитала и прочего, — но и от их относительной величины в сравнении с возможностями и ресурсами других действующих сил, имеющих противоположные цели.

В ситуации, когда отсутствуют какие бы то ни было конкурирующие силы, абсолютный уровень возможностей сверхразума, преодолев некоторый минимальный барьер, становится уже неважным, поскольку система, стартовав с минимально достаточным объемом ресурсов, способна выбрать такой путь развития, который позволит ей приобрести любые дополнительные ресурсы, даже отсутствовавшие изначально. Мы уже упоминали об этом раньше: во-первых, когда обсуждали одинаковую опосредованную досягаемость таких типов сверхразума, как скоростной, коллективный и качественный; во-вторых, когда говорили, что достаточно обладать сверхмощью лишь в одной области, чтобы обеспечить себе ее во всех остальных.

Предположим, появилась сверхразумная сила, управляющая наноассемблером. У нее уже есть довольно мощи для преодоления любых естественных преград, и она прямым путем движется к тому, чтобы существовать вечно. Не встречая сопротивления на интеллектуальном уровне, наша действующая сила, или агент, может выработать безопасный курс развития, который позволит ей овладеть всеми технологиями, необходимыми для осуществления ее целей. Например, создать технологию строительства и запуска зондов фон Неймана — способных к перемещению в космическом пространстве машин, которые используют полезные ископаемые и энергию астероидов, планет и звезд для создания собственных копий[291]. Запустив зонды фон Неймана, такой агент фактически начнет бесконечный процесс колонизации Вселенной. Копии-потомки, двигаясь со скоростями, близкими к скорости света, в конечном счете колонизируют всю сферу Хаббла — часть расширяющейся Вселенной, которая теоретически доступна из точки, где мы сейчас находимся. После этого вся подконтрольная материя и неограниченное количество энергии будут организованы в ценностные структуры, максимизирующие функцию полезности исходного агента на временных промежутках космического масштаба — то есть как минимум в течение триллионов лет до того момента, когда стареющая Вселенная станет слишком недружелюбным местом для обработки информации (см. врезку 7).

ВРЕЗКА 7. НАСКОЛЬКО БОЛЬШИМ МОЖЕТ БЫТЬ АСТРОНОМИЧЕСКОЕ РАСШИРЕНИЕ?