Искусственный интеллект. Этапы. Угрозы. Стратегии

Весьма соблазнительно предположить — учитывая все сказанное, — что у сверхразумного актора, не знающего мира, где существует социальная конкуренция, не будет инструментальных оснований накапливать ресурсы больше какого-то оптимального уровня. Например, вычислительные ресурсы нужны сверхразуму, чтобы поддерживать свои умственные возможности и управлять своей виртуальной средой. Но это предположение может оказаться совершенно необоснованным.

Во-первых, ценность ресурсов определяется их возможным применением, а оно, в свою очередь, зависит от доступной технологии. При наличии зрелой технологии для достижения практически любой цели можно брать лишь основные ресурсы: время, пространство, вещество и энергия. Эти основные ресурсы можно конвертировать в жизнь. Увеличенные вычислительные ресурсы потребуются для многого: использовать сверхскоростную работу сверхразума в течение более длительного времени; совершенствовать физические жизни и материальные миры и создавать их симуляции — виртуальные жизни и цивилизации. Дополнительные материальные ресурсы понадобятся для повышения уровня безопасности, например разработки вспомогательных резервных систем и систем круговой обороны. Подобные крупномасштабные проекты могут потребовать такого объема ресурсов, который превысит возможности одной планеты.

Во-вторых, благодаря прогрессивным технологическим разработкам принципиально сократятся издержки, связанные с добычей дополнительных ресурсов за пределами Земли. Если зонды фон Неймана могут быть построены, то с их помощью будет освоена большая часть космического пространства (при условии, что во Вселенной нет других разумных цивилизаций) — а все расходы сведутся к стоимости строительства и запуска всего лишь одного такого зонда. Столь низкие затраты на приобретение внеземных ресурсов означают, что такая экспансия имела бы смысл даже в случае совсем незначительного выигрыша. Например, даже если конечные цели сверхразума связаны лишь с происходящим в очень небольшом космическом пространстве, скажем, занятом его родной планетой, у него могут быть инструментальные причины искать доступ к внеземным ресурсам. Эти дополнительные ресурсы можно было бы направить на решение первоочередных задач, связанных прежде всего со средой обитания сверхразума: создать высокоскоростные компьютеры, чтобы рассчитывать оптимальные способы использования земных ресурсов; выстроить сверхмощные укрепительные системы для защиты его убежища. Поскольку затраты на добычу дополнительных ресурсов должны будут снижаться, процесс оптимизации и усиления защиты можно продолжать бесконечно, несмотря на то что он станет приносить все менее и менее заметные результаты[328]

.

Таким образом, существует широкий диапазон возможных конечных целей сверхразумного синглтона, которые могли бы привести к появлению инструментальных целей в виде неограниченного приобретения ресурсов. Скорее всего, в самом начале это выразилось бы в освоении космоса, причем колонизация последовательно распространялась бы во всех направлениях при помощи зондов фон Неймана. В результате возникло бы подобие сферы постоянно расширяющейся инфраструктуры с центром в исходной планете и радиусом, растущим со скоростью, меньшей скорости света. Колонизация космического пространства могла бы продолжаться, таким образом, до тех пор, пока увеличивающаяся скорость расширения Вселенной (которая является следствием положительности космологической постоянной) не сделала бы дальнейшее продвижение вперед невозможным, поскольку ее удаленные районы навсегда окажутся вне пределов досягаемости (это произойдет на временных интервалах в миллиарды лет)[329]. В то же время агенты, не имеющие технологий, необходимых для приобретения общих материальных ресурсов с низкими затратами или их превращения в полезную для себя инфраструктуру, могут посчитать неэффективным инвестировать уже имеющиеся у них ресурсы в увеличение своего материального обеспечения. То же самое может быть верным для агентов, действующих в условиях конкуренции с другими агентами, сходными по силе. Например, если агенты-конкуренты уже обеспечили себе контроль за доступными космическими ресурсами, у поздно стартовавшего агента не останется возможностей для колонизации Вселенной. Анализ конвергентных инструментальных причин поведения сверхразума, не знающего о существовании других могущественных сверхразумных агентов, усложняется стратегическими соображениями, которые мы можем не понимать сейчас в полной мере, но которые способны серьезно дополнить рассмотренные нами в этой главе примеры

[330].

***