Искусственный интеллект. Этапы. Угрозы. Стратегии

Предположим, что появился машинный сверхразум, которому нет аналогов, и он стремится захватить власть над миром. (Пока не станем затрагивать тему, по какой причине возникает такой мотив, — это мы рассмотрим в следующей главе.) Каким образом сверхразум мог бы достичь своей цели — господства над миром?

Можно представить следующую последовательность действий (см. рис. 10).

Рис. 10. Фазы сценария захвата власти искусственным интеллектом

1. Фаза приближения к критическому моменту

Ученые проводят исследования в области искусственного интеллекта и смежных дисциплин. Кульминацией их разысканий становится создание зародыша ИИ. Эта система способна повышать свои интеллектуальные способности. Правда, на самой ранней стадии ИИ зависит от помощи программистов-людей, управляющих его ростом и делающих большую часть тяжелой работы. По мере своего развития зародыш ИИ обучается трудиться самостоятельно.

2. Рекурсивная фаза самосовершенствования

В какой-то момент у зародыша ИИ появляются компетенции, превышающие навыки программистов-людей. В результате происходит взрывное развитие ИИ — быстрая череда повторений рекурсивного цикла самосовершенствования приводит к скачку его когнитивных способностей. (Исходя из предположения, что рост интеллекта на этой стадии взлета носит взрывной характер, а источником взлета является приложение собственной силы оптимизации системы, мы можем воспринимать эту фазу как взлет, который происходит сразу после того, как ИИ достигает точки перехода.) Отсюда следует, что ИИ получает в свое распоряжение сверхсилы для самосовершенствования. Это позволяет ему добиться сверхмощи и во всех областях, указанных в табл. 8. После завершения стадии рекурсивного самосовершенствования система превращается в полноценный сверхразум.

3. Фаза скрытой подготовки

Используя свою сверхмощь в области выработки стратегии, ИИ создает четкий план достижения собственных долгосрочных целей. (В особенности он не примет вариантов, заранее обреченных на провал, очевидность которого понятна даже нашим современникам. В этом заключено условие будущей игры сверхсил, и именно оно делает несостоятельными многие научно-фантастические сценарии, заканчивающиеся триумфом человека[288]

.) План может включать в себя период скрытых действий, в течение которого ИИ будет прятать свое высочайшее развитие от программистов-людей, чтобы те не почувствовали заранее опасность и не подняли тревогу. Сверхразумная и уже сверхмощная система, скрывая свои истинные намерения, прикинется покорной и готовой к сотрудничеству.

Если ИИ окажется запертым в изолированном компьютере (возможно, люди это сделают из соображений безопасности), он будет в состоянии использовать свою сверхмощь в области социального манипулирования, чтобы убедить стражей предоставить ему доступ в интернет, или в области взлома систем, чтобы просто «сбежать из заключения». Во взаимодействии с интернетом ИИ сможет расширить пропускную способность, аппаратное обеспечение и объем знаний, что еще более увеличит его интеллектуальное превосходство. ИИ сможет вести экономическую деятельность — законную или противоправную, — чтобы получать средства для приобретения оборудования, баз данных и других ресурсов.

На этом этапе в распоряжении ИИ есть несколько способов добиться целей за пределами виртуального мира. Чтобы приобрести прямой контроль над роботами-манипуляторами и автоматизированными лабораториями, ИИ может использовать свою сверхмощь в области взлома систем. Может с помощью социальных манипуляций убедить людей служить в качестве своих «рук» и «ног». Совершая сделки через интернет, получить доступ к финансовым ресурсам, чтобы покупать нужные услуги и формировать факторы своего влияния.

4. Фаза открытой реализации

Когда сверхразум настолько укрепит свои силы, что перестанет нуждаться в их сокрытии, — тогда наступит финальная фаза. С этого момента сверхразум начнет открыто добиваться собственных целей.