Война и еще 25 сценариев конца света

(В более общем случае это известно как теория нормальных аварий Перроу которая гласит, что катастрофы являются естественным свойством сложных систем и не могут быть устранены за счет совершенных деталей или инструкций. Связано это с тем, что сложность системы растет не линейно в зависимости от числа элементов, а по степенному закону, и в силу этого система с большим количеством элементов имеет невычислимо много внутренних состояний, а потому представляется невозможным протестировать все состояния системы на безопасность и какая-то их доля неизбежно оказываются опасными. Например, сложность является препятствием на пути создания современных процессоров и операционных систем, которые неизбежно содержат уязвимые места и ошибки, обнаруживающиеся только во время эксплуатации.)

Поскольку ИИ будет еще более сложной системой, то в этом случае он может содержать еще больше ошибок. Разумеется, мы надеемся, что за счет своего интеллекта он будет способен к самооптимизации и с помощью очень мощных алгоритмов резко снизит в себе число ошибок, но все же мы не можем быть до конца уверенными в его окончательной безошибочности. Особенно опасна ошибка в ИИ, которая проявится на позднем этапе его развития, когда он уже станет фактической автоматизированной системой управления всеми техническими устройствами на Земле. Она может проявиться как одновременный внезапный сбой всех технических устройств

.

Другая опасность, связанная с сильным ИИ, состоит в том, что как только он появится, все люди могут считать себя безработными. Об этом писал один из основателей SUN Microsystems Билл Джой в своей известной статье «Почему мы не нужны будущему». ИИ сможет не только организовать полностью безлюдное производство всех материальных ценностей, но он сможет превзойти людей в любом виде интеллектуальной деятельности

: от написания статей и стихов до актерской игры. Уже сейчас голливудские актеры чувствуют угрозу со стороны своих анимированных копий, и лет через 20 она станет вполне реальной. Вероятно, труднее всего будет заменить человека в сфере услуг, поскольку человеку нравится получать услуги именно от других людей. В частности «древнейшая профессия» рискует стать и единственной выжившей профессией. Хотя человекообразные роботы могут оказаться более интересными партнерами для секса и даже для общения.

Ранней формой эффекта вытеснения реального общения компьютерным можно считать интернет-зависимость, широко распространенную в наши дни. Вероятно, для дружественного ИИ не составит труда придумать занятие по душе для каждого человека, а также массу развлечений для всех. Однако мыслящим людям придется жить с тяжелым чувством, что все, что они делают, бессмысленно, поскольку роботы могли бы это сделать лучше. В этом случае человечество окажется придатком новой компьютерной цивилизации,

который та унаследовала, но который фактически вышел на пенсию. (Что ж, большинство людей тоже выбирают заботу о своих престарелых родителях.)

Совершенствование технологий может принципиально снизить стоимость и упростить создание вирусов и других организмов, смертельных или опасных для людей. Когда десятки тысяч человек будут иметь доступ к инструменту создания оружия массового поражения, вероятность того, что некоторые станут этот инструмент применять, будет весьма значительной. Наиболее страшным сценарием представляется появление «биохакеров», вооруженных своего рода «биопринтером» – мини-лабораторией, подключенной к компьютеру и способной порождать живые клетки с заданными свойствами. В среде человеческого обитания одновременно могут появиться тысячи разных вирусов, бактерий, микоплазм и прочих смертельных патогенов.