Технологии против человека

Человеческий дух должен цениться выше достижений прогресса.

– Альберт Эйнштейн¹¹⁰

Аргументы, похожие на те, которые оправдывают Эйнштейна в 1939-м, сейчас звучат в поддержку разработки многообещающих экспоненциальных технологий: общего искусственного интеллекта[82], геоинженерии (с ее помощью можно будет контролировать погоду), автономных систем вооружения, редактирования человеческих генов. Самые распространенные из них звучат так: «если мы этого не сделаем, то это сделает кто-то другой (возможно, злодей) и оставит нас позади», «кроме опасностей, эти технологии также принесут миру большую пользу – глупо было бы этим не воспользоваться», «невозможно отменить изобретение или перестать изобретать совсем – стремление к творению заключено в человеческой природе».

Мой ответ всегда одинаков: технологии не являются злом или благом, они просто есть. Это мы должны определить, здесь и сейчас, как можно использовать технологии во благо и как избежать их использования во зло.

Пока вы это читаете, ученые изобретают и тестируют технологии мощнее атомной энергии и ядерного оружия. Резких прорывов не избежать, и прогресс невозможно остановить, просто указав на то, что нам необходимо применить к нему превентивный принцип и убедиться, что все эти новые технологии прежде всего безопасны (см. главу 8).

Главная сложность для меня заключается в следующем: как нам убедиться в том, что эти неизбежные технологические достижения останутся на 98 % волшебными и будут использоваться на благо человечества, а не перейдут вдруг на темную сторону? Подумайте о таких достижениях, как редактирование генома в целях предотвращения развития раковой опухоли. А теперь представьте эти же технологии, работающие на создание человеко-животных созданий и приводящие к активному появлению киборгов (человеко-машинных существ). Или людей, использующих эти технологии для внесения изменений в свой генетический код.

Эти устремления вполне могут сравниться с использованием ядерной энергии для создания атомных бомб и в будущем смогут привести к многочисленным «цифровым Хиросимам».

Какими будут этические нормы по использованию технологий? Можем ли мы вообще прийти к единому мнению относительно их этической основы? Каким образом можно склонить все страны к согласию на определение и сдерживание темных сторон технологического прогресса? Кто будет следить за нарушениями этих договоренностей? Как избежать вступления на тот путь, который приведет нас к «нашим последним изобретениям»¹¹¹, по Джеймсу Баррату? Ввиду этих вопросов споры вокруг цифровой этики представляются делом первостепенной важности (см. главу 10).

Экспоненциальный рост данных, информации, возможностей подключения к сети и интеллекта представляет собой новый двигатель цифрового мира, способный привести к кардинальным изменениям во всех сферах нашей жизни. Мы сейчас в шаге от того, чтобы перейти от использования компьютеров только для выполнения некоторого набора математических вычислений и алгоритмов к возможностям, по мощности сравнимым разве что с атомной энергией.

Компьютер на основе одного кубического дюйма нанотрубок[83] в своем завершенном виде может быть в сто миллионов раз более мощным, чем человеческий мозг.

– Рэй Курцвейл. «The Singularity is Near: When Humans Transcend Biology»¹¹²

Наука и технологии уже наделили нас огромной властью. Через 20–30 лет мы сможем наблюдать точки поворота на кривой во многих сферах, которые приведут, например, к повсеместным квантовым вычислениями и возникновению так называемой сингулярности. Пока мы стремительно движемся вверх по кривой, мы будем становиться все более властными, открывая для себя новые ранее невообразимые возможности. Но, как говорили многие исторические фигуры, от Вольтера до отца Супермена: «С великой силой приходит большая ответственность»¹¹³.

Для начала: как мы сможем использовать огромную мощь экспоненциальных технологий, чтобы приблизить человеческое счастье? Как нам удостовериться в том, что мы тратим достаточно усилий для разработки правил и соглашений, которые спасут нас от пагубных последствий? Как нам определить, где заканчивается волшебство?

Поприветствуем магический взрыв?

Вместе с экспоненциальным увеличением того, что я называю магическим коэффициентом, проблемы, касающиеся использования технологий во зло, также будут постепенно обостряться, пока не достигнут критической отметки.

Несмотря на то что я в общем придерживаюсь оптимистичного взгляда на наши способности управляться с мощью экспоненциальных и комбинаторных изменений, я осознаю, что в отдельных случаях мы рискуем перейти от магии к мании и вреду в достаточно короткие сроки.