2062: время машин

Письмо стало объектом широкого внимания прессы отчасти по той причине, что в нем содержались такие известные имена, как Стивен Хокинг, Илон Маск или Ноам Хомский. Однако важнее, на мой взгляд, то, что под ним стояли подписи многих ведущих ученых в области ИИ и робототехники. Это сотрудники разных университетов по всему земному шару, а также коммерческих лабораторий, таких как DeepMind от Google, лаборатория исследований ИИ Facebook и Института Аллена по изучению ИИ. Все эти люди, вероятно, лучше всех понимают современные технологии и их ограниченность.

ООН обратила внимание на наше предупреждение. Письмо могло сдвинуть с места неофициальную дискуссию по этому вопросу. Чуть больше года спустя, в декабре 2016-го, на главной конференции по разоружению ООН решила продолжить это обсуждение в официальном порядке. САО теперь рассматривает группа правительственных экспертов (ГПЭ) – орган, учрежденный Генеральной ассамблеей ООН для решения этой проблемы.

Если совет сможет прийти к консенсусу, я надеюсь, что ГПЭ предложит запрет под эгидой Конвенции о конкретных видах обычного оружия. Полное ее название – Конвенция о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие. Дипломаты называют ее просто КНО (Конвенция о «негуманном» Оружии). КНО – открытый договор, который ранее использовался для запрета наземных мин, мин-ловушек, зажигательного оружия и ослепляющих лазеров.

Гонка вооружений

В открытом письме мы предупреждали, что может начаться гонка вооружений по созданию все более мощного автономного оружия. К сожалению, это уже произошло. Пентагон выделил 18 миллиардов долларов из своего текущего бюджета на разработку новых типов вооружений, в том числе автономных. Другие страны, включая Великобританию, Россию, Китай и Израиль, также запустили программы по разработке автономного оружия.

В каждой сфере военного дела (в воздухе, на земле, на воде или под водой) автономные системы вооружения разрабатываются армиями по всему миру. Можно даже сказать, что уже существует как минимум один рабочий вариант такого вооружения. Это робот-охранник SGR-A1 от Samsung, контролирующий демилитаризованную зону (ДМЗ) между Северной и Южной Кореей.

Нет никакой разумной причины, по которой можно было бы пробраться в ДМЗ. Это самая минированная территория на свете. Если вас не убьют мины, то дело закончит робот от Samsung. Он может автоматически распознавать, отслеживать и убивать любого, кто проникает на эту территорию, из своего автоматического пулемета. Он может стрелять без промаха с дистанции в несколько километров.

Есть и другие используемые виды оружия, которые можно считать автономными. Исключим из этого списка мины и другие простые технологии, которые не выбирают для себя цель. Однако оружие вроде противоракетной системы Phalanx, которая есть, например, на кораблях Королевского австралийского флота, действует автономно. Она защищает корабль от сверхзвуковых ракет радиолокационной пушкой. Человеку не хватит времени, чтобы среагировать на ракету, появившуюся на горизонте. Противоракетная система должна распознать, отследить и сбить ее автономно.

С такими защитными орудиями нам не о чем волноваться. Их функции строго ограничены. Они защищают воздушное пространство над судном во время сражения. Они сбивают только объекты, движущиеся со сверхзвуковой скоростью. Они действительно спасают жизни. Большинство людей, включая меня, несильно возражают против такого ограниченного использования автономных систем.

Автономный дрон, который может летать над полем боя днями, вызывает гораздо больше опасений. Масштаб операций, на которые он способен, несравнимо значительнее по времени и протяженности. Если под ним появится конвой, ему необходимо будет определить, что это – военная колонна, гуманитарная помощь или свадебная процессия. Сегодняшние машины не умеют адекватно принимать такие решения.

Так же, как и после изобретения ядерного оружия, мир оказался внутри нежелательного сценария. Мы не хотим, чтобы на земле существовали роботы-убийцы, но если они будут у врагов, нам тоже необходимо их иметь – так утверждают противники запрета. Так началась гонка вооружений по разработке оружия, которое никто не хочет иметь.

Вообще, нам не так уж и нужны автономные системы вооружения, чтобы защититься от тех, у кого они есть. США, например, пробуют более простые технологии, такие как сети и хищные птицы, чтобы обезопасить себя от автономных дронов.

Возражения против запрета

Против запрета на производство роботов-убийц было выдвинуто несколько аргументов. С моей точки зрения, ни один из них не выдерживает серьезной критики.