2062: время машин

Однако ООН, к ее стыду, отказалась принять пожертвование, которое оплатило бы августовскую встречу. Организация сказала, что принимает деньги только от правительств – сюда, правда, не очень вписывается тот факт, что в конце 1990-х она приняла миллиарды долларов от Теда Тёрнера. В итоге из-за недостачи в четверть миллиона долларов проблема осталась необсужденной.

С целью пролить свет на эти задержки я решил действовать публично. К тому времени против автономных систем вооружения публично высказалась только одна компания – канадская фирма Clearpath Robotics. Поэтому я попросил основателей более ста компаний в сфере искусственного интеллекта и робототехники подписать второе открытое письмо, для того чтобы КНО приняла меры против роботов-убийц.

Мы снова опубликовали письмо к открытию главного съезда в сфере ИИ – Международной совместной конференции по искусственному интеллекту, которая проходила в Мельбурне. По чистой случайности конференция началась в тот самый день в августе 2017 года, когда должна была начаться первая встреча ГПЭ.

Это второе письмо подписали Демис Хассабис и Мустафа Сулейман – основатели DeepMind, а также многие другие известные в области ИИ и робототехники люди. Среди них, например, Джеффри Хинтон и Йошуа Бенджио, создатели глубинного обучения, плюс Илон Маск в качестве основателя компании OpenAI.

Как и первое письмо, оно привлекло много внимания в прессе. Все это показало, что и индустрия, и научное сообщество поддерживают идею регулирования подобных технологий. В нем также содержалась фраза, которую часто повторяли в прессе: «Если откроется этот ящик Пандоры, его будет очень сложно закрыть».

В конце 2017 года я и еще 137 основателей компаний, занимающихся искусственным интеллектом и робототехникой, которые подписали второе письмо, были выдвинуты в качестве кандидатов на ежегодную премию «Человек года» Ассоциации по контролю над вооружениями за наш существенный вклад в разоружение.

Победителями по праву стали дипломаты, которые договорились о запрете ядерного оружия в ООН. Однако приятно было видеть, что проблема автономных систем вооружения принимается всерьез[62].

Даже некоторые оружейные компании могут видеть в этом запрете выгоды. BAE Systems – один из самых крупных экспортеров оружия, а также компания, создающая прототипы автономных систем нового поколения. На Мировом экономическом форуме в 2016 году председатель совета директоров компании сэр Джон Карр заявил, что автономные системы вооружения не смогут следовать законам войны. Поэтому он призвал правительства их ограничить.

Растущее давление

Двадцать три страны призвали ООН запретить смертоносное автономное оружие. Среди них Алжир, Аргентина, Австрия, Боливия, Бразилия, Чили, Коста-Рика, Куба, Эквадор, Египет, Гана, Гватемала, Ватикан, Ирак, Мексика, Никарагуа, Пакистан, Панама, Перу, Палестина, Уганда, Венесуэла и Зимбабве. Вдобавок Африканский союз призвал к упреждающему запрету. Недавно Китай призвал к запрету использования (но не разработки или развертывания) полностью автоматического оружия.

Нам все еще далеко до большинства голосов в ООН, а уж тем более до консенсуса. На данный момент страны, поддержавшие запрет, в основном из тех, что скорее других могут пострадать от этих ужасных орудий. Тем не менее растет согласие по поводу того, что за каждой атакой должен стоять «осмысленный человеческий контроль». Это потребует от технологии предсказуемости, от пользователя – владения важной информацией, способности вовремя вынести правильное суждение и принять нужное решение.

Другие страны начинают сталкиваться с давлением в этом вопросе. В ноябре 2017 года, прямо перед ГПЭ, учрежденной для решения данной проблемы и впервые собравшейся в ООН, премьер-министр Австралии получил письмо, призывающее правительство стать еще одним государством, которое поддержит упреждающий запрет. Письмо было подписано более чем сотней исследователей в области ИИ и робототехники из университетов по всей Австралии. Для полной ясности: я написал это письмо и организовал его подписание.

Премьер-министр Канады получил похожую петицию, подписанную более чем двумя сотнями канадских исследователей ИИ; его организовал мой коллега Иан Керр, который отвечает в организации Canada Research Chair за этику, право и технологии в Оттавском университете.

Австралийское письмо гласит, что САО, за которой нет осмысленного человеческого контроля, находится по ту сторону очевидной нравственной черты. Оно просит наше правительство поддержать призыв к запрету подобного оружия. «Таким образом, наше правительство может восстановить свои позиции морального лидерства на мировой арене, которые оно занимало и ранее в таких вопросах, как, например, нераспространение ядерного оружия», – говорится в письме. Канадский вариант содержит схожие настроения.