На краю пропасти. Экзистенциальный риск и будущее человечества

В 2017 году в шахматное дело вступило глубокое обучение, которое показало впечатляющие результаты. Команда исследователей из ИИ-компании DeepMind создала AlphaZero – основанную на нейронной сети систему, которая научилась играть в шахматы с нуля. Она прошла путь от новичка до гроссмейстера всего за четыре часа^[401]. Потратив меньше времени, чем у профессионала уходит на две партии, она приобрела стратегическое знание, на овладение которым у людей ушли века, и стала играть лучше, чем самые способные люди и чем традиционные программы. К огромному удовольствию шахматистов, она играла не в скучном методическом стиле, который ассоциируют с компьютерными шахматами, а выбирала нестандартные и смелые ходы, напоминающие о романтической эпохе в истории этой игры^[402].

Но что самое главное – AlphaZero умела не только играть в шахматы. Тот же самый алгоритм с нуля научился играть в го и за восемь часов значительно превзошел способности любого человека. Ведущие мировые игроки в го привыкли считать, что играют почти идеально, и потому разгромное поражение стало для них неожиданностью^[403]. Действующий чемпион мира Кэ Цзе сказал: “Человечество потратило тысячи лет на совершенствование своей тактики, но теперь компьютеры говорят нам, что мы заблуждались… Я бы даже сказал, что никто из людей пока и близко не подобрался к истине го”^[404].

Именно общий характер передового ИИ и производит на нас самое сильное впечатление, возрождая у исследователей амбиции догнать и превзойти человеческий интеллект по всем параметрам. Такой подход иногда называют созданием общего искусственного интеллекта (ОИИ), чтобы не путать его с более узкими подходами, господствующими в отрасли. Хотя нестареющие игры в шахматы и го лучше всего демонстрируют великолепие глубокого обучения, его размах стал очевиден при работе с видеоиграми Atari 1970-х годов. В 2015 году исследователи разработали алгоритм, способный научиться играть в десятки совершенно разных игр Atari гораздо лучше, чем человек^[405]. В отличие от систем для шахмат и го, которые отталкиваются от символического представления игральной доски, системы для Atari обучались играм, ориентируясь непосредственно на счет и на пиксели на экране. Они доказывают возможность создания систем общего искусственного интеллекта, поскольку учатся управлять миром на основе необработанных визуальных данных и достигают своих целей во множестве разнообразных сред.

Этот рывок вперед за счет применения глубокого обучения вселяет в нас огромный оптимизм относительно того, что станет возможно в недалеком будущем. Стремительно растет и число исследователей ИИ, и объем венчурного финансирования, поступающий в отрасль^[406]. Предприниматели стараются реализовать на практике каждый новый прорыв, от систем синхронного перевода, личных помощников и беспилотных автомобилей до изобретений, внушающих большую тревогу, таких как усовершенствованные системы наблюдения и смертоносное автономное вооружение. Настало время больших надежд и огромных этических трудностей. Высказываются серьезные опасения о том, что ИИ укореняет социальную дискриминацию, вызывает массовую безработицу, поддерживает слежку с репрессивными целями и нарушает принципы ведения войны. О каждом из этих опасений можно написать отдельную главу. Но в этой книге рассматриваются экзистенциальные риски, с которыми сталкивается человечество. Может ли развитие ИИ представлять риск такого огромного масштаба?

Рисунок 5.1. Показатели развития ИИ и уровня интереса к нему. Лица демонстрируют недавний стремительный прогресс в создании реалистических изображений “вымышленных” людей. Графики показывают долгосрочный прогресс шахматного ИИ, который в конце концов превзошел лучших гроссмейстеров (по рейтингу Эло), и недавний рост научной активности в отрасли, оцениваемой по числу статей, размещенных в arXiv, и посещаемости конференций^[407].

С наибольшей вероятностью экзистенциальный риск возникнет в том случае, если исследователям ИИ удастся реализовать свои великие амбиции по созданию систем общего искусственного интеллекта, способности которых превзойдут человеческие. Но стоит ли этого ожидать, а если да, то когда именно? В 2016 году был проведен обстоятельный опрос, в котором приняло участие более 300 ведущих исследователей машинного обучения^[408]. Их спросили, когда система ИИ “сможет выполнять любую задачу лучше человека и при меньших затратах”, и они оценили вероятность того, что это случится к 2061 году, в среднем в 50 %, а того, что это случится уже к 2025 году, – в 10 %^[409].