На краю пропасти. Экзистенциальный риск и будущее человечества

Этот рывок вперед за счет применения глубокого обучения вселяет в нас огромный оптимизм относительно того, что станет возможно в недалеком будущем. Стремительно растет и число исследователей ИИ, и объем венчурного финансирования, поступающий в отрасль[406]. Предприниматели стараются реализовать на практике каждый новый прорыв, от систем синхронного перевода, личных помощников и беспилотных автомобилей до изобретений, внушающих бо́льшую тревогу, таких как усовершенствованные системы наблюдения и смертоносное автономное вооружение. Настало время больших надежд и огромных этических трудностей. Высказываются серьезные опасения о том, что ИИ укореняет социальную дискриминацию, вызывает массовую безработицу, поддерживает слежку с репрессивными целями и нарушает принципы ведения войны. О каждом из этих опасений можно написать отдельную главу. Но в этой книге рассматриваются экзистенциальные риски, с которыми сталкивается человечество. Может ли развитие ИИ представлять риск такого огромного масштаба?

Рисунок 5.1. Показатели развития ИИ и уровня интереса к нему. Лица демонстрируют недавний стремительный прогресс в создании реалистических изображений “вымышленных” людей. Графики показывают долгосрочный прогресс шахматного ИИ, который в конце концов превзошел лучших гроссмейстеров (по рейтингу Эло), и недавний рост научной активности в отрасли, оцениваемой по числу статей, размещенных в arXiv, и посещаемости конференций[407].

С наибольшей вероятностью экзистенциальный риск возникнет в том случае, если исследователям ИИ удастся реализовать свои великие амбиции по созданию систем общего искусственного интеллекта, способности которых превзойдут человеческие. Но стоит ли этого ожидать, а если да, то когда именно? В 2016 году был проведен обстоятельный опрос, в котором приняло участие более 300 ведущих исследователей машинного обучения[408]. Их спросили, когда система ИИ “сможет выполнять любую задачу лучше человека и при меньших затратах”, и они оценили вероятность того, что это случится к 2061 году, в среднем в 50 %, а того, что это случится уже к 2025 году, – в 10 %[409].

Эти данные следует интерпретировать с осторожностью. Это не столько оценка того, когда будет создан ОИИ, сколько ответ на вопрос, что́ специалисты считают вероятным, – и согласия между экспертами нет. Тем не менее очевидно, что экспертное сообщество в целом не считает ОИИ недостижимой мечтой, а полагает, что он может появиться в ближайшее десятилетие и скорее появится, чем нет, в ближайшее столетие. Возьмем это за ориентир при оценке рисков и рассмотрим, что случится, когда будет создан ОИИ[410].

Человечество сегодня само вершит свою судьбу. Мы можем выбирать свое будущее. Разумеется, у каждого из нас свое представление об идеальном будущем и многим важнее личные дела, чем стремление к идеалу. Но если бы этого захотело достаточное число людей, мы могли бы выбрать любой из бесчисленных вариантов возможного будущего. У шимпанзе такого выбора нет. Нет его и у дроздов. И у любого другого из земных видов. Как мы узнали из первой главы, наше уникальное положение в мире объясняется уникальными особенностями нашей психики. Непревзойденный интеллект наделил нас непревзойденной силой, а следовательно, вверил нам контроль над своей судьбой.

Что случилось бы, если бы в текущем столетии исследователи создали общий искусственный интеллект, превосходящий человеческие способности почти во всех сферах? Этим актом творения мы положили бы конец эпохе, когда человек был самой разумной сущностью на Земле. Следовательно, если у нас не имеется надежного плана по контролю за ИИ, нам следует ожидать, что мы лишимся своего статуса самого могущественного вида, который сам вершит свою судьбу[411].

Само по себе это, возможно, не дает особых причин для беспокойства. Существует немало способов при хорошем раскладе удержать контроль в своих руках. Так, мы можем попытаться разработать системы, которые неукоснительно подчиняются командам человека. Или системы, которые вольны делать что угодно, но имеют задачи, полностью совпадающие с нашими, а следовательно, строят идеальное будущее не только для себя, но и для нас. К несчастью, немногочисленные исследователи, разрабатывающие подобные планы, обнаружили, что сделать это гораздо сложнее, чем казалось. Именно они и высказывают опасения громче всех.