Моргана. Пришествие

В Институте Макса Планка[2] провели исследование о перспективах развития ИИ. Его авторы считают, что скоро мы не сможем управлять сверхразумными машинами. Эксперты — разработчики и технофутурологи, проводившие исследование, — говорят о сверхразумных машинах: роботах и алгоритмах на базе ИИ, которые превзойдут человеческий мозг. Основываясь на теоретических расчетах, они предположили, что, когда это произойдет, мы не сможем полностью контролировать искусственный интеллект. «Сверхразумная машина, управляющая миром, звучит как научная фантастика. Но уже есть машины, которые самостоятельно выполняют важные задачи, а программисты не до конца понимают, как они этому научились. Поэтому возникает вопрос: может ли этот процесс в какой-то момент стать неконтролируемым и опасным для человечества?» — отметил Стивен Дулиттл, соавтор исследования и руководитель Группы цифровой мобилизации в Центре людей и машин Института Макса Планка. В своей работе авторы смоделировали два сценария:

1. Сдерживающий сверхсильный ИИ путем ограничения его доступа к интернету для свободного обмена данными. Тогда он не достигнет критической мощности и будет нацелен, прежде всего, на решение гуманитарных и этически оправданных задач. Но и возможности такого интеллекта тоже будут существенно ограничены.

2. Использующий специальные алгоритмы, которые бы удерживали ИИ от причинения вреда человеку. К сожалению, на этом пути могут возникнуть ошибки и препятствия. «Если мы посмотрим на проблему с точки зрения основ информатики, окажется, что алгоритм, который должен остановить ИИ от разрушительных действий, может заблокировать свои же операции. Когда это произойдет, вы даже не распознаете, продолжает ли алгоритм анализировать угрозу или остановился при сдерживании вредоносного ИИ. По сути, это делает такой алгоритм непригодным для использования», — заявил Ияд Рахван, директор Центра людей и машин Института Макса Планка.

Таким образом, эксперты пока не видят никакой технической возможности сдерживать ИИ от вредоносных действий. Более того, они утверждают, что могли и не заметить, что машины уже приблизились к критической отметке развития. Поэтому сейчас перед нами стоит и другая задача — распознать этот момент…

Капитан дочитал статью и со вздохом приступил к составлению аналитической записки для своего руководства на основе недавно поступившей информации из-за рубежа.

Глава 1

28 июля 2032 г. Маунтин-Вью, Калифорния.