Читаем Искусственный интеллект. Этапы. Угрозы. Стратегии полностью

Малейшая ошибка, допущенная либо в определении почти философских понятий либо при записи исходного кода, повлечет за собой катастрофические последствия. Рассмотрим пример, когда конечная цель определена как «стать навсегда счастливым». Перед нами этакий ИИ-гедонист, жаждущий преобразовать всю материю Вселенной в гедониум — некую субстанцию, которая обеспечивает выработку оптимального наслаждения. Но чтобы приблизиться к своей цели, ИИ потребуется помимо гедониума еще одна субстанция, о которой мы не раз говорили выше, — это компьютрониум, обеспечивающий максимальную вычислительную мощность. С его помощью ИИ заселит Вселенную множеством цифровых имитационных моделей мозга, пребывающих в состоянии эйфории, но напрочь лишенных любых умственных способностей — им будет отказано в этом за ненадобностью, поскольку интеллект несуществен для опыта наслаждения. Ради максимизации эффективности ИИ будет использовать любые варианты сокращения вычислений, лишь бы они не навредили формированию ощущения удовольствия. Причем все делается в полном соответствии с точной спецификацией, в которой закодировано определение понятия «счастье». Поэтому ИИ обязательно должен оставить имитационной модели электронную схему вознаграждения — что-то вроде центра удовольствия в биологическом мозгу. Однако будут исключены такие функции психики, как память, чувственное восприятие, способность к целенаправленной деятельности и возможность общения на языке. Преследуя собственные интересы, ИИ создаст самые примитивные имитационные модели мозга. Он снабдит их грубым функциональным уровнем с низкой степенью детализации; он даже пренебрежет нейронными процессами низкого уровня; заставит их прибегать к услугам таблиц поиска, то есть заменит часто повторяющиеся вычисления на операции простого поиска; хуже того, он задействует общий вычислительный механизм, рассчитанный на множество имитационных моделей. И все это

«вытекает из базиса» (употреблю здесь волапюк псевдофилософов). На что не пойдешь ради удовольствия — даже на такие уловки, которые придумал наш ИИ-гедонист, лишь бы преумножить в немыслимое количество раз ту немаленькую степень удовлетворения, которую он мог бы выжимать из имеющегося у него запаса ресурсов. И нет никакой уверенности, окажется ли это оправданным. Более того, если действия ИИ не будут отвечать ни критериям определения понятия «счастье», ни самому процессу формирования ощущения удовольствия, то в результате предпринятой оптимизации он может вместе с водой выплеснуть и ребенка — то есть избавляясь от всего несущественного по условиям конечной цели или по собственным соображениям, ИИ в запале выбросит то, что неотъемлемо принадлежит системе человеческих ценностей. Вселенная наполнится не ликующими от счастья имитациями-гедонистами, а унылыми вычислительными схемами, бессмысленными и ни к чему не пригодными. Тогда вся затея «стать навсегда счастливым» сведется всего-навсего к изображению счастья, своего рода эмотикону, электронному символу наших эмоций, — и отксерокопированные триллион триллионов раз смайлики облепят все множество галактик.

Метод приручения

Поставим перед ИИ конечную цель, отвечающую условиям метода точной спецификации полнее всех примеров, приведенных выше, — стремление к самоограничению. Мы не в состоянии описать, какой окажется общая модель поведения сверхразума в реальном мире, — в противном случае нам пришлось бы перечислять, а заодно и объяснять, все плюсы и минусы любой ситуации, которая могла бы возникнуть в будущем. Поэтому было бы разумнее дать подробное описание единственной конкретной ситуации и тщательно проанализировать, как, столкнувшись с ней, поведет себя сверхразум. Иначе говоря, нам следует найти подходящий мотив заинтересовать интеллектуальную систему ограничиться одним не слишком значимым и небольшого масштаба событием и стремиться действовать исключительно в соответствии с поставленными условиями. В результате ИИ добровольно загонит себя в тесные рамки незначительных конечных целей, а тем самым сознательно сузит сферу своей деятельности и умерит честолюбивые замыслы. Поскольку метод явно рассчитан на то, чтобы сделать систему послушной нашей воле, — назовем его приручением ИИ.

Перейти на страницу:

Похожие книги

Гиперпространство. Научная одиссея через параллельные миры, дыры во времени и десятое измерение
Гиперпространство. Научная одиссея через параллельные миры, дыры во времени и десятое измерение

Инстинкт говорит нам, что наш мир трёхмерный. Исходя из этого представления, веками строились и научные гипотезы. По мнению выдающегося физика Митио Каку, это такой же предрассудок, каким было убеждение древних египтян в том, что Земля плоская. Книга посвящена теории гиперпространства. Идея многомерности пространства вызывала скепсис, высмеивалась, но теперь признаётся многими авторитетными учёными. Значение этой теории заключается в том, что она способна объединять все известные физические феномены в простую конструкцию и привести учёных к так называемой теории всего. Однако серьёзной и доступной литературы для неспециалистов почти нет. Этот пробел и восполняет Митио Каку, объясняя с научной точки зрения и происхождение Земли, и существование параллельных вселенных, и путешествия во времени, и многие другие кажущиеся фантастическими явления.

Мичио Каку

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература
Неразумная обезьяна. Почему мы верим в дезинформацию, теории заговора и пропаганду
Неразумная обезьяна. Почему мы верим в дезинформацию, теории заговора и пропаганду

Дэвид Роберт Граймс – ирландский физик, получивший образование в Дублине и Оксфорде. Его профессиональная деятельность в основном связана с медицинской физикой, в частности – с исследованиями рака. Однако известность Граймсу принесла его борьба с лженаукой: в своих полемических статьях на страницах The Irish Times, The Guardian и других изданий он разоблачает шарлатанов, которые пользуются беспомощностью больных людей, чтобы, суля выздоровление, выкачивать из них деньги. В "Неразумной обезьяне" автор собрал воедино свои многочисленные аргументированные возражения, которые могут пригодиться в спорах с адептами гомеопатии, сторонниками теории "плоской Земли", теми, кто верит, что микроволновки и мобильники убивают мозг, и прочими сторонниками всемирных заговоров.В формате PDF A4 сохранен издательский макет книги.

Дэвид Роберт Граймс

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература