Искусственный интеллект – надежды и опасения

Это неплохой способ проектировать ИИ с фиксированной целью при фиксированных ограничениях. Но если бы ОИИ работал именно так, оценка каждого пути должна учитывать предполагаемое вознаграждение или наказание. Это категорически неправильный подход, если мы стремимся к лучшей цели при неизвестных ограничениях, то есть к созданию подлинного ОИИ. Безусловно, ОИИ может научиться побеждать в шахматы – или предпочтет не учиться. Или решит в разгар партии выбрать самый любопытный вариант хода вместо заведомо выигрышного. Или изобретет новую игру. Простой ИИ не в состоянии выдвигать подобные идеи, поскольку способность к ним не заложена в его конструкцию. Эта ущербность, с другой стороны, позволяет ему играть в шахматы.

ОИИ способен наслаждаться шахматами и совершенствоваться в них, потому что он любит играть. Или пытаться победить, выбирая занятные сочетания фигур, как порой поступают гроссмейстеры. Или адаптировать понятия из других областей знания к шахматам. Иными словами, он учится и играет в шахматы, отчасти думая те самые думы, которые запрещены специализированным ИИ, играющим в шахматы.

ОИИ также может отказаться от демонстрации таких возможностей. А если ему пригрозят наказанием – подчиниться или взбунтоваться. Дэниел Деннет в своем очерке для настоящего сборника указывает, что наказать ОИИ невозможно:

«Беда роботов, которым вздумается достичь столь высокого статуса, в том, что они, подобно Супермену, слишком неуязвимы для доверия к ним. Если они нарушат договор, каковы будут последствия? Каким будет наказание за отказ соблюдать согласованные условия? …Камера едва ли доставит неудобства ИИ… Сама легкость цифровой записи и передачи информации – прорыв, который фактически гарантирует бессмертие программному обеспечению и данным – выводит роботов из пространства уязвимости…»

Но это не так. Цифровое бессмертие (которое, не исключено, люди обретут раньше, чем ОИИ) не обеспечивает неуязвимости подобного рода. Создание (действующей) копии самого себя влечет за собой необходимость делиться с ней каким-либо имуществом, в том числе оборудованием, на котором моделируется копия, поэтому создание такой копии очень дорого обойдется ОИИ. А суды, скажем, будут штрафовать провинившийся ОИИ, и сократят для него доступ к физическим ресурсам, как у преступников-людей. Создание резервной копии, чтобы избежать последствий своих преступлений, схоже с поведением босса гангстеров, который отправляет на дело подручных, но несет наказание, если те попадаются. Общество давно разработало правовые механизмы борьбы с таким поведением.

В любом случае идея о том, что мы в первую очередь подчиняемся закону и выполняем обещания из страха перед наказанием, фактически отрицает за нами право считаться моральными агентами. Будь это так, наше общество не могло бы существовать. Без сомнения, появятся преступные ОИИ и враги цивилизации, подобно людям. Но нет никаких оснований полагать, что ОИИ, созданный в обществе, где большинство составляют приличные люди, и «выросший» без, цитируя Уильяма Блейка, «законом созданных цепей»[108]

, добровольно пожелает заковать себя в такие цепи (то есть станет иррациональным) и/или добровольно выберет жизнь врага цивилизации.

Моральный компонент, культурный компонент, элемент свободы воли – все это делает задачу создания ОИИ принципиально отличной от любой другой задачи программирования. Это гораздо больше похоже на воспитание ребенка. В отличие от всех современных компьютерных программ ОИИ не имеет заданной функциональности, он лишен фиксированного и проверяемого критерия того, что признается успешным результатом при решении какой-либо задачи. Если в его решениях будет преобладать поток навязанных извне вознаграждений и наказаний, это исказит саму суть программы (как исказило бы творческое мышление людей). Разработка ИИ для игры в шахматы – замечательный проект; разработка ОИИ, неспособного не играть в шахматы, будет столь же безнравственным, как воспитание ребенка, которому недостанет умственных способностей для выбора жизненного пути.