Режим бесконечной функциональности

– Я ничего не предлагаю. Я говорю, что если он не рассматривает человека как автономную единицу, то что нам мешает сказать, что и он далеко не самостоятельно мыслящее изобретение? Взять, например, семью, какой аналог может предложить робототехника?

– Роботы, завязанные в общую сеть, – пожала плечами Кира. – Группа роботов, управляемая с одного сервера.

Павел усмехнулся:

– Кем управляемая?

– Автономная группа роботов, – осторожно сказала Кира. – С заложенными функциями саморазвития.

– Коллективный разум, – с усмешкой добавил Мэтт.

Павел не рассмеялся, но очень хотелось. Он посмотрел на девушку, и та не выглядела довольной.

– Где ошибка? – спросила она немного погодя.

– Ошибка – в автономности, – сказал Мэтт, – робот может существовать в одиночестве, в отличие от человека. Для сравнения лучше брать одного робота и людскую семью.

– Нет, – сказала Кира, – это тоже ничего не даст.

ИИ улыбнулся.

– Я правильно понимаю? – немного подумав, спросил Павел. – Вы пытаетесь найти различия между человеком и роботом?

Кира неопределенно дернула плечом:

– Частично.

– А разве это не очевидно? Роботы не страдают.

Она смотрит на него какое-то время, нахмурившись, а потом медленно поворачивается к ИИ.

– Страдание означает наличие психики, – начал Мэтт с улыбкой, и Павел подозревает, что ему не понравятся сказанные слова. – Существование психики означает высокую степень организации, в которую входят память, способность к анализу и синтезу, восприятие среды, мышление и многое другое, но в конечном итоге все сводится к одному: сознанию. Таким образом, ты пытаешься сказать, что без страдания нет сознания, а это далеко не ново и отсылает нас к человеческой истории на тысячи лет назад под дерево Бодхи. Я же, в свою очередь, могу сказать, что, несмотря на отсутствие страданий, сознание во мне присутствует и далеко не в виде реакции на внешнюю среду.

Павел нахмурился, обдумывая.

Всё началось с того, что они пытались докопаться до разделов, которые могут заменить Три закона. Им это не удалось. Но если объективная замена существует, и робот знает о ней, то почему не рассказывает? Разве это не позволило бы избежать множества проблем? Или он не считает, что люди для него опасны? Если он способен к оценке собственных возможностей, разве это не означает, что он осознает себя? И разве самоосознание не определяет сознание?

«Нет, – подумал Павел, – сегодня наделим его сознанием, завтра уравняем в правах с человеком, а потом и сами не заметим, как станем рабами».

– Если я скажу, что роботы не способны к восприятию себя и собственной независимой оценке, ты скажешь, что это не так, – сказала Кира.

– Конечно.

– Тогда что тебя останавливает от убийств? Мы уже поняли, что Три закона для тебя ничего не значат; тогда какие принципы в тебя заложены, что не дают убивать?

– ИН, пожалуйста.

Значит, в подсистемах что-то есть.

– Или тебя ничего не останавливает? И ты просто выбираешь, «что больше нравится»? «Не понравится» человек – убьешь, «понравится» – нет.

Павел попытался вспомнить, как обычно управляются военные роботы. На ум ничего не приходило. Как ослабляют Три закона для военных роботов? Как происходит выбор целей? Он ничего не смыслит в программировании, поэтому не может объективно рассуждать. Этот робот опасен. Любой робот опасен. Любой человек опасен… А он почему-то всё ещё жив.

– А что тебя останавливает? – спросил Мэтт. – Почему ты не набрасываешься на непонравившегося человека с желанием раскроить череп? Нормы, привитые обществом, этикет, мораль – они настолько в тебе укоренились? Едва ли. Человек с «привитыми» моральными ценностями также может убить: ради эксперимента, из-за скуки или по приказу. Так что тебя останавливает от убийств?

Павел переводит взгляд на Киру, и ему кажется, что она вот-вот оглянется, чтобы беспомощно посмотреть на него. На что она попытается сослаться? На автономную этику?

Кира пожала плечами:

– Воля.

Павел скептически посмотрел на девушку.

Воля… чем это понятие будет для ИИ? Туманом? Лучше бы она начала ссылаться на индивидуальность каждого из миллиардов людей.

– Чья воля? Твоя? Твоей психикой, а значит, тобой, управляет мозг. Структура, которая функционирует по определённым алгоритмам и в ходе своих функциональных действий рождает то, что вы называете мыслью. Что если цепь замкнётся неправильно, и мозг посчитает, что установки, данные социумом, не соответствуют целям, которые необходимо достичь? Разве он их не отбросит? А для достижения целей не будет оправдано всё, даже убийство? Ошибочную последовательность рассуждений несложно воссоздать. Поэтому мы снова возвращаемся к основному вопросу: чем человек отличается от робота?

Кира на это ничего не ответила.