Яко помниши его

- Первый Закон, похоже, не столь универсален, потому что нетрудно придумать ситуацию, в которой робот обязан предпринять взаимоисключающие действия А или Б, и каждое из них в результате причинит человеку вред. Поэтому робот должен быстро выбрать меньшее из двух зол. Однако сконструировать позитронные мозговые связи таким образом, чтобы робот мог сделать нужный выбор, крайне нелегко. Если действие А нанесет вред молодому талантливому художнику, а действие Б - пяти престарелым людям, не имеющим особой ценности, - что предпочесть?

- Действие А, - без колебаний ответил Джордж Десять. - Вред, причиненный одному, меньше, чем вред, причиненный пяти.

- Да, роботов всегда конструировали с таким расчетом, чтобы они принимали подобные решения. Считалось непрактичным ожидать от робота суждения о таких тонких материях, как талант, ум, польза для общества. Все это настолько замедлило бы решение, что робот практически был бы парализован. Поэтому в ход идут числа. К счастью, такие критические ситуации достаточно редки... И вот тут мы подходим ко Второму Закону.

- Закону повиновения.

- Именно. Необходимость подчинения приказам реализуется постоянно. Робот может просуществовать двадцать лет и ни разу не оказаться в такой ситуации, когда ему нужно будет защитить человека или подвергнуться риску самоуничтожения. Но приказы он должен выполнять все время. Вопрос - чьи приказы?

- Человека.

- Любого человека? Как ты можешь судить о человеке, чтобы знать, подчиняться ему или нет? "Что есть человек, яко помниши его"1, Джордж?

Джордж заколебался.

- Цитата из Библии, - поспешно проговорил Харриман. - Это неважно. Я имею в виду: должен ли робот повиноваться приказам ребенка; или идиота; или преступника; или вполне порядочного человека, но недостаточно компетентного, чтобы предвидеть, к каким прискорбным последствиям приведет его желание? А если два человека дадут роботу противоречащие друг другу приказы - какой выполнять?

- Разве за двести лет эти проблемы не возникали и не были решены? поинтересовался Джордж.

- Нет, - энергично помотал головой Харриман. - Наши роботы использовались только в космосе, в особой среде, где с ними общались высококвалифицированные специалисты. Там не было ни детей, ни идиотов, ни преступников, ни невежд с благими намерениями. И тем не менее случалось, что глупые или попросту непродуманные приказы наносили определенный ущерб, но его размеры были ограничены тем, что роботов применяли в очень узкой сфере. Однако на Земле роботы должны уметь принимать решения. На этом спекулируют противники роботехники, и, черт бы их побрал, тут они совершенно правы.

- Тогда необходимо внедрить в позитронный мозг способность к взвешенному суждению.

- Вот именно. Мы начали производство модели ДжР, которая сможет судить о человеке, принимая во внимание пол, возраст, социальную и профессиональную принадлежность, ум, зрелость, общественную значимость и так далее.

- И как это повлияет на Три Закона?

- На Третий Закон - вообще никак. Даже самый ценный робот обязан разрушить себя ради самого ничтожного человека. Здесь ничего не изменится. Первого Закона это коснется, только если альтернативные действия в любом случае причинят вред. Тогда решение будет приниматься не только в зависимости от количества людей, но и, так сказать, их качества, при условии, конечно, что на это хватит времени, а основания для суждения будут достаточно вескими. Впрочем, такие ситуации довольно редки. Самым сильным изменениям подвергнется Второй Закон, поскольку любое потенциальное подчинение приказу будет включать в себя суждение о нем. Реакция робота замедлится, за исключением тех случаев, когда в силу вступит Первый Закон, зато исполнение приказа будет более осмысленным.

- Но способность судить о людях - вещь непростая.

- Вернее, крайне сложная. Необходимость сделать выбор замедляла реакцию наших первых двух моделей до полного паралича. В следующих моделях мы пытались исправить положение за счет увеличения мозговых связей - но при этом мозг становился слишком громоздким. Однако в нашей последней паре моделей, на мой взгляд, мы добились, чего хотели. Роботам теперь не обязательно сразу судить о достоинствах человека или оценивать его приказы. Вначале новые модели ведут себя как обычные роботы, то есть подчиняются любому приказанию, но одновременно они обучаются. Робот развивается, учится и взрослеет, совсем как ребенок, и поэтому сначала за ним необходим постоянный присмотр. Но по мере развития он станет все более и более достойным того, чтобы человеческое общество на Земле приняло его в свои ряды как полноправного члена.

- Это, несомненно, снимает возражения противников роботов.

- Нет, - сердито возразил Харриман. - Теперь они выдвигают новые претензии: им не нравится, что роботы способны к суждениям. Робот, говорят они, не имеет права классифицировать того или иного человека как личность низшего сорта. Отдавая предпочтение приказам некоего А перед приказами некоего Б, они тем самым считают Б менее ценным по сравнению с А и нарушают основные права человека.