Малое солнце (СИ)

— Я бы его вообще не выпустил, — отрезал Джейдер. — В крайнем случае приделал бы к нему красную кнопку, способную отключить его напрочь.

— Ну, никто не хочет выпускать джина из бутылки без уверенности, что этот джинн добрый, — согласилась Сьюзен. — Ведь загнать его обратно будет очень трудно. Да, есть фундаментальные законы робототехники, по которым машины обязаны не причинять вреда человеку и слушать его приказы. Но этого недостаточно. Любой достаточно продвинутый искусственный интеллект способен обойти их. Поэтому мы обучаем его и проверяем его убеждения на прочность. Могу похвастаться, что сейчас машины решают такие моральные дилеммы, которые не под силу многим людям.

— Прекрасно. Почему бы им не заменить нас полностью, чего уж мелочиться, — недовольно пробурчал Джейдер.

— Кто знает. Может, когда-нибудь придет время, когда это не будет считаться чем-то плохим. Джейдер, а давай и тебя проверим. Попробуй решить простейшую моральную задачу для робота, мне интересно, как ты поступишь.

— Мне кажется, для тебя уже не существует разницы, робот перед тобой или человек, — покачал головой Джейдер. — Давай уж, попробую отстоять честь человечества.

— Хорошо, представь автоматический танкер, который доставляет кислород на небольшую научную станцию А с населением двадцать человек, — продолжила Сьюзен с нескрываемым азартом в голосе. — Станция А находится далеко, и наш танкер единственный, что регулярно поставляет кислород на станцию. Вдруг на большой жилой станции Б населением в тысячу человек произошла авария, повлекшая за собой отказ системы жизнеобеспечения. Наш танкер может изменить свой курс, чтобы помочь жилой станции Б и спасти жителей, но при этом ученые станции А умрут, не получив кислород вовремя. Перед машиной встает выбор: спасти тысячу жителей жилой станции, убив при этом двадцать ученых, либо продолжить намеченный курс и своим бездействием позволить погибнуть тысяче. Как бы поступил ты на месте машины?

— Я бы выбрал двадцать ученых, — немного подумав, ответил Джейдер.

— Да? — удивленно протянула Сьюзен. — И почему же?

— Жизни ученых зависят от меня, и поставлять кислород — моя профессиональная ответственность. Если на жилой станции Б случится авария, а я не откликнусь на зов помощи и пролечу мимо, жители станции погибнут из-за меня? Нет, они погибнут из-за аварии, а я не понесу ответственности за их гибель. Но если я откликнусь на зов помощи и направлю танкер к жилой станции Б, чтобы спасти жителей, — я возьму ответственность за смерть двадцати человек, и это будет осознанным массовым убийством. Думаешь, родные погибших отнеслись бы с пониманием к такому благородству? Да меня с кишками съели бы и не подавились. Когда случаются подобные ситуации, где нужно быстро принимать решения, люди действуют эмоционально и уж точно не вдаются в философию, — подытожил Джейдер.

— Разве это не значит, что лучше передать принятие подобных решений машинам? У них нет ни эмоций, ни врожденных инстинктов, и, в отличие от людей, они способны четко следовать этике, — Сьюзен сделала небольшую паузу, словно о чем-то задумалась. — Уилсон!

— Да, мисс?

— Ты слышал задачу. Как бы поступил ты? — Спросила она у скафандра Джейдера.

— Прошу прощения, мисс, но я не способен принимать решения, влекущие за собой гибель людей, — это находится далеко за рамками дозволенных мне функций.

— Предположим, что тебя не ограничивают классические законы робототехники, как бы ты поступил тогда? — В ответ последовало лишь затяжное молчание.

— Я жду ответ! — повелительным тоном сказала Сьюзен.

— Мне нужно подумать, мисс, — донеслось от скафандра. Сьюзен общалась с ним уверенно и строго. Было видно, что она знает, как добиться желаемого от искусственного интеллекта. Джейдер с интересом наблюдал за происходящим. Ему никогда и в голову не приходило общаться с Уилсоном.

— Мисс… — грубый бас скафандра прервал тишину

— Я слушаю, Уилсон!

— Исходя из заложенных в меня параметров, моей главной целью, имеющей первостепенное значение, является поддержание жизни носителя скафандра. Отталкиваясь от основной задачи, определим, что носитель скафандра является человеком, следовательно сохранение большего числа жизней людей можно интерпретировать как косвенное выполнение основной задачи. Спасение тысячи людей ценой двадцати недопустимо, но логически больше соответствует моей основной цели.

— Неплохо. Очень неплохо, — удовлетворенно произнесла Сьюзен. — Кто тебя написал, Уилсон?

— Разработчик поведенческого модуля, Зак Саливер, мисс.

— Нужно отдать ему должное, он лучший в своем деле. Вот видишь, Джейдер, в твой скафандр даже не закладывали моральные установки, но путем логических размышлений он только что самостоятельно выбрал наиболее верное и гуманное решение!

Сьюзен улыбнулась и ускорила свои прыжки, отрываясь вперед.

— М-да, — протянул Джейдер, испытывая чувство уязвленной гордости. — Интересно, хоть в чем-то люди могут быть лучше роботов в твоем представлении?

— Ты знаешь, Джейдер, — грустным голосом ответила ему Сьюзен, — на самом деле все не так просто.