Пекло

– Именно гибкость программных функций позволила тебе придать своему созданию элемент неуверенности.

– Не понимаю, – Карли нахмурилась. – Ты хотела сделать Еву неуверенной? Зачем?

Джейсон начал объяснять, но Карли подняла руку, призывая его замолчать, и устремила вопросительный взгляд на Мару.

Та приняла брошенную перчатку.

– Неуверенность – ключевой аспект человеческого мышления. Не будь неуверенности, мы никогда не сомневались бы ни в себе, ни в своих решениях. Всегда были бы абсолютно убеждены в собственной правоте. Именно такая несокрушимая уверенность в себе делает искусственный интеллект потенциально опасным. А вот если он способен сомневаться, значит, начинает внимательно рассматривать собственные решения и действия, спрашивать себя об их последствиях и тщательно их проверять. Так он начинает понимать концепцию вероятности – в особенности запутанные взаимоотношения между причиной и следствием.

Джейсон кивнул.

– И это означает…

– Я знаю, что это означает! – оборвала его Карли. – Нет нужды растолковывать мне очевидное!

– Джейсон и не пытался что-то тебе растолковывать… – попыталась успокоить подругу Мара, но ее вмешательство лишь усилило раздражение Карли.

– Не важно, – отрезала она.

Джейсон попытался уйти от конфликта.

– Кажется, мы отклонились от темы. Мара, минуту назад ты спрашивала, стоило ли тебе создавать Еву. На мой взгляд, безусловно! Это самое лучшее, что ты могла сделать.

– Почему?

– Иначе ты обрекла бы себя на ужасную участь.

– Обрекла себя? Как? На что?

– Слышала когда-нибудь о Василиске Роко?

Мара покачала головой и взглянула на Карли. Та пожала плечами, явно не желая признавать свое невежество, однако любопытство заставило ее придвинуться ближе.

Джейсон вздохнул и потер подбородок.

– Тогда, может быть, и не стоит вам рассказывать. На свете есть вещи, о которых лучше не знать… и потом, не хочу услышать, что я растолковываю вам очевидное.

С этими словами он бросил выразительный взгляд на Карли, и Мара невольно улыбнулась.

– Ладно, – фыркнула Карли. – Расскажи, что это за Василиск Роко и почему, черт возьми, о нем лучше не знать.

– Хорошо. Но помните: я вас предупредил!

22 часа 18 минут

Карли скрестила руки на груди. Этот парень безумно ее раздражал – она сама не понимала, почему. Верно, он милый и с приятными манерами; но неужели, черт возьми, они с Марой пережили нападение в аэропорту, засаду в гостинице, похищение под дулом пистолета лишь для того, чтобы теперь их опекал какой-то секретный американский спецназ, и в его составе – самоуверенный мальчишка-эксперт?

Кто на ее месте не разозлился бы?

Хм… а вот подруга, похоже, совсем не злится.

Мара с этим парнем сразу сошлась. Уже в машине они принялись обсуждать какие-то технические проблемы, быстро нашли общий язык и теперь улыбались друг другу, как лучшие друзья. Не ускользнула от Карли ни застенчивая улыбка Мары, ни то, как она поправляет свои черные волосы и бросает на Джейсона быстрые косые взгляды.

Все это вызывало странные чувства: то ли Карли стремилась защитить подругу, то ли попросту ревновала. Во всяком случае, ей хотелось, чтобы Джейсон оставил их в покое и вернулся к своей группе. А когда Мара, нагнувшись, как бы невзначай положила руку ему на колено, Карли едва не вскипела от злости.

Гневно смотрела она на руку Мары, вспоминая тепло и мягкость ее ладони. Мара же не замечала чувств подруги; ее взгляд был устремлен на симпатичного американца, и легкая улыбка играла на ее полных губах.

– Что ж, – сказала она, – я готова рискнуть. Расскажи о Василиске Роко.

– Это мысленный эксперимент, опубликованный на форуме Элиезера Юдковски, программиста из Калифорнийской исследовательской сети.

– Юдковски? – удивленно раскрыв глаза, повторила Мара.

– Ты его знаешь? – спросил Джейсон.

Мара повернулась к Карли.

– Помнишь, я рассказывала тебе об эксперименте «Искусственный интеллект в тюрьме»?

Та кивнула.

– Это когда какой-то парень притворился суперкомпьютером и начал уговаривать охранные программы выпустить его из цифровой тюрьмы?

– Вот именно, – Мара улыбнулась. – Тот человек, которому каждый раз удавалось обмануть «сторожей» и ускользнуть, и был Юдковски.

Карли нахмурилась.

– Хорошо, и что за мысленный эксперимент у него на форуме?

– Он постулирует, – начал объяснять Джейсон, – что искусственный суперинтеллект неизбежно будет создан, быстро эволюционирует и разовьется до богоподобного состояния, станет почти всемогущим. Одним из важнейших мотивов этого нового искусственного бога станет стремление к совершенству, к улучшению себя и всего, что его окружает.

Мара кивнула.

– Да, большинство экспертов считают, что именно это и произойдет, если мы не будем осторожны.

– Верно. Этот всемогущий интеллект и есть Василиск, монстр нашей истории, – продолжал Джейсон. – Все действия «искусственного бога» будут подчинены стремлению к совершенству, а значит, все и вся, что препятствует этому стремлению, он будет рассматривать как своих врагов. И главнейшими его врагами станут те, кто мешал ему появиться на свет.