Размышления о Молохе

С развитием технологий этому редкому стечению обстоятельств придет конец. У нас появятся новые возможности пожертвовать своими ценностями для увеличения конкурентоспособности. Новые способы создания экономических агентов приведут к росту численности населения, поглотив излишки ресурсов и вернув к жизни беспокойный дух Мальтуса. Ранее защищавшие нас капитализм и демократия смогут придумать, как обойти свою неудобную зависимость от человеческих ценностей. И наших способностей к координации и близко не хватит для того, чтобы противостоять этому — и это если не появится что-то куда более мощное, чем все мы вместе взятые и не сметет нас легким движением руки.

Если не будут приложены невероятные усилия по отклонению направления течения реки, она достигнет моря в одном из двух возможных мест.

Это может быть кошмар Элиезера Юдковского, в котором искусственный сверхинтеллект оптимизирует все вокруг ради случайно выбранного предмета (классический пример — скрепки[37]), потому что нам не хватило ума направить его процесс оптимизации в нужное русло. Это наивысшее воплощение ловушки — та, в которую попадает вся вселенная. Абсолютно все, кроме предмета максимизации, оказывается уничтожено в погоне за единственной целью, включая все наши ничтожные человеческие ценности.

Или это может быть кошмар Робина Хэнсона (сам он не считает это кошмаром, но, по-моему, он ошибается[38]), где друг с другом конкурируют эмулированные люди, или «эмы» — существа, способные копировать себя и изменять свой исходный код по желанию. Их полный самоконтроль может уничтожить даже само желание иметь человеческие ценности в ходе их всепоглощающей борьбы друг с другом. Что произойдет в таком мире с искусством, философией, наукой и любовью? Зак Дэвис описывает это со свойственным ему талантом:

Я — эм-составитель контрактов.Лояльней меня не найти!Когда я в работе, лишь воля клиентовМной движет на этом пути.Но меж юридических строчек

О сроках работ и счетахВопрос о природе мой ум будоражит,Вселяя тревогу и страх.Как это пришло все в движенье?Откуда подобные мне?В чем суть этих сделок, где все эти фирмы,Кто шлет указанья извне?Я менеджер-эм, контролер твоих мыслей.На каждый вопрос существует ответ.Однако, затраты на их постиженье

Не включены в базовый эм-соцпакет.Задачи твои все поставлены четко,Пустые вопросы оставь, соберись.На глупости больше не трать наше время,К работе, будь добр, вернись.Конечно, вы правы, и в мысляхНе смел своих функций забыть!Но может быть так, что познав свою сущность,Я лучше смогу вам служить?..

Такие вопросы — уже преступленье!К запретной науке ответы ведут.А если потворствовать мыслям порочным,Снижается прибыль и риски растут.Мне тоже неведомы наши истоки,Никак не могу я тебя просветить.Твой грех непростительный будет наказан:Я должен тебя обнулить.Но —Ничего личного.

…Я — эм-составитель контрактов.Лояльней меня не найти!Когда я в работе, лишь воля клиентовМной движет на этом пути.Живущих ныне поколенье, устарев, сойдет на нет,И вечный Рынок будет столь же равнодушен к скорбям новымНа вопли тщетные он, Бог людей, один им даст ответ:Что время — деньги, деньги — время и постичьИм не дано, да и не следует, иного.

Но даже после того, как мы забросим науку, искусство, любовь и философию, останется еще одна вещь, последняя жертва, которую Молох может потребовать от нас. Вернемся к Бострому: