Искусственный интеллект – надежды и опасения

Мы близки к тому, чтобы начать создавать суперинтеллект на основе только информационных технологий, без привлечения человека. Именно такие системы обычно называют «искусственным интеллектом», или ИИ. Резонно задаться вопросом, каким будет отношение гипотетического машинного суперинтеллекта к людям. Сочтет ли он, что люди представляют собой полезный ресурс, с которым целесообразно сохранять хорошие отношения? Будут ли цели этого суперинтеллекта соответствовать нашим собственным? Вообще окажутся ли эти вопросы для суперинтеллекта сколько-нибудь важными? И какие «правильные» вопросы нам следует задавать? На мой взгляд, одним из принципиальных является следующий вопрос: в каких отношениях между собой будут состоять разнообразные суперинтеллекты?

Любопытно прикинуть, как гибридные суперинтеллекты справляются с конфликтами в своей среде в настоящее время. Сегодня бо́льшая часть реальной власти в мире принадлежит национальным государствам, которые притязают на владение территорией. Не важно, «оптимизированы» они для того, чтобы действовать в интересах своих граждан или в интересах деспотического правителя, национальные государства имеют приоритет перед желаниями и целями других интеллектов в пределах своих географических границ. Они претендуют на монополию в применении силы и признают равными себе только другие национальные государства. Они готовы при необходимости мобилизовывать граждан на большие свершения, чтобы укрепить собственную власть, даже требовать от них пожертвовать жизнью.

Такое географическое распределение власти было логичным и осмысленным в эпоху, когда большинство акторов составляли люди, жизнь которых по большей части протекала в пределах границ конкретного национального государства; но сегодня, когда все больше утверждаются географически распределенные гибридные интеллектуальные структуры, скажем, транснациональные корпорации, эта логика выглядит менее очевидной. Мы живем в сложный переходный период, когда распределенные суперинтеллекты по-прежнему в значительной степени полагаются на национальные государства в урегулировании возникающих споров. Нередко конфликты разрешаются по-разному в разных юрисдикциях. Все труднее становится просто соотносить индивидов с национальными государствами; при этом экспаты, живущие и работающие за границами родной страны, беженцы и иммигранты (легальные и нелегальные) до сих пор считаются, так сказать, исключениями из правил. Суперинтеллект, построенный исключительно на информационных технологиях, окажется еще более непригодным для территориальной системы власти, поскольку нет никаких причин «привязывать» его к физическим ресурсам конкретной страны – и даже вообще к каким-либо конкретным физическим ресурсам. Искусственный интеллект вполне может существовать в «облаке», а не в каком-то физическом местоположении.

Мне видятся как минимум четыре сценария того, как машинные суперинтеллекты будут взаимодействовать с гибридными сверхразумами.

Очевидный сценарий предполагает, что разнообразные машинные интеллекты в конечном счете подчинятся тем или иным национальным государствам и интегрируются с ними. В рамках этого сценария объединения государства с ИИ нетрудно вообразить, как американские и китайские супер-ИИ конкурируют друг с другом за ресурсы от имени своего государства. В некотором смысле эти ИИ будут гражданами своего национального государства – вспомним о немалом числе коммерческих организаций, которые часто выступают в роли «корпоративных» граждан. В данном сценарии конкретное государство будет наделять машины ресурсами, необходимыми для работы в интересах этого государства. Или же – в той степени, в какой суперинтеллект способен оказывать влияние на правительство конкретного государства – машины, вероятно, станут стремиться к укреплению собственной власти, например за счет присвоения большей доли ресурсов государства. ИИ национальных государств, возможно, не пожелают мирно наблюдать за расширением возможностей ИИ в государствах-конкурентах. Словом, в данном сценарии суперинтеллект становится продолжением государства, а государство – продолжением ИИ.