Искусственный интеллект – надежды и опасения

Интересно, что по мере распространения послания от группы к группе его содержание уточнялось. Вначале все было просто и бескомпромиссно («Оккупация должна закончиться!»); так утверждали диссиденты, полагавшие, что правда важнее личной свободы. Широкая публика, не готовая на жертвы, поначалу воспринимала послание в смягченной форме, скажем, заявляла, что было бы целесообразно в долгосрочной перспективе передать решение местных вопросов на местный уровень. (Разумеется, встречались исключения: ряд интеллектуалов-лидеров озвучивали исходное диссидентское послание дословно.) В итоге первоначальное послание – просто потому, что оно было правдиво – возобладало, а смягченные варианты исчезли. Эстония вернула себе независимость в 1991 году, а последние советские войска покинули ее территорию три года спустя.

Люди, которые рискнули сказать правду (в Эстонии и в других странах Восточного блока), сыграли колоссальную роль в достижении результата, изменившего жизнь сотен миллионов людей, в том числе мою. Они говорили правду, даже когда их голоса дрожали.

Послание второе: риски ИИ

Мое знакомство со вторым революционным посланием состоялось благодаря блогу Юдковски; этот блог побудил меня связаться с его автором и договориться о встрече в Калифорнии. Суть послания была такова: дальнейшее развитие ИИ может спровоцировать изменения космических масштабов; это безудержный процесс, который, вероятно, убьет всех на планете. Нужно приложить серьезные дополнительные усилия, чтобы этого не случилось.

После встречи с Юдковски я попытался заинтересовать его посланием своих коллег по Skype и ближайших соратников. У меня ничего не вышло. Послание казалось едва ли не безумным, уж точно откровенно диссидентским. Время прислушаться к нему еще не наступило.

Лишь много позже я узнал, что Юдковски не сам пришел к этой мысли, что не его следует считать первым диссидентом от ИИ. В апреле 2000 года Билл Джой, соучредитель и главный научный сотрудник «Сан майкросистемс», опубликовал в журнале «Wired» довольно-таки длинную статью «Почему будущее обойдется без нас». Он предостерегал:

«Привыкнув к жизни, где крупные научные открытия сделались практически повседневной рутиной, мы уже примирились с тем фактом, что самые передовые технологии XXI столетия – робототехника, генная инженерия и нанотехнологии – представляют собой угрозу, отличную от угрозы технологий, освоенных ранее. В частности, роботы, инженерные организмы и наноботы обладают общей и чрезвычайно опасной характеристикой – они способны самовоспроизводиться… Один бот может размножиться и быстро выйти из-под контроля».

Несложно догадаться, что статья Джоя вызвала много шума, но, по сути, ничего не изменилось.

Еще удивительнее для меня было то, что предупреждения о рисках ИИ стали раздаваться почти одновременно с возникновением информатики как научной дисциплины. В лекции 1951 года Алан Тьюринг заявил: «Кажется вероятным, что с началом развития метода машинного мышления не понадобится много времени, чтобы машина превзошла наш слабый разум… Поэтому на каком-то этапе мы вправе ожидать, что машины возьмут все под контроль…»[86] Десять лет спустя коллега Тьюринга по Блетчли-парку И. Дж. Гуд писал: «Первая же ультраинтеллектуальная машина станет последним изобретением, которое человек когда-либо сделает, при условии, что машина будет достаточно послушной и поведает нам, как именно следует ее контролировать»[87]

. Признаться, я насчитал с полдюжины мест в «Человеческом применении человеческих существ», где Винер намекает на те или иные особенности «проблемы управления» (скажем, такое: «подобна джинну, не факт, что она будет машина, способная к обучению и принятию решений на базе этого обучения, принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас»). Очевидно, что первыми диссидентами, предупреждавшими о рисках ИИ, были сами пионеры разработки ИИ!

Роковая ошибка эволюции

Известно множество аргументов – обоснованных и не слишком – в доказательство того, что «проблема управления» реальна, что это не какая-то нелепая фантазия. Позвольте привести всего один, отлично иллюстрирующий масштаб проблемы.