Как показывают примеры, приведенные во врезке 9, процессы неограниченного поиска решений иногда выдают странные, неожиданные и не антропоцентричные результаты даже в нынешнем своем весьма ограниченном виде. Современные поисковые процессы неопасны, поскольку слишком слабы, чтобы разработать план, способный привести к их господству над миром. Такой план должен включать чрезвычайно сложные шаги вроде создания новых видов оружия, на несколько поколений опережающих существующие, или проведение пропагандистской кампании, гораздо более эффективной, чем те, что доступны современным механизмам манипулирования людьми. Чтобы у машины появилась возможность хотя бы
Возможно, вместо того чтобы позволить спонтанное и опасное развитие целенаправленного поведения агентов при помощи мощных поисковых алгоритмов (включая процессы планирования и прямого поиска решений, удовлетворяющих определенным критериям пользователя), лучше было бы создать агента намеренно. Наделив сверхразум явной структурой агентского типа, можно было бы повысить его предсказуемость и прозрачность. Хорошо разработанная система с четким разделением между целями и навыками позволила бы нам делать прогнозы относительно результатов, которые она будет выдавать. Даже если мы не сможем точно сказать, к какому мнению придет система или в каких ситуациях окажется, будет понятно, в каком месте можно проанализировать ее конечные цели и, как следствие, критерии, которыми она воспользуется при выборе своих действий и оценке потенциальных планов.
Сравнительная характеристика
Будет полезно обобщить свойства различных каст ИИ, которые мы обсудили (табл. 11).
Таблица 11.
Свойства различных типов интеллектуальных систем