Искусственный интеллект. Этапы. Угрозы. Стратегии

Что берется под контроль:

Описание и примеры

Поведение:

Вокруг изолированного ИИ разместить датчики для обнаружения попыток вырваться на свободу. Например, они могут фиксировать попытки установить радиосвязь или найти доступ к внешним вычислительным ресурсам, которых «по условиям содержания» у ИИ быть не должно. Кроме того, можно установить сетевой порт-«приманку» — мнимое соединение с интернетом, попытка воспользоваться которым вызывает отключение системы

Когнитивныеспособности:

Через короткие промежутки времени можно проводить автоматическое тестирование когнитивных способностей системы, чтобы держать под контролем уровень навыков ИИ в различных областях. Если скорость их развития окажется неожиданно высокой или ИИ достигнет уровня компетентности, который окажется в непосредственной близости к опасной зоне, его можно замедлить или приостановить, чтобы программисты могли более внимательно следить за дальнейшим прогрессом.

Следует установить надзор за внутренними процессами ИИ, чтобы отследить вовремя действия, вызывающие подозрение. Например, если у системы вдруг меняется собственное представление о своих конечных целях, сразу следует ее автоматическое отключение и программисты приступают к изучению ситуации. Кроме того, необходимо следить за такими подозрительными проявлениями, как использование ИИ ресурсов и алгоритмических методов

Семантическая

информация:

Более масштабной и многообещающей задачей является постоянный контроль над смысловой и неструктурированной информацией: убеждениями, планами, промежуточными целями и мотивами — с целью удостовериться, что все это по-прежнему соответствует ожиданиям программистов. Раннее выявление процесса рождения недобрых умыслов ИИ облегчит дальнейшее проведение уже более действенных видов контроля над этими семантическим данными. Речь идет о сканировании мыслительных процессов ИИ для обнаружения рождения обмана — того самого уязвимого момента, когда у недружественного ИИ впервые возникает желание скрыть свои истинные намерения[365].

Системе контроля над семантической информацией предписано фиксировать все вышеописанные интенции ИИ, чтобы они были прозрачны для программистов или устройств автоматической регистрации. Правда, для некоторых типов архитектуры ИИ осуществление такого контроля может быть невозможно. (Например, непрозрачными являются некоторые нейронные сети, поскольку информация в них представляется целостно и такими способами, которые не всегда соответствуют человеческим понятиям.) По этой причине лучше избегать использовать такие архитектуры