1. Повторять процедуру много раз, меняя параметры случайным образом и фиксируя результат каждого испытания; по сути, мы «встряхиваем» систему и проверяем, не опустится ли она ниже. Если во время какого-то испытания будет обнаружена более глубокая долина, следует отталкиваться от этих параметров.
2. Нужно не просто двигаться под уклон, а еще спотыкаться как пьяный (это так называемый «стохастический спуск по градиенту»). Если делать это достаточно долго, в конечном счете обнаружится дно. Чем не метафора жизненного пути?
3. Просто искать «любопытные» функции, которые выделяются разнообразием (скажем, предельных значений или изменений цвета). Предупреждение: такой способ способен привести к безумию – чрезмерная «любопытность» побуждает сеть создавать оптические иллюзии. Так что нужно сохранять здравомыслие и обращать пристальное внимание на признаки, предположительно реальные по своей природе, а не на артефакты и ошибки. Это «регуляризация» системы, которую возможно реализовывать различными способами – например, устанавливать, выявлялись (усваивались) ли подобные признаки ранее, определять, «высокочастотны» они (по аналогии со звуковыми колебаниями) или «низкочастотны» (тяготеющие к непрерывности, как реальные признаки реального мира), и т. д.
Только потому, что системы ИИ порой достигают локальных минимумов, не следует делать вывод, будто в силу этого они менее похожи на естественные. Люди – не исключено, все формы жизни вообще – частенько застревают на локальных минимумах.
Возьмем наше понимание игры в го, которую люди изучали, осваивали и оптимизировали на протяжении тысячелетий. ИИ понадобилось менее трех лет, чтобы сообразить, что мы все время играли неправильно, что существуют лучшие, почти «инопланетные» тактики игры, которые мы никогда не рассматривали – прежде всего потому, что наш мозг не обладает «процессорной мощностью» на просчет стольких ходов вперед.
Даже в шахматах, которые значительно проще и которые считались давно понятными, «брутфорсные»[118]
машины способны одолеть нас с использованием наших собственных стратегий. Шахматы, когда их изучили системы искусственного интеллекта на основе нейронных сетей, тоже, как выяснилось, предполагают совокупность «чуждых» стратегий выигрыша, которые мы никогда не рассматривали (скажем, пожертвовать ферзем в дебюте партии, чтобы получить неочевидное долговременное преимущество). Такое впечатление, будто до сих пор мы играли в двумерные версии игр, а на самом деле измерений намного больше.Если что-то из сказанного выше звучит знакомо, причина в том, что физика пытается преодолеть эти топологические трудности вот уже многие десятилетия. Идея многомерного пространства и сведение математики к постижению геометрии и взаимодействий «мембран», недоступных нашим чувствам, – таков предел, за который уходят после смерти приверженцы великой теории всего на свете[119]
. В отличие от многомерной теоретической физики, ИИ есть то, с чем можно экспериментировать в реальности.Вот что мы собираемся сделать. Следующие несколько десятилетий ознаменуются прорывными исследованиями способов мышления, которые не удалось обнаружить за 7 миллионов лет эволюции. Мы собираемся оставить за спиной локальные минимумы и отыскать более глубокие минимумы, возможно, даже глобальные. Когда это произойдет, мы, быть может, научим машины разумности комаров – навсегда понизив космические градиенты до конечной цели, какой бы та ни была.
Глава 15
«Информация» по Винеру, по Шеннону и… И по нашим нынешним представлениям