Моделирование формальной нейронной сети является одним из самых мощных и перспективных средств вычислительной нейронауки. Собранные из большого числа полностью взаимосвязанных простых элементов («формальных нейронов»), они фиксируют самые фундаментальные свойства того, как реальный биологический мозг работает. Как в реальном мозге, единичный элемент сети, нейрон, ограничивается в своих возможностях и не может самостоятельно сделать многое. Как в реальном мозге, сила сети в решении задач предстает как результат многократных взаимодействий, последовательных и параллельных, среди нейронов. Информационная сила сети – везде и в особенности нигде. Она распределяется по всей сети.
Любой, даже умеренно сложный когнитивный процесс, развертывающийся в реальном биологическом мозге, затрагивает слишком огромное число нейронов и глиальных клеток, чтобы позволить экспериментальный анализ всех важных взаимодействий среди них. В упрощенном виде мозг – это структура со слишком многими перемещающимися частями, и его самые интересные свойства проистекают из многократных взаимодействий между частями, нежели из самих частей. Но скрытые, как только могут быть скрытыми эти многократные взаимодействия, от средств экспериментального исследования, многие из них обнаруживаются в прогоне моделей динамичной нейронной сети на компьютерах.
Поставленные перед различными задачами, формальные нейронные сети показывают удивительно мозгообразные свойства. Самым интересным среди них является появление новых способностей и навыков, которые не были явно запрограммированы в модели ее разработчиками. Мы называем такие новые, спонтанно возникающие способности возникающими свойствами. Приобретая такие способности самостоятельно, нейронные сети в некотором смысле в самом деле «изобретают себя сами». Сети показывают эти способности, когда они обладают преимуществом явной обратной связи об их предыдущем успехе или неудаче (контролируемое обучение) и даже когда такая обратная связь для них отсутствует (неконтролируемое обучение).
Среди самых интригующих возникающих свойств являются аттракторы и структуры аттракторов. Аттрактор – это сеть, группа тесно взаимосвязанных нейронов со стабильной моделью активности при отсутствии прямого возбуждения извне. Самосохраняющиеся модели активности называются «структурами аттракторов». Структуры аттракторов возможны потому, что связи между нейронами внутри аттрактора настолько сильны (канавки в песке настолько глубокие, если пользоваться нашей более ранней аналогией), что активация любого подмножества нейронов, даже относительно маленького, достаточна, чтобы поддерживать работу всей модели. Это означает, что один и тот же аттрактор будет активироваться в ее целостности посредством активации любого числа его различных компонентов. Это свойство аттракторов в мозге иногда относится к немного уничижительному термину дегенерация, впервые введенному в нейронауку Джеральдом Эдельманом. В действительности «дегенерация» – это фундаментальное математическое свойство, широко рассматриваемое в алгебре и символической логике. Дегенерация – это также очень важное свойство биологических аттракторов.
Чтобы лучше понять, как работают аттракторы, может быть, было бы полезным напомнить об исходном значении этого термина. Термин аттрактор был заимствован нейробиологами из математики. Изначально выдвинутый великим математиком девятнадцатого века Жюлем-Анри Пуанкаре, он касается ситуации, когда уравнение дает единственное, неизменное решение целого ряда числовых входных данных. Затем было высказано мнение, что такое решение «притягивает» целый ряд специфичных числовых входных данных в уравнение. Другой пример «аттрактора» можно найти в булевой алгебре, где та же логическая формула может быть выведена большим числом входных комбинаций.
Как математическое уравнение со свойствами аттрактора, нейронная сеть аттракторов в мозге может активироваться целым рядом различных входных сигналов из внешнего мира, все активирующие одну и ту же сеть. Когда мы распознаем короткую черную пластиковую ручку как ручку, длинную, красную металлическую ручку как ручку, нарочито богатую золотую ручку как ручку, все они производят очень различный сенсорный входной сигнал. Однако одна и та же нейронная сеть будет активироваться всеми тремя наборами сигналов, несмотря на их отличие, и вот как мы распознаем ручку ручкой.