Путь к сути вещей: Как понять мир с помощью математики

Эта тема настолько меня заворожила, что я решил завершить математическую карьеру. Я только что закончил важный цикл в научной работе по алгебре и геометрии и увидел возможность исследовать радикально новую тему, которая могла прояснить то, что я пережил.

Я решил подойти к ней самым практичным образом, какой только возможен, создав компанию по вопросам искусственного интеллекта и тем самым отказавшись от научной карьеры.

Если нужно понять природу нашего интеллекта и механизмы нашей мысли, алгоритмы глубокого обучения дают наилучшую из известных мне метафор.

Слоновый нейрон

Первая загадка, которую позволяют решить алгоритмы глубокого обучения, – возникновение концептов. Иначе говоря, то, что тысячелетиями было предметом одного из самых яростных дебатов в метафизике, внезапно превратилось в конкретное материальное явление, зафиксированное неоспоримой экспериментальной реальностью: концептуальная мысль спонтанно возникает из крупного скопления нейронов под воздействием необработанных данных, например потока образов.

В самых общих чертах это работает так. Алгоритмы обучения моделируют кору мозга как сеть из множества слоев нейронов. Первый слой – исходное изображение: сетка нейронов, представляющих пиксели. Второй слой образован нейронами, чьи дендриты связаны с нейронами первого слоя. Третий слой образован нейронами, чьи дендриты связаны с нейронами второго слоя. И так далее. Именно потому, что сеть состоит из множества наложенных слоев, говорится о «глубоком» обучении.

В описании механизма, решающего вопрос о возбуждении нейрона, я не упомянул одну немаловажную деталь: опрос нейроном своих дендритов для выяснения, нужно ли ему возбуждаться, – это опрос взвешенный. Иными словами, каждое соединение нейрона с одним из нейронов предыдущего слоя имеет определенный коэффициент, определяющий вес его голоса в решении.

Под воздействием потока необработанных изображений сеть постепенно корректирует коэффициенты всех нейронных связей в соответствии с механизмом, который мы объясним через несколько страниц.

Именно через эту настройку коэффициентов сеть «учится» и «умнеет».

Когда запускается подобный алгоритм глубокого обучения, например когда ему показывают миллионы и миллионы случайных фотографий из интернета, можно констатировать, что каждый нейрон постепенно специализируется на выявлении определенного концепта.

Концепты первых слоев будут очень примитивными, но в глубоких слоях они будут намного изощреннее.

Например, нейрон второго слоя может специализироваться на выявлении вертикальной линии в нижнем левом углу изображения или небольшого градиента освещенности в другой части изображения. Он будет возбуждаться только в присутствии этого элемента.

В третьем слое концепты будут немного сложнее. Например, конкретный нейрон может выявлять определенные типы углов между двумя сегментами в определенной области изображения.

По мере продвижения по сети концепты становятся богаче и абстрактнее. Они все более глубокие.

В пятом слое некоторые нейроны могут, например, специализироваться на выявлении треугольников или определенных типов кривых.

В двадцатом слое нейрон может специализироваться на выявлении слонов, настоящих или нарисованных.

Я намеренно излагаю упрощенно. Реальность, конечно, намного сложнее, как с компьютерной, так и с биологической точки зрения.

Заявление, что в вашем мозгу концепт слона соответствует совершенно конкретному нейрону, – это просто краткий пересказ. Он не вполне корректен, но достаточно корректен, чтобы его использовать. И сильно облегчает понимание.

Кстати, с биологической точки зрения вопрос не окончательно закрыт. Например, некоторые эксперименты намекают, что для каждого известного актера или актрисы, которых вы знаете, у вас действительно есть конкретный нейрон, реагирующий именно на их присутствие на изображении. Однако некоторые ученые считают, что концепты соответствуют группам нейронов, а не отдельных нейронов. В компьютерных симуляциях можно увидеть, как отдельные нейроны специализируются на выявлении сложных объектов, таких как слоны, но в других случаях выявление происходит скорее путем активации небольшой группы нейронов (а не одного нейрона).

Эти нюансы никак не влияют на выводы, которые мы сделаем дальше.

Давайте представим, что у вас и правда есть слоновый нейрон. Это позволит нам все рассказать просто, понятно и в целом корректно.

Сто триллионов волокон

У вашего слонового нейрона тысячи дендритов. А значит, ваше внутреннее определение слона подразумевает тысячи критериев, которые сами по себе являются абстрактными концептами достаточно высокого уровня, такими как «является животным», «имеет хобот», «имеет большие уши», «серый», «большой», «издает трубный звук», «имеет бивни», «имеет бугристую кожу», «движется определенным образом», и так далее.