Читаем Мозговой трест. 39 ведущих нейробиологов – о том, что мы знаем и чего не знаем о мозге полностью

Базальные ядра есть в мозге у всех млекопитающих. В базальных ядрах дофаминовые нейроны отвечают за одну из форм обучения, которую называют ассоциативным обучением. Вспомним знаменитую собаку Павлова. В эксперименте Павлова сенсорный стимул, например звонок (условный стимул), предшествовал приему пищи (безусловный стимул), который вызывал слюноотделение (безусловный рефлекс). После нескольких повторений звонок также начинал вызывать у собаки слюноотделение (условный рефлекс). Разные животные предпочитают разные ассоциативные стимулы: например, пчелы хорошо реагируют на запах, цвет и форму цветка, используя выученную ассоциацию для поиска похожих цветов, когда те расцветают. По всей видимости, эта универсальная форма обучения очень важна, и в 1960-е годы психологи активно изучали условия, способствующие ассоциативному обучению, и разрабатывали модели для его объяснения.

С вознаграждением ассоциируется только тот стимул, который ему предшествует[466]. Это логично, поскольку стимул, возникающий до вознаграждения, с большей вероятностью окажется его причиной, чем тот, который поступит после вознаграждения. В природе принцип причинности играет важную роль.

Предположим, вы приняли ряд решений для достижения цели. Если вы не будете знать наперед результат каждого из этих решений, вам придется учиться на собственном опыте в реальном времени. Если вы получаете вознаграждение по итогам последовательности решений, как узнать, какое из них привело к положительному результату? Алгоритм обучения, который может ответить на этот вопрос, называется методом временного присваивания коэффициентов доверия. Он был разработан Ричардом Саттоном в Массачусетском университете в Амхерсте в 1988 году[467]

. В тесном сотрудничестве с Эндрю Барто, своим научным руководителем, Саттон работал над сложными вопросами обучения с подкреплением — это метод машинного обучения, образцом для которого стало ассоциативное обучение у животных. При обучении методом временных разностей вы сравниваете свои ожидания относительно вознаграждения за выбор того или иного варианта с полученным в реальности вознаграждением, после чего корректируете ожидания, чтобы в следующий раз принять лучшее решение. Затем обновляется оценочная сеть, которая рассчитывает ожидаемое вознаграждение для каждого решения в каждой точке выбора. Алгоритм временн
ых разностей приближает вас к оптимальной серии решений, когда у вас достаточно времени на анализ возможностей. После этого начинается этап реализации наилучшей стратегии, выработанной на основе анализа.

Пчелы — лучшие ученики в мире насекомых. Им требуется лишь несколько полетов к цветку с нектаром, чтобы запомнить его. Это быстрое обучение исследовалось в лаборатории Рэндольфа Мензеля в Берлине, когда я приехал туда в 1992 году. Мозг пчелы состоит из миллиона нейронов, и регистрировать их электрические сигналы очень трудно. Мартин Хаммер из группы Мензеля открыл уникальный нейрон, названный VUMmx1, который реагирует усилением электрической активности на сахарозу, но не на запах; однако если вскоре после обоняния запаха пчела получала вознаграждение в виде сахарозы, VUMmx1 начинал реагировать и на запах.

Когда я вернулся в Ла-Хойю, сотрудник моей лаборатории Питер Дэйан, специалист по обучению с подкреплением, сразу же понял, что этот нейрон можно использовать для обучения методом временных разностей. Наша модель обучения пчелы позволяет объяснить некоторые особенности психики этих насекомых, такие как избегание риска. Когда пчеле предлагают выбор между гарантированным вознаграждением и удвоенным вознаграждением с 50-процентной вероятностью (в среднем получается тот же объем), она предпочитает гарантированное. Рид Монтегю, еще один сотрудник моей лаборатории, сделал следующий шаг, осознав, что дофаминовые нейроны в системе вознаграждения позвоночных могут выполнять аналогичную функцию[468]. Это был один из самых волнующих этапов моей научной жизни: наши модели и сделанные на их основе прогнозы были опубликованы, а впоследствии подтверждены на обезьянах (Вольфрамом Шульцем) и на людях. У обезьян для этого регистрировались сигналы отдельных нейронов, а в случае с людьми применялись методы визуализации мозга[469]. Кратковременные изменения в активности дофаминовых нейронов сигнализируют об ошибке в ожиданиях вознаграждения.

Перейти на страницу:

Похожие книги

Гиперпространство. Научная одиссея через параллельные миры, дыры во времени и десятое измерение
Гиперпространство. Научная одиссея через параллельные миры, дыры во времени и десятое измерение

Инстинкт говорит нам, что наш мир трёхмерный. Исходя из этого представления, веками строились и научные гипотезы. По мнению выдающегося физика Митио Каку, это такой же предрассудок, каким было убеждение древних египтян в том, что Земля плоская. Книга посвящена теории гиперпространства. Идея многомерности пространства вызывала скепсис, высмеивалась, но теперь признаётся многими авторитетными учёными. Значение этой теории заключается в том, что она способна объединять все известные физические феномены в простую конструкцию и привести учёных к так называемой теории всего. Однако серьёзной и доступной литературы для неспециалистов почти нет. Этот пробел и восполняет Митио Каку, объясняя с научной точки зрения и происхождение Земли, и существование параллельных вселенных, и путешествия во времени, и многие другие кажущиеся фантастическими явления.

Мичио Каку

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература
Происхождение эволюции. Идея естественного отбора до и после Дарвина
Происхождение эволюции. Идея естественного отбора до и после Дарвина

Теория эволюции путем естественного отбора вовсе не возникла из ничего и сразу в окончательном виде в голове у Чарльза Дарвина. Идея эволюции в разных своих версиях высказывалась начиная с Античности, и даже процесс естественного отбора, ключевой вклад Дарвина в объяснение происхождения видов, был смутно угадан несколькими предшественниками и современниками великого британца. Один же из этих современников, Альфред Рассел Уоллес, увидел его ничуть не менее ясно, чем сам Дарвин. С тех пор работа над пониманием механизмов эволюции тоже не останавливалась ни на минуту — об этом позаботились многие поколения генетиков и молекулярных биологов.Но яблоки не перестали падать с деревьев, когда Эйнштейн усовершенствовал теорию Ньютона, а живые существа не перестанут эволюционировать, когда кто-то усовершенствует теорию Дарвина (что — внимание, спойлер! — уже произошло). Таким образом, эта книга на самом деле посвящена не происхождению эволюции, но истории наших представлений об эволюции, однако подобное название книги не было бы настолько броским.Ничто из этого ни в коей мере не умаляет заслуги самого Дарвина в объяснении того, как эволюция воздействует на отдельные особи и целые виды. Впервые ознакомившись с этой теорией, сам «бульдог Дарвина» Томас Генри Гексли воскликнул: «Насколько же глупо было не додуматься до этого!» Но задним умом крепок каждый, а стать первым, кто четко сформулирует лежащую, казалось бы, на поверхности мысль, — очень непростая задача. Другое достижение Дарвина состоит в том, что он, в отличие от того же Уоллеса, сумел представить теорию эволюции в виде, доступном для понимания простым смертным. Он, несомненно, заслуживает своей славы первооткрывателя эволюции путем естественного отбора, но мы надеемся, что, прочитав эту книгу, вы согласитесь, что его вклад лишь звено длинной цепи, уходящей одним концом в седую древность и продолжающей коваться и в наше время.Само научное понимание эволюции продолжает эволюционировать по мере того, как мы вступаем в третье десятилетие XXI в. Дарвин и Уоллес были правы относительно роли естественного отбора, но гибкость, связанная с эпигенетическим регулированием экспрессии генов, дает сложным организмам своего рода пространство для маневра на случай катастрофы.

Джон Гриббин , Мэри Гриббин

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература / Научно-популярная литература / Образование и наука