Читаем Как мы учимся. Почему мозг учится лучше, чем любая машина… пока полностью

Испытание за испытанием «актор» и «критик» работают в тандеме: один учится выбирать наиболее эффективные действия, другой – как можно точнее оценивать их последствия. Спустя некоторое время – в отличие от того парня из анекдота, который падает с небоскреба и на лету восклицает: «Пока все хорошо!» – сеть «актор – критик» обретает невероятную прозорливость: способность предсказывать, какие партии скорее всего будут выиграны, а какие неизбежно закончатся катастрофой.

Комбинация «актор – критик» – одна из самых эффективных стратегий современного искусственного интеллекта. При поддержке иерархической нейронной сети она буквально творит чудеса. Еще в 1980-х годах эта система выиграла чемпионат мира по нардам, а недавно позволила DeepMind создать многофункциональную нейронную сеть, способную играть в разного рода видеоигры вроде Super Mario

или Tetris10. Достаточно задать пиксели изображения в качестве входных данных, возможные действия в качестве выходных данных и очки в качестве функции вознаграждения. Всему остальному машина научится сама. Играя в Tetris, она обнаружит, что на экране отображаются разные фигуры, что падающая фигура важнее остальных, что те или иные действия могут изменить ее ориентацию и положение в пространстве и так далее, – а затем выработает оптимальную тактику. В Super Mario
изменения входных данных и вознаграждений учат машину обращать внимание на совершенно иные параметры: какие пиксели образуют тело Марио, как он движется, где находятся враги, как выглядят стены, двери, ловушки, бонусы… и как себя вести рядом с ними. Регулируя свои настройки – то есть миллионы связей, соединяющих слои, – сеть может адаптироваться ко всем типам игр и научиться распознавать формы Tetris, Pac-Man или Sonic the Hedgehog.

Но зачем учить машину играть в видеоигры? Два года спустя инженеры DeepMind

использовали соответствующие наработки для решения жизненно важной экономической задачи: как Google оптимизировать управление своими компьютерными серверами? Искусственная нейронная сеть осталась прежней; изменились лишь входные данные (дата, время, погода, международные события, поисковые запросы, количество людей, подключенных к каждому серверу, и т.д.), выходные данные (подключение или отключение того или иного сервера на разных континентах) и функция вознаграждения (экономия энергии). Результат – мгновенное снижение энергопотребления. В итоге компания Google сократила расходы на электроэнергию на 40 процентов и сэкономила десятки миллионов долларов – а ведь оптимизировать эти самые серверы пытались сотни специалистов! Искусственный интеллект, в самом деле, достиг таких высот, что способен перевернуть вверх дном целые отрасли.

Кстати, DeepMind

совершала и другие подвиги. Как всем, наверное, известно, ее программе AlphaGo удалось победить Ли Седоля – восемнадцатикратного чемпиона мира по игре в го, до недавнего времени считавшейся Эверестом искусственного интеллекта11. В го играют на огромной квадратной доске – гобане – размером 19х19 клеток (всего 361 клетка) черными и белыми камнями. Количество комбинаций настолько велико, что систематически проанализировать все будущие ходы, доступные каждому игроку, невозможно. И все же обучение с подкреплением позволило программе AlphaGo распознавать благоприятные и неблагоприятные комбинации лучше, чем любому живому игроку. Как ей это удалось? Разработчики, в частности, заставляли систему играть против самой себя, подобно тому как тренируется шахматист, одновременно играя и белыми, и черными. Идея проста: в конце каждой партии победившая программа усиливает свою тактику, а проигравшая ослабляет, при этом обе учатся более эффективно оценивать свои ходы.

Мы с удовольствием посмеиваемся над Мюнхгаузеном, который в своих легендарных «Приключениях» пытается вытащить себя из болота за волосы. В искусственном интеллекте, однако, безумный метод эксцентричного барона породил довольно сложную стратегию «самонастройки», или бутстрэппинга: шаг за шагом, начиная с бессмысленной архитектуры, лишенной всяких знаний, искусственная нейронная сеть становится чемпионом мира, просто играя сама с собой.

Перейти на страницу:

Все книги серии Книги, которые сделают вас еще умнее

Прямо сейчас ваш мозг совершает подвиг. Как человек научился читать и превращать слова на бумаге в миры и смыслы
Прямо сейчас ваш мозг совершает подвиг. Как человек научился читать и превращать слова на бумаге в миры и смыслы

За последнее десятилетие чтение стало неотъемлемой частью нашей жизни. Мы перестали замечать, как много читаем и пишем и едва ли когда-нибудь задумываемся о том, как мы это делаем.Станислас Деан – французский нейробиолог, ведущий когнитивный нейроученый в мире – задумался об этом всерьез и провел широкомасштабное исследование процессов формирования навыков чтения и письма. В этой книге Деан отвечает на вопросы, касающиеся дефицита чтения, методов обучения этому навыку, нарушений письма и чтения, особенностей восприятия различных систем письменности, а также других важных аспектов. В том числе нейробиолог дает рекомендации по обучению чтению детей.Исследование Станисласа Деана – шаг к более осознанному чтению, пониманию того, как символы на бумаге трансформируются в нашем сознании в новые миры и смыслы. Прямо здесь и сейчас.

Станислас Деан

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература / Научно-популярная литература / Образование и наука

Похожие книги

20 великих бизнесменов. Люди, опередившие свое время
20 великих бизнесменов. Люди, опередившие свое время

В этой подарочной книге представлены портреты 20 человек, совершивших революции в современном бизнесе и вошедших в историю благодаря своим феноменальным успехам. Истории Стива Джобса, Уоррена Баффетта, Джека Уэлча, Говарда Шульца, Марка Цукерберга, Руперта Мердока и других предпринимателей – это примеры того, что значит быть успешным современным бизнесменом, как стать лидером в новой для себя отрасли и всегда быть впереди конкурентов, как построить всемирно известный и долговечный бренд и покорять все новые и новые вершины.В богато иллюстрированном полноцветном издании рассказаны истории великих бизнесменов, отмечены основные вехи их жизни и карьеры. Книга построена так, что читателю легко будет сравнивать самые интересные моменты биографий и практические уроки знаменитых предпринимателей.Для широкого круга читателей.

Валерий Апанасик

Карьера, кадры / Биографии и Мемуары / О бизнесе популярно / Документальное / Финансы и бизнес
Как мы меняемся (и десять причин, почему это так сложно)
Как мы меняемся (и десять причин, почему это так сложно)

Каждый из нас мечтает что-то поменять в своей жизни – избавиться от деструктивных привычек, чему-то научиться, стать более организованным или похудеть. Однако большинство так и не меняются. Психотерапевт и специалист в области психического здоровья Росс Элленхорн считает, что мы избираем неверный подход. Прежде всего нужно проанализировать, что нас удерживает от изменений. На примерах из своей практики автор подробно рассказывает о десяти основных причинах, которые не дают нам измениться. Вы сможете понять мотивы саморазрушительного поведения и вернуть веру в себя.Издание будет интересно всем, кто интересуется психологией и саморазвитием.На русском языке публикуется впервые.

Росс Элленхорн

Карьера, кадры / Управление, подбор персонала / Финансы и бизнес