Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность

Их поиски лишенных смысла слов увенчались успехом, когда они взялись за предлог upon («на основании»), который Мэдисон не употреблял почти никогда, а Гамильтон при каждом удобном случае:

Вооруженные этими данными, Фред и Дейв смогли свести каждого автора к чему-то вроде колоды карт, раздающей те или иные слова с предсказуемой вероятностью. Затем, отследив частотность определенных слов в письмах с неустановленным авторством, они смогли узнать, из какой «колоды» взят каждый текст.

Метод сработал. Их вывод: «Практически наверняка эти 12 писем написаны Мэдисоном».

Полвека спустя эта технология стала стандартной. Она помогла установить авторство древнегреческой прозы, сонетов елизаветинцев и речей Рональда Рейгана. Бен Блатт применил этот алгоритм около 30 000 раз, используя 250 общеупотребительных слов, чтобы определить, кто из двух авторов написал определенную книгу. Он получил 99,4 % верных ответов.

Мой разум знает, что здесь нет подвоха. Но мои чувства бунтуют. Как можно понять книгу, измельчив ее на биты?

В 2011 году команда авторов из Лаборатории литературоведения Стэнфорда совершила ловкий кульбит: они идентифицировали уже не авторов, а жанры[215]. Они использовали два метода: анализ частотности употребления слов и более изощренный анализ на уровне предложений (под названием «Докускоп»). К их удивлению, оба метода позволили точно определять жанры текстов.

Присмотримся к фрагменту абзаца со страницы, которую компьютер счел наиболее «готической» во всем корпусе, включающем 250 романов:

Он шел по шатким плитам через двор, пока не достиг арки; здесь он остановился, ибо ему снова стало страшно. Однако, набравшись храбрости, он пошел дальше, все еще пытаясь следовать за той фигурой, и внезапно оказался в разрушенном зале, вид которого был более диким и пустынным, чем все увиденное им до сих пор. Охваченный непреодолимым ужасом, он направился обратно, но услышал ослабший измученный голос. Сердце замерло при этом звуке, его бросило в дрожь, и он был совершенно не в силах сойти с места. Звук, похожий на предсмертный стон, повторился…

У меня ползут мурашки по спине, и на то есть две причины. Во-первых, вся эта жуткая готика: разрушенные арки и предсмертные стоны. Во-вторых, жутковато, что компьютер распознал готическую атмосферу, даже не обратив внимания на слова «арка», «разрушенный» или «предсмертный стон». Он выделил этот отрывок на основе употребления местоимений, вспомогательных слов и глагольных конструкций.

Я нервничаю. Что такого знает алгоритм, чего не знаю я?

К моему облегчению, авторы высказали предположительный ответ. Нет ни одного элемента, позволяющего определить автора или жанр, ни одной уникальной черты, из которой следуют все остальные. Скорее проза имеет много отличительных черт, от галактической структуры романа до молекулярной структуры слогов. Статистические тенденции и глубокий смысл могут сосуществовать, живя бок о бок в одной и той же последовательности слов.

Большую часть времени я читаю ради архитектуры текста. Сюжет, тема, персонаж. Это высокоуровневая структура: аспекты, которые видны любому прохожему, но непроницаемы для статистики.

Если я присмотрюсь, то увижу кирпичную кладку. Клаузулы, конструкции предложений, оформление абзаца. Это микроуровневая структура, тщательно исследовать которую меня учили школьные учителя английского. Компьютер может научиться делать то же самое.

Есть и скрытая от глаз наноструктура: известь. Местоимения, предлоги, неопределенные артикли. Это строительный раствор, который скрепляет все вместе; он не заметен невооруженным глазом, но идеально подходит для химического статистического анализа.

Я знаю, что это всего лишь метафора, но призрак в моей голове говорит на языке метафор. Я воодушевленно подсчитал частоту употребления наречий в первой главе этой книги («Думать как математик»). Получилось 11 наречий на 1000 слов — почти как у Вирджинии Вулф, что я воспринял как благое знамение. Затем, не в силах удержаться, я убрал несколько наречий, пока их частота не снизилась до 8 на 1000 слов. Это уровень Хемингуэя и Тони Моррисона.

Я жульничал, и это было здорово.

Могут ли новые статистические методы гармонично сочетаться со старыми, более насыщенными, более человечными способами понимания языка? Да, теоретически.

V. На пороге

Сила одного шага