Методы статистического анализа исторических текстов (часть 2)

Семейство (1) представляет собой обобщенный вариант статистики Колмогорова-Смирнова, которая используется для проверки совпадения или различия функций распределения у двух выборок (при фиксированном n). Можно показать, что статистики вида (1) асимптотически (при N-> и сохранении соотношения между объемами «склеенных» реализаций) минимаксны (т. е. минимизируют максимально возможную вероятность ошибки оценивания момента «разладки») по порядку.

Указанные идеи (подробнее см.[546]) воплощены в комплексе прикладных программ VERDIA для персональной ЭВМ типа IBM-PC. Этот комплекс позволяет в диалоговом режиме обнаруживать «разладки» произвольной случайной последовательности. При помощи комплекса VERDIA нами был проведен анализ ряда конкретных исторических текстов. Результаты этого анализа изложены в следующем Дополнении 2 к настоящей книге.

Дополнение 2Выявление однородных и неоднородных фрагментов внутри русских летописей, римских и греческих хроник, в БиблииБ.Е. Бродский, Б.С. Дарховский, Г.В. Носовский, А.Т. Фоменко

1. Введение

В современной математической статистике большое применение нашел важный метод разладки, созданный А.Н. Ширяевым. В настоящей работе кратко описываются результаты интересного численного эксперимента, идея которого была впервые предложена А.Н. Ширяевым и А.Т. Фоменко. Эта идея и эксперимент обсуждались на научно-исследовательском семинаре «Геометрия и статистика», работавшем под их руководством в математическом ин-те им В.А. Стеклова АН СССР. Цель эксперимента — применить метод разладки к важной задаче выявления, распознавания «однородных кусков» внутри достаточно больших исторических (и более общо, — т. н. нарративных) текстов. К таким текстам относятся, в частности, исторические хроники, летописи и т. п. Теоретические основы метода разладки см. в статье Б.Е. Бродского и В.С. Дарховского, помещенного в настоящей книге как Дополнение 2.

Выявление информативных количественных характеристик текстов и предварительная обработка исторических текстов, в частности, русских летописей и исторических книг Библии, были выполнены Г.В. Носовским и А.Т. Фоменко. Статистический анализ и компьютерный эксперимент были затем проведены Б.С. Дарховским и Б.Е. Бродским. Большую помощь при этом нам оказали Т. Толозова, А. Громова и Л. Мищенко.

Сейчас мы опишем постановку задачи, полученные результаты и их интерпретацию. Многие древние исторические источники составлены из отдельных фрагментов, кусков разной природы. Например, эти отдельные куски могли быть написаны в разное время разными авторами и вообще в разных странах. Поэтому могут существенно отличаться друг от друга своим характером, языком и стилем изложения, степенью подробности, эмоциональной окраской. Затем могло случиться так, что эти отдельные фрагменты были объединены каким-то более поздним летописцем в одну книгу. После этого первоначальное происхождение этих текстов-фрагментов было забыто. Они начинали существовать, «спаянные» в единое целое внутри какой-то одной поздней летописи. С течением времени, при многократной переписке летописей, их изменений под влиянием разных «редакторов», внешние различия, существовавшие первоначально между различными старыми фрагментами, составляющими «новый большой текст», постепенно стирались. Сегодня такие составные тексты часто воспринимаются как единое целое, поскольку предыстория их возникновения давно забыта.

Возникает естественный и важный вопрос: можно ли, опираясь на численный, статистический анализ различных частотных характеристик, выявить сегодня внутри единой большой летописи эти первичные составные части, куски, то есть можно ли снова разрезать большой текст на его первичные, древние фрагменты-первоисточники?

В основу излагаемого ниже метода положена идея, согласно которой каждый первичный, древний фрагмент был более или менее «однороден». Например, он мог быть написан одним автором, а потому несет на себе характерный отпечаток одной индивидуальности. Единый стиль, манера и т. п. Поскольку эта гипотетическая индивидуальность по-видимому «мало менялась» в процессе написания одного текста, то можно сформулировать естественную гипотезу, модель о «первичной однородности» фрагментов, написанных одним автором, в одно время, или в одной и той же исторической школе летописцев.

Эта на первый взгляд простая идея, сформулированная А.Н. Ширяевым и А.Т. Фоменко, оказалась полезной при анализе конкретных исторических текстов. Более того, оказалось, что результаты, полученные на основе применения этой идеи и статистического исследования Б.С. Дарховского, Б.Е. Бродского и Г.В. Носовского, применительно к конкретным историческим текстам, хорошо согласуются с независимыми результатами, полученными применением совсем других методов, тоже статистического характера.