Методы статистического анализа исторических текстов (часть 2)

Однако многообразие грамматических структур, участвующих в формировании литературных текстов, сильно затрудняет поиски таких инвариантов. Уже простые вычислительные эксперименты показывают, что обнаружение числовых характеристик, различающих разных авторов, — сложная задача. Дело в том, что когда человек пишет книгу, то существенную роль играют не только подсознательные, но и сознательные факторы. Например, частота употребления автором РЕДКИХ И ИНОСТРАННЫХ СЛОВ может, конечно, служить неким показателем его стиля, эрудиции. Однако этот показатель ЛЕГКО КОНТРОЛИРУЕТСЯ автором на СОЗНАТЕЛЬНОМ уровне, поскольку редкие и иностранные слова вставляются в текст нечасто и каждый раз автор специально отмечает про себя: «здесь я вставляю иностранное или редкое слово». В результате, как неопровержимо свидетельствуют конкретные подсчеты, использовать эту числовую характеристику в качестве авторского инварианта НЕЛЬЗЯ. Она контролируется автором, «скачет» и писатель может легко менять ее от произведения к произведению.

Отсюда видно, что количественная оценка индивидуальных отличительных особенностей автора — весьма нетривиальная задача. Сформулируем точнее — какими свойствами должен обладать авторский инвариант.

Искомая числовая характеристика должна удовлетворять следующим естественным требованиям.

1) Она должна быть достаточно «массовой», интегральной, чтобы СЛАБО КОНТРОЛИРОВАТЬСЯ автором на сознательном уровне. Другими словами, она должна быть его «бессознательным параметром», коренящимся настолько глубоко, что автор даже не задумывается о нем. А если бы даже задумался, то не смог бы долго его контролировать и в результате довольно быстро вернулся бы в прежнее устойчивое и ТИПИЧНОЕ для него состояние.

2) Искомый параметр должен сохранять «постоянное значение» для произведений данного автора. То есть, иметь небольшое отклонение от среднего значения (слабо колебаться) на протяжении всех его книг. Именно это свойство и позволяет говорить, что данный параметр является ИНВАРИАНТОМ.

3) Наконец, параметр должен уверенно различать между собой разные группы писателей. Другими словами, должно существовать достаточное число авторских групп, заметно отличающихся друг от друга значениями инварианта.

Третье условие важно. Ведь может случиться так, что некий параметр окажется слабо колеблющимся вдоль произведений каждого отдельного писателя, однако в то же время принимает ОДНО И ТО ЖЕ ЗНАЧЕНИЕ, будучи вычислен для РАЗНЫХ авторов. Другими словами, он не позволяет различать писателей.

ТОЛЬКО СОЧЕТАНИЕ ВСЕХ ТРЕХ ПЕРЕЧИСЛЕННЫХ УСЛОВИЙ ПОЗВОЛЯЕТ ГОВОРИТЬ, ЧТО МЫ ОБНАРУЖИЛИ АВТОРСКИЙ ИНВАРИАНТ.

3. Наш подходВыборки и шаги, эволюция параметра вдоль текста

Пусть в нашем распоряжении оказалось какое-то количество произведений одного писателя. Для удобства упорядочим их хронологически (т. е. в порядке написания) и для краткости назовем получившуюся совокупность — ТЕКСТОМ ДАННОГО АВТОРА. Таким образом, текст автора (в нашем определении) может состоять из нескольких различных произведений — романов, повестей, рассказов и т. п.

Выделим теперь из этого текста отдельные фрагменты выборки одинакового объема, т. е. состоящие из одного и того же (фиксированного заранее) количества слов. Это количество слов естественно назвать ОБЪЕМОМ ВЫБОРКИ.

Эти равновеликие (равные по объему) выборки мы будем выделять из текста ЧЕРЕЗ РАВНЫЕ ИНТЕРВАЛЫ, т. е. таким образом, чтобы каждые две соседние выборки были отделены друг от друга примерно одним и тем же количеством слов. Это «расстояние», интервал между соседними выборками мы назовем ШАГОМ. См. рис. Доп-3.1.

Объем выборок и их шаг можно варьировать в зависимости от поставленных задач.

Итак, последовательно двигаясь по тексту одного автора, мы через каждые, например, 10 страниц стандартного книжного текста будем делать выборки одного и того же объема, например, в 2000 слов. Чем длиннее исследуемый текст, тем больше выборок мы сможем сделать. Для коротких произведений число выборок будет невелико, что усложняет анализ, делает результаты неустойчивыми.

Пусть теперь мы избрали какой-либо лингвистический параметр, например частоту употребления писателем предлога «в». Можно изучить эволюцию этого параметра вдоль всего текста, состоящего, быть может, из нескольких отдельных произведений, выстроенных нами в ряд. Для этого сделаем последовательные выборки и подсчитаем для каждой из них значение интересующего нас лингвистического параметра. В результате для каждой выборки (порции) получим свое число. От выборки к выборке оно будет, вообще говоря, меняться. Построим график, отложив по горизонтали целые числа 1,2,3…., являющиеся номерами последовательных выборок, а по вертикали — значения изучаемой нами лингвистической характеристики.

В результате, эволюция данного параметра вдоль всего исследуемого текста изобразится некоторой ломаной линией.