Одна формула и весь мир

Пример V. Чтобы определить энтропию фраз № 3 и № 4, необ­ходимо учитывать не только вероятности отдельных букв, но и веро­ятности их сочетаний. Для реальных текстов эта задача становится настолько сложной, что приходится применять приближенные методы расчета, описанные подробно и доступно в книге А. М. Яглома и И. М. Яглома «Вероятность и информация» (глава 4). Приближенное значение энтропии реальных текстов составляет около 1 бита на букву.

Уменьшение энтропии реальных текстов по сравнению с фразой № 1 обусловлено тем, что в структуре реального текста содержится информация всех грамматических и фонетических правил русского языка. Разность между энтропией реального текста Н_р = 1 бит на букву и максимальной энтропией фразы № 1, Hmax=5 бит на букву — это и есть количество информации I_п, содержащейся в грамматических и фонетических правилах, которым подчиняются реальные тексты. Таким образом:

                                                         = 4 бита на букву.

Этого количества информации оказывается достаточно для того, чтобы представленную фразой № 1 абракадабру превратить в осмысленный текст.

Специалисты по телефонной, телеграфной и радиосвязи называют информацию грамматических и фонетических правил избыточной информацией. Почему? Это не так уж сложно понять.

Дело в том, что специалистов, проектирующих системы связи, письменные тексты интересуют только с одной точки зрения: как с помощью этих текстов передать по каналу связи при минимальной затрате энергии и в максимально короткий срок наибольшее количество новостей?

Мы только что выяснили, что в структуре реальных текстов содержится информация грамматических и фонетических правил.

Является ли эта информация для получателя новой? Нет, разумеется. Надо думать, что правила грамматики он усвоил еще на школьной скамье. А раз так, решили специалисты по связи, значит, информация эта избыточна и лучше по мере возможности не загружать ею канал. Приняв точку зрения специалистов по теории информации и технике связи, взглянем еще раз на фразы нашей таблицы.

Фраза № 1 и проделанный для нее расчет энтропии показывают, что наибольшая неопределенность появления буквы составляет 5 бит на букву. Расчеты, проделанные для фразы № 4 и других реальных текстов, показали, что неопределенность (непредсказуемость, неожиданность) появления каждой буквы в реальных текстах уменьшается до 1 бита за счет упорядоченности, обусловленной правилами, по которым строится всякий реальный текст.

Другими словами, неожиданность сообщений для знакомого с правилами грамматики и фонетики адресата уменьшается на 80 процентов, так как 80 процентов содержащейся в тексте информации не является для него неожиданной, новой. Так стоит ли загружать такой информацией дорогостоящий телеграфный или телефонный канал?

Специалисты решили: не стоит. И стали искать способы, позволяющие уменьшить этот «избыточный груз».

Например, получив сообщение ТЬС, можно безошибочно предугадать, что дальше последует буква Я. Почти с полной уверенностью можно предсказывать, что вслед за сочетанием КИ появится либо Й, либо М, либо X, либо Е. А если учесть еще связь между передаваемым словом и предыдущим, то можно сказать уже без всяких сомнений, какая буква последует после сочетания СКИ. Если до этого было слово ЯЩИК, а потом пришло сочетание ГРОМОЗДСКИ, то вполне очевидно, что следом появится Й. А если раньше было получено слово ВЕЩЕЙ, то после СКИ появится X и т. п.

Исходя из того, то многие буквы передаваемых текстов можно предсказывать до их получения, создатели теории информации задались вполне законным вопросом: может быть, для экономии времени и энергии эти буквы можно совсем не передавать?

Методами теории вероятностей и статистики были исследованы разнообразные сообщения: тексты, телеграфные коды, радио- и телесигналы и т. д. Оказалось, что все они обладают значительной долей избыточной информации, то есть той информации, которую можно предсказывать еще до ее получения или вообще не передавать по каналам связи, сохранив при этом возможность восстановить на приемном, конце полный текст.

Но тут мы должны отвлечься от задач техники связи и передачи сообщений, чтобы обратить внимание на одно очень важное обстоятельство: та информация, которая оказывается избыточной для техники связи, вовсе не будет излишней для самого языка.

В самом деле: лишите-ка вы текст той избыточной информации правил (I_п = 4 бита на букву), благодаря которой буквы следуют друг за другом в определенном порядке. Что тогда станет с текстом? Вполне очевидно: он тут же рассыплется, перемешает между собой все свои буквы, превратится в абракадабру, подобную фразе № 1.