Одна формула и весь мир

Что же общего между телеэкраном и газом? В обоих случаях функция   достигла своей максимальной величины. Потому чтои в том и в другом случае все вероятности рi одинаковы: для молекул газа равны вероятности всех скоростей и направлений движения; для телеэкрана в каждый момент равны вероятности всех степеней яркости бегущего по экрану луча. Для газа равенство всех вероятностей обусловлено термодинамическим равновесием. На телеэкране сходная ситуация возникает в тех случаях, когда яркостью луча управляет не упорядоченная информация, передаваемая с телестудии или со сцены концертного зала, а проникающие в телеканал из эфира хаотичные (то есть опять-таки энтропийные) шумы.

Клод Шеннон показал, что энтропию можно не только увидеть, но и создать искусственно, пользуясь алфавитом и определенными правилами составления текста, так же как создаются вкусные блюда или хитроумные ручные поделки по рекомендациям поваренной книги или раздела журнала под рубрикой «Сделай сам».

«Возьмите свежей баранины,— рекомендует автор поваренной книги,— пропустите дважды сквозь мясорубку, посолите...»

В том же стиле можно теперь описать способ приготовления энтропии.

Возьмите 32 пустые карточки и напишите на них все буквы русского алфавита. Положите все карточки в коробку, тщательно перемешайте. Извлеките наугад одну букву. Извлекли? Прекрасно! Запишите, какую именно. Записали? Очень хорошо. Теперь бросьте карточку с буквой в коробку и перемешайте карточки еще раз. Тщательнее перемешивайте! Еще раз! Еще! Теперь достаточно. Можете извлечь следующую букву и записать ее рядом с предыдущей.

Проделав подобную процедуру раз 30—40, вы получите набор букв и слов[5].

*Одна из 32 карточек должна быть пустой. При извлечении этой карточки в тексте оставляется пропуск, соответствующий интервалу между словами.

 Математик Р. Л. Добрушин в результате такого эксперимента получил текст, который вы уже видели на 25-й странице. Возвращаясь к нему теперь, спросим себя: стоило ли ради такой бессмыслицы делать специальный эксперимент? Оказывается, стоило. Ведь полученный Добрушиным текст — это не просто бессмыслица, а самая бессмысленная бессмыслица, какую только можно вообразить. Чередование букв наиболее беспорядочно, хаотично. Энтропия текста обладает наибольшей их всех возможных текстов величиной.

Все это вытекает из описанной методики эксперимента. В самом деле, вероятность извлечения любой из букв одинакова, то есть выполняется уже знакомое нам условие:

Ра = Рб=... =Ря= 1/32

Чтобы это условие не нарушилось, мы настоятельно рекомендовали после извлечения карточки возвращать ее к коробку и тщательно снова все перемешивать.

Заметим, что вероятность извлечения пустой карточки, соответствующей интервалу между словами, также равна 1/32. Поэтому-то такими несуразно длинными получились слова нашего странного текста: каждое слово, формируемое описанным способом, состоит в среднем из 32 букв, то есть на каждые 32 наугад извлеченные буквы попадется в среднем один интервал.

В реальных текстах средняя длина слова составляет примерно 6 букв. Это значит, что в реальных текстах интервал встречается примерно в 5 раз чаще, чем в нашем эксперименте. Значит, его вероятность для реального текста составляет не ¹/₃₂, а ⁵

/₃₂ ≈ ¹/₆ ≈ 0,17.

Так же обстоит дело и с остальными буквами вероятность их появления в реальных текстах значительно отличается от ¹/₃₂ .

Для определения реальных значений вероятностей появления букв в письменных текстах фиксировали частоту появления каждой буквы на протяжении сотен и тысяч страниц.

В результате такого учета было установлено, что чаще всего в русских текстах появляется буква «О»  (р_о = 0,09), а реже всего буква «Ф» (

р_ф = 0,002) [6].

**Сравните с вероятностью появления тех же букв в описанном эксперименте: Р_о = Р_ф =¹/₃₂≈ 0,03

 Чаще, чем буква «О» и другие буквы, появляются в русских текстах интервалы между словами. Их вероятность составляет р_{интервала} = 0,17.

Благодаря тому, что вероятности появления различных букв в реальных текстах неодинаковы, их энтропия (беспорядочность) меньше, чем в экспериментальном, искусственном тексте. Реальные тексты отличаются от энтропийного определенным порядком чередования букв.

Чтобы уяснить, как возникает порядок, попытаемся составить текст, в котором соблюдались бы реальные вероятности появления букв. Для этого нам придется вновь поместить карточки с буквами в общую коробку, но теперь понадобится не 32 карточки, а значительно больше, потому что число карточек должно быть пропорционально вероятностям появления букв (например, на две карточки с буквой «Ф», имеющей вероятность P_ф = 0,002, должно приходиться 90 карточек с буквой «О», имеющей вероятность Р_o = 0,09 и т. д.).