Удивительные числа Вселенной. Путешествие за грань воображения

Но как насчет более сложных вещей, которые действительно интересовали Шеннона, например букв, слов или даже предложений? Как измерить информацию, содержащуюся в них? Что ж, предположим, у вас есть первые несколько букв какого-то неизвестного слова: CHE. Сколько информации содержится в следующей букве, когда она станет известной? Если бы все буквы были равновероятными, мы бы сказали: 4,7 бита. Однако мы знаем, что это неверно. Попробуйте ввести буквы CHE, набирая сообщение на мобильном телефоне. Какие слова появляются в качестве подсказки? Вот некоторые из наиболее вероятных.

CHEERS

CHEAT

CHECK

Это заставляет предположить, что любая из букв Е, А и С имеет более высокую вероятность появления, чем, скажем, В. Если условиться, что буква А встречается с вероятностью p₁, буква В – с вероятностью p₂, буква С – с вероятностью p₃ и т. д., вплоть до Z, имеющей вероятность p₂₆, то, согласно Шеннону, количество информации в следующей букве будет таким:

I = –p₁log₂p₁ – p₂log₂p₂ – p₃log₂p₃ – … – p₂₆log₂p₂₆.

Как обычно, она измеряется в битах. Шеннон проверял способности носителей английского языка угадывать следующую букву в слове. Его эксперименты показали, что в среднем каждая буква содержит от 0,6 до 1,3 бита информации. Может показаться, что это немного, но именно поэтому письменный английский хорош для общения. Если какая-нибудь буква пропущена или введена неправильно, вы не потеряете слишком много информации и, скорее всего, сможете расшифровать th mxssage (или, в случае русского языка, эт сожбщение).

Самое примечательное свойство формулы Шеннона – ее сходство с другой формулой, которую более полувека назад вывел физик Джозайя Уиллард Гиббс. Мы коротко упомянули этого ученого в главе «Гугол», когда отправились на поиски двойников – в экспедицию, которая во многом опиралась на понятие энтропии. Тогда мы отметили, что энтропия подсчитывает микросостояния, но это подразумевало некоторое упрощение: такой метод верен только тогда, когда все микросостояния равновероятны. Именно Гиббс показал, как поступать в более общем случае. Если первое микросостояние имеет вероятность p₁, второе – вероятность p₂, третье – вероятность p₃ и т. д., то энтропия вычисляется по следующей формуле:

S = –p₁lnp₁ – p₂lnp₂ – p₃lnp₃ – …

Поразительное сходство с формулой Шеннона. Разница в том, что Гиббс использует натуральные логарифмы, а Шеннон – логарифмы по основанию 2. На самом деле эта разница условна. Шеннон выбрал основание 2, поскольку хотел измерять информацию в битах, чтобы сравнивать ее с системой из двух исходов (например, при броске монеты). Но это всего лишь вопрос выбора. С тем же успехом вы могли бы измерять информацию в натах. Один нат равен 1 / ln2 ≈ 1,44 бита. В этом случае мы сравниваем информацию не со случаем двух исходов, а со случаем e ≈ 2,72 исхода. По какой-то причине природа предпочитает работать с натами, а не с битами, и, если мы соответствующим образом поменяем единицы измерения, формула Шеннона в точности совпадает с формулой Гиббса.

Действительно ли энтропия и информация – одно и то же? Я бы сказал «да». Обе эти величины измеряют степень таинственности и неопределенности, хотя и подходят к этому вопросу с нескольких разных точек зрения. Мы говорим об энтропии газа, яйца или трицератопса, потому что не можем быть уверены, в каком состоянии они находятся на самом деле. Есть много того, что мы не знаем или не желаем знать. По любому практическому определению трицератопс останется тем же трицератопсом, если мы изменим спин одного из электронов глубоко внутри его кишечника. В то же время энтропия учитывает всю эту неопределенность. Но представьте теперь, что этот вопрос вам небезразличен и вы решили определить спин этого электрона и все остальное, в чем у вас нет уверенности. Вы соберете ужасно много информации. Сколько? Ну это определяется тем, насколько велика была изначальная неопределенность, а это как раз энтропия.

Информация – это больше, чем просто абстрактная идея. Это физическая величина. Мы даже можем задаться вопросом о ее массе. Точное значение зависит от того, в каком виде хранится информация. Например, данные на вашем мобильном телефоне хранятся путем улавливания электронов в блоке памяти. Электроны в этой ловушке обладают чуть более высокой энергией по сравнению с электронами вне ловушки, и поскольку у них больше энергия, то у них больше и масса. Это верно в силу эквивалентности массы и энергии, которую Эйнштейн объяснил с помощью поэзии самого известного своего уравнения E = mc². В среднем один бит данных добавляет около 10^–26 миллиграммов массы. Чтобы масса вашего мобильного телефона увеличилась на вес пылинки, требуется, чтобы он хранил около 10 трлн гигабайт данных[70]. Согласно компании International Data Corporation, это размер глобальной датасферы, объединяющей всю совокупность данных мира.