Беседы об информатике

Теория, предложенная К. Шенноном, упала на исключительно благоприятную почву. В это время, то есть в 40-х годах нашего века, теория вероятностей совершала триумфальное шествие по разным отраслям знаний. Еще в конце XIX века завершилось построение термодинамики. К 30-м годам была окончательно сформулирована квантовая механика, в которой понятие о вероятности состояния занимает одно из центральных мест. И вот теперь — теория связи. Соображения, развитые К. Шенноном, позволили решить много практических задач и, в частности, чрезвычайно важную задачу выделения сигнала на уровне шумов. Применяя шенноновские методы, можно не только обнаруживать, но и исправлять отдельные ошибки, встречающиеся в передаваемых текстах. Справедливости ради скажем, что то же самое мы умеем делать и чисто интуитивно. Например, увидев в конце телеграммы слово «цекую», мы, не задумываясь, читаем его как «целую», не используя при этом никаких теорий.

В чем состояло основное достижение шенноновской теории? С ее помощью была доказана общая возможность выделения сигнала из смеси его с шумом даже в тех случаях, когда мощность шума во много раз превосходит мощность сигнала. Это дало сильный толчок развитию радиолокации, радиоастрономии и других областей науки и техники.

Н. Винер включил шенноновскую теорию информации как составную часть своей кибернетики.

Долой неопределенность!

Средний логарифм вероятностей, или, иначе, величина, называемая энтропией, обладает примечательным свойством. Она принимает максимальное значение, когда все вероятности одинаковы или — применительно к термодинамическим системам, — когда все состояния системы равновероятны. Это послужило поводом для следующей трактовки шенноновской меры количества информации. Рассуждали примерно так.

Система, все состояния которой равновероятны, характеризуется наибольшей степенью неопределенности. Если все состояния равновероятны, нет никаких оснований выделить одно какое-то состояние, предпочесть его другим. Отсюда вывод: чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее сообщение полностью или частично снимает эту неопределенность. Следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после поступления сообщения. За меру количества информации принимается та же энтропия, но взятая с обратным знаком.

Тут-то и вскрылась самая уязвимая точка шенноновской теории. В чем же дело? Пусть имеются две системы, характеризуемые в данный момент разными значениями энтропии, то есть разной степенью неопределенности. Обе системы получают одно и то же сообщение. Но энтропия их изменяется от полученного сообщения по-разному, в зависимости от их начального состояния. Значит, количество информации в сообщении зависит не от самого сообщения, а от того, кто его получает. Ясно, что в таких условиях не может быть построена никакая самосогласованная физическая теория.

Обычно высказанные соображения иллюстрируют следующим примером. Получено сообщение о том, что температура воздуха равна +20 °C. Вероятность такого значения температуры в наших широтах велика летом и очень мала зимой. В полном соответствии с теорией Шеннона делается вывод, что одно и то же сообщение летом содержит меньше информации, а зимой больше.

Поразительно, что многие воспринимают подобные вещи как нечто само собой разумеющееся. Им даже в голову не приходит, что коли так, то следует создавать не одну, а по меньшей мере две разные теории информации. Одну — зимнюю, другую — летнюю. Подобные рассуждения о температуре эквивалентны тому, как если бы мы считали, что гвоздь является гвоздем только для того, кому он нужен, а для того, кому он не нужен, он вовсе даже и не гвоздь.

Каждый последовательный физик понимает, что если результат измерения температуры несет какую-либо информацию, то количество этой информации зависит от того, насколько тщательно проведены измерения, от точности измерительного прибора, может быть, от других каких-либо условий, но ни в коем случае не от того, кто или что является получателем сообщения о величине температуры.

На этом неприятности не закончились. Мера Шеннона в принципе не накладывает ограничений на количество информации. Вероятность некоторого события может быть сколь угодно близка к единице, и, следовательно, количество информации по Шеннону может быть сколь угодно близко к нулю. Наоборот, вероятность некоторого события может быть сколь угодно близка к нулю, и, естественно, количество информации по Шеннону может быть сколь угодно близко к бесконечности. Но какое действие на реальную физическую систему произведет сообщение, содержащее исчезающе малое количество информации? Иметь дело с физическими величинами, способными обращаться в бесконечность, также крайне неудобно. Бесконечность делится на любое количество частей, и каждая из них все равно остается бесконечностью.