Беседы об информатике

Примечательно, что с подобными трудностями столкнулся сам К. Шеннон. Попытавшись определить количество информации в непрерывно изменяющемся сигнале, он сразу получил бесконечность. А ведь непрерывно изменяющийся сигнал — это то, что передает в эфир любая радиостанция. Чтобы выйти из этого затруднения, К. Шеннону пришлось ввести в рассмотрение некоторую малую величину — квант количества информации.

С аналогичной задачей за сорок с лишним лет до К. Шеннона столкнулся Макс Планк. Он изучал ситуацию, в которой величина, в его случае энергия излучения нагретого тела, обращалась в бесконечность. В качестве математического аппарата для описания ситуации использовалась энтропия. В чем состоял выход, предложенный М. Планком? Не считать излучение непрерывным, а ввести в рассмотрение некую порцию — квант излучения, — тот самый квант, который затем лег в основу квантовой физики. Так стоило ли через сорок лет начинать все сначала?

Применительно к термодинамической энтропии трудами крупнейших физиков второй половины XIX века Р. Клаузиуса (1822–1888), Л. Больцмана и Дж. Гиббса (1839–1903) удалось сформулировать весьма общий закон природы, получивший название закона неубывания энтропии, или второго начала термодинамики. Согласно этому закону энтропия замкнутой физической системы может только либо оставаться постоянной, либо возрастать. Пожалуй, сейчас уместно еще раз предоставить слово Н. Винеру.

«Мы сказали, что количество информации, будучи отрицательным логарифмом величины, которую можно рассматривать как вероятность, по существу есть некоторая отрицательная энтропия. Интересно отметить, что эта величина в среднем имеет свойства, которые мы приписываем энтропии… Как и следовало ожидать, процессы, ведущие к потере информации, весьма сходны с процессами, ведущими к увеличению энтропии».

Н. Винер хотел сказать здесь, что с течением времени отдельные тексты могут повторяться все чаще и чаще, что сопровождается, очевидно, увеличением вероятности вхождения каждого символа. Другие тексты, наоборот, постепенно забываются (либо буквально, либо вследствие того, что в каналах связи действуют помехи, искажающие отдельные символы). Это снова приводит к изменению вероятности.

Никакое действие над сообщением не может при этом дать увеличения средней информации. Здесь мы имеем точное применение второго закона термодинамики к технике связи. Наоборот, большее уточнение неопределенной ситуации дает в среднем увеличение информации и никогда не приводит к потере информации.

Ничто с такой убедительностью не заставляет нас поверить в справедливость некой научной гипотезы, как сознание, что где-то в другой отрасли науки подобное уже встречалось. Так произошло со знаменитой планетарной моделью атома Резерфорда, наибольшая привлекательность которой состояла в том, что она напоминала Солнечную систему. То же самое получилось и с энтропией. С тех пор как обнаружилось, что количество информации, приходящееся на один символ, по Шеннону, и энтропия термодинамической системы описываются одинаковыми математическими формулами, слово «энтропия» стало чуть ли не синонимом слова «информация». Иногда при этом говорили, правда, о негэнтропии, то есть об энтропии с обратным знаком.

Похоже, что мы чересчур углубились в серьезные материи. Пора дать читателю немножко отдохнуть, а заодно признаться в том, что наряду с рассказами об информатике, истории ее зарождения и современным состоянием мы хотели бы вспомнить несколько имен ученых, незаслуженно забытых. Приведем сейчас отрывок из статьи, написанной в свое время одним из авторов для журнала «Знание — сила».

Лед на Днепре

Осенью 1951 года автор этих строк отправился в командировку в Киев. Цель — принять работы, выполнявшиеся Институтом физики АН УССР. В кармане — весьма внушительный мандат, «тактико-технические требования», безапелляционно устанавливающие, какова должна быть амплитуда импульсов на выходе устройства, какими должны быть частота и форма этих импульсов и сколько часов должно работать устройство без единой неисправности или сбоя, и командировочное удостоверение, отводящее на все про все двое суток. Хоть у меня в те времена не было даже высшего образования, амбиция явно не соответствовала ни возрасту, ни положению. Явившись в институт, я немедленно потребовал (именно потребовал) себе рабочее место и комплект необходимой аппаратуры и, уединившись в маленькой комнатке, начал добросовестно измерять амплитуды и частоты. Не знаю, как бы мне удалось справиться с пунктом ТТТ, устанавливающим количество часов бесперебойной работы — оно намного превышало время, отведенное на командировку, — но тут за моей спиной послышались шаги.