Информация или интуиция?

А поведать мы собираемся вот о чем. По определению, энтропия суть логарифм статистического веса. Это самое правильное определение энтропии, и именно оно встречается в большинстве серьезных учебников статистической физики.Есть, однако, второе определение, и встречается оно даже чаще первого. Согласно этому определению энтропия данного состояния физической системы определяется как величина, пропорциональная логарифму вероятности данного состояния. В качестве коэффициента пропорциональности обычно выбирают так называемую постоянную Больцмана, k, имеющую размерность эрг/°К (читается эрг на градус). Мы уже отмечали, что если пользоваться таким определением, то сама формулировка второго начала термодинамики: всякая изолированная физическая система стремится принять состояние с максимальным значением энтропии — превращается в тавтологию: всякая физическая система стремится принять наиболее вероятное состояние. Но речь пойдет не об этом.Все это представляет для нас чрезвычайно большой интерес, поскольку пока что мы договорились измерять количество информации через соответствующие значения энтропии и от способа определения энтропии непосредственным образом зависит способ определения информации. Более того, упомянутая впервой главе мера Шеннона как раз и связана с определением количества информации через вероятности отдельных состояний (сообщений) .Легко показать, что оба рассмотренных нами определения энтропии означают почти одно и то же.Для этого введем в рассмотрение время. Предположим, что среднее количество секунд, в течение которого в среднем каждый шар пребывает в пределах правой половины стола, в точности одинаково для всех шаров. Это опять-таки и есть наше основное предположение. Тогда среднее количество секунд, в течение которого бильярд пребывает в некотором данном состоянии, в точности пропорционально статистическому весу данного состояния. Вероятность же данного состояния, по определению, есть предел отношения среднего времени, в течение которого система пребывает в данном состоянии, к полному времени наблюдений, когда полное время наблюдений стремится к бесконечности. Переменная величина может быть сколь угодно близка к своему пределу, но все же не равна ему. Именно поэтому мы и говорим, что приведенные выше два определения энтропии означают почти одно и то же. Почти — в смысле близости истинных значений величины к ее пределу. Каким же определением следует пользоваться?Если задача состоит в том, чтобы в процессе анализа явлений природы проводить различные вычисления с использованием значения энтропии, то, безусловно, имеет смысл использовать определение энтропии через вероятность (вероятности), поскольку это дает возможность использовать хорошо развитый к настоящему времени и очень удобный аппарат теории вероятностей. Такие вычисления будут приближенными, однако степень приближения всегда может быть проконтролирована.Более того, для таких, к примеру, систем, как объем с газом, содержащих огромное количество элементов (молекул), можно сразу утверждать, что разница между статистическим весом, поделенным на полное число способов, которыми реализуется любое состояние, и вероятностью будет меньше любой разумной величины,Иное дело, когда цель состоит в том, чтобы объяснить некоторое физическое явление, вскрыть его причину или механизм, лежащий в его основе. Пусть, например, мы хотим объяснить тот факт, что давление газа на все стенки сосуда, в который он заключен, одинаково. Разделим мысленно сосуд на две части и проведем все те же рассуждения, которые мы проводили применительно к двум половинкам бильярдного стола. Мы видим, что большую часть времени сосуд будет находиться в состоянии, когда в обеих его частях находится примерно одинаковое количество молекул. Значит, и среднее количество ударов молекул о стенки в единицу времени (а это и есть давление) будет одинаковым в обеих частях. Но возможны и отклонения от этого общего правила (флюктуации), которые действительно наблюдаются в природе.Рассуждая с вероятностных позиций, мы лишь заменяем одно слово (одинаковое давление) другим словом (равновероятность). Вероятностные представления не позволяют нам также объяснить механизм возникновения флюктуации.Прибегая к вероятностным понятиям, мы неизбежно сталкиваемся с тем обстоятельством, что само по себепонятие вероятности вытекает из другого понятия-случайности. Вопрос о том, в какой мере можно пользоваться вероятностными понятиями, сводится к другому вопросу: случаен или детерминирован окружающий нас мир, то есть снова, играет ли господь бог в кости?

ИНФОРМАЦИЯ И ВЕРОЯТНОСТЬ