§1. Понятие энтропии. Статистический смысл понятия энтропии.
Энтропия как мера степени неопределенности
Энтропия (от греч. entropia - поворот, превращение) - мера неупорядоченности больших систем. Впервые понятие "энтропия" введено в XIX в. в результате анализа работы тепловых машин, где энтропия характеризует ту часть энергии, которая рассеивается в пространстве, не совершая полезной работы (отсюда определение: энтропия - мера обесценивания энергии Однако распространение на всю Вселенную законов, установленных для закрытых систем, не имеет убедительных научных оснований. В XX в. понятие " энтропия " оказалось плодотворным для исследования биосистем, а также процессов передачи и обработки информации. Эволюция в целом и развитие каждого организма происходит благодаря тому, что биосистемы, будучи открытыми, питаются энергией из окружающего мира. Но при этом биопроцессы протекают таким образом, что связанные с ними "производство энтропии " минимально. Это служит важным руководящим принципом и при разработке современных технологических процессов, при проектировании технических систем. Количественная мера информации формально совпадает с "отрицательно определенной " энтропией. Но глубокое понимание соответствия энтропии физической и информационной остается одной из кардинальных недостаточно исследованных проблем современной науки. Ее решение послужит одним из важных факторов становления нового научно-технического мышления.
Энтропия широко применяется и в других областях науки: в статистической физике как мера вероятности осуществления какого-либо макроскопического состояния; в теории информации как мера неопределенности какого-либо опыта (испытания), который может иметь разные исходы. Эти трактовки имеют глубокую внутреннюю связь. Например, на основе представлений об информационной энтропии можно вывести все важнейшие положения статистической физики.
Теория информации возникла для описания передачи и приёма сообщений в процессе деятельности человека. Во всех её задачах присутствуют понятия передатчика и приёмника, сигнала-сообщения, событий и их вероятностей. Существование цели передачи информации в теории информации выражается тем, что вводится понятие известного заданного события. Для него может быть определена вероятность р0 наступления до приёма сообщения и р1 после приёма.
Существование неопределённости связано с участием вероятностей в осуществлении событий. Устранение неопределённости есть увеличение вероятности наступления того, что задано как цель. Поэтому вероятности должны участвовать в математической формулировке величины устранённой неопределённости.
Весь текст будет доступен после покупки
