Выборочная энтропия. Энтропия как мера информации. Сообщения на естественном языке

Информацио́нная энтропи́я - мера неопределённости или непредсказуемости некоторой системы (в статистической физике или теории информации), в частности неопределённость появления какого-либо символа первичного алфавита . В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения.

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n {\displaystyle n} -го порядка, см. ) встречаются очень редко, то неопределённость уменьшается еще сильнее.

Понятие информационной энтропии можно проиллюстрировать при помощи демона Максвелла . Концепции информации и энтропии имеют глубокие связи друг с другом [какие? ] , но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу [ ] .

Энтропия - это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.

Энциклопедичный YouTube

1 / 5

✪ Представление об энтропии

✪ Что такое Энтропия?

✪ Информационная энтропия

✪ Энтропия и второй закон термодинамики (видео 3) | Энергия| Биология

✪ Что такое энтропия? Джефф Филлипс #TED-Ed

Субтитры

Итак, мы дали два определения энтропии как переменной состояния. Энтропия обозначается буквой S. Согласно термодинамическому определению, изменения в энтропии равны добавляемому теплу, делённому на температуру, при которой это тепло добавляется. При этом, если температура будет меняться по мере добавления тепла (что обычно и происходит), то нам придётся провести некоторые вычисления. И это вы можете рассматривать как математическое, или статистическое, или комбинаторное определение энтропии. Согласно этому определению, энтропия равняется умноженному на постоянное число натуральному логарифму количества состояний, которые может принимать система. И в подобном случае все состояния имеют одинаковую вероятность. Если мы говорим о невообразимо огромном количестве молекул, которые могут иметь ещё более огромное количество состояний, мы можем предположить, что все они будут отличаться примерно равной вероятностью. Есть и немного более сложное определение – для случаев с вероятностью различного порядка, однако сейчас мы его касаться не будем. Теперь, когда мы рассмотрели эти два определения, самое время рассказать вам о втором законе термодинамики. Вот он. Это довольно простой закон, который в то же время объясняет весьма широкий спектр различных явлений. Согласно этому закону, изменения в энтропии во Вселенной при осуществлении любого процесса всегда будут больше 0 или равны ему. То есть когда во Вселенной что-нибудь происходит, результатом этого становится увеличение энтропии. Это очень важный вывод. Давайте посмотрим, сможем ли мы приложить этот закон к конкретным ситуациям и таким образом понять его смысл. Допустим, у меня есть два связанных друг с другом резервуара. Вот у меня T1. Пусть это будет наш горячий резервуар. А вот у нас T2. Это будет холодный резервуар. Что ж, по опыту мы знаем… Что происходит, если сосуд с горячей водой имеет общую стенку с сосудом с холодной водой? Что происходит в подобном случае? Да, температура воды в них выравнивается. Если мы говорим об одном и том же веществе, то процесс остановится примерно посередине, если они находятся в одной фазе. Таким образом, мы имеем дело с передачей тепла от более горячего вещества к более холодному. У нас есть некое тепло, Q, которое передаётся от более горячего вещества к холодному. Конечно, в повседневной реальности вы не увидите, чтобы тепло передавалось от более холодного вещества к более горячему. Если вы положите кубик льда, скажем, в горячий чай, то, конечно, лёд не станет холоднее, а чай – горячее. Температура обоих веществ станет примерно равной, то есть по сути дела – чай отдаст часть тепла льду. Так же мы говорим о двух резервуарах, и я предполагаю, что их температура остаётся постоянной. Это может произойти только в том случае, если оба они являются бесконечно большими, чего, конечно, в реальном мире не существует. В реальном мире T1 будет снижаться, а T2 – повышаться. Но давайте посмотрим, должно ли это происходить, согласно второму закону термодинамики. Итак, что же происходит здесь? Каково чистое изменение энтропии для T1? Согласно второму закону термодинамики, изменение энтропии для Вселенной больше 0. Но в данном случае оно равно изменению энтропии для T1, плюс изменение энтропии для… хотя не совсем так… вместо T1 давайте назовём это просто 1… для системы 1, то есть, вот для этой горячей системы плюс изменение энтропии для системы 2. Итак, каково же изменение энтропии для системы 1? Она теряет Q1 при высокой температуре. Получается минус Q (потому что система отдаёт тепло), делённое на T1. Затем мы должны учесть тепло, добавленное системе T2. Итак, прибавим Q, делённое на Т2. У нас получится изменение энтропии для системы 2, верно? Этот резервуар, который имеет температуру 1, более высокую, теряет тепло. А резервуар, у которого более низкая температура 2, тепло получает. Не будет ли это выше 0? Давайте немного подумаем. Если мы разделим… позвольте, я перепишу это… Я запишу по-другому: Q, делённое на Т2, минус вот это. Я просто переставляю показатели... Минус Q, делённое на T1. И какой же показатель теперь больше? T2 или T1? Что ж, T1 больше, верно? Теперь, когда у нас есть более высокий показатель… Если мы используем слово «выше», мы имеем в виду определённое сравнение. Итак, T1 выше вот этого. При этом в числителе в обоих случаях мы имеем одно и то же число, так? То есть если я возьму, скажем, 1/2 минус 1/3, то получу показатель больше 0. Этот показатель больше вот этого, потому что этот имеет больший знаменатель. Вы делите на большее число. Над этим стоит поразмыслить. Вы делите Q на вот это число, а затем вычитаете Q, делённое на большее число. Таким образом, вот эта дробь будет иметь более низкое абсолютное значение. И она будет больше 0. Соответственно, второй закон термодинамики подтверждается нашим наблюдением, согласно которому тепло переходит от горячего тела к холодному. Теперь вы можете сказать – эй, Сэл, я могу доказать, что ты неправ. Вы можете сказать, если я поставлю кондиционер в комнату… Вот комната, а вот, что снаружи. И вы скажете – посмотрите, что делает кондиционер! В комнате уже холодно, а на улице уже жарко. Но что делает кондиционер? Он делает холодное ещё более холодным, а горячее – ещё более горячим. Он забирает некое Q и движется вот в этом направлении. Верно? Он забирает тепло из холодной комнаты и выпускает его в горячий воздух. И вы говорите – это нарушает второй закон термодинамики. Вы только что опровергли его. Вы заслуживаете Нобелевской премии! Но я скажу вам – вы забываете один маленький факт. Внутри этого кондиционера есть компрессор и двигатель, которые активно работают и создают такой результат. И вот этот двигатель, я выделю его розовым, тоже выпускает тепло. Давайте назовем его Q двигателя. Таким образом, если вы хотите рассчитать общую энтропию, создаваемую для всей Вселенной, это будет энтропия холодной комнаты, плюс изменение энтропии для улицы. Энтропия холодной комнаты плюс изменение энтропии для улицы. Пометим здесь комнату... Вы можете сказать – ладно. Данное изменение энтропии для комнаты, которая отдаёт тепло… допустим, что в комнате на протяжении хотя бы одной миллисекунды сохраняется постоянная температура. Комната отдаёт некоторое Q при определённой температуре T1. И затем… тут надо поставить минус… затем улица получает некоторое тепло при определённой температуре T2. И вы скажете: этот показатель меньше вот этого. Потому что знаменатель выше. Тогда это будет отрицательная энтропия, и вы можете сказать, что это нарушает второй закон термодинамики. Нет! Здесь мы должны учесть ещё один момент: что улица также получает тепло от двигателя. Тепло от двигателя, делённое на уличную температуру. И я гарантирую, что эта переменная, прямо сейчас цифр приводить не буду, сделает всё это выражение положительным. Этот переменная превратит общую чистую энтропию для Вселенной в положительную. А теперь давайте немного подумаем о том, что такое энтропия с точки зрения терминологии. На уроках химии учитель нередко может сказать, что энтропия равна беспорядку. Это не ошибка. Энтропия равна беспорядку. Это не ошибка, ведь энтропия – это действительно беспорядок, но вы должны быть очень осторожны с определением беспорядка. Потому что один из самых частых примеров гласит: возьмём чистую комнату – допустим, ваша спальня чистая, но затем она становится грязной. И они говорят – взгляните, Вселенная стала более беспорядочной. В грязной комнате больше беспорядка, чем в чистой. Но это не увеличение энтропии. Так что это не очень хороший пример. Почему? Да потому, что чистая и грязная – это лишь состояния комнаты. А мы помним, что энтропия – это макропеременная состояния. Вы используете её для описания системы, когда у вас нет настроения сидеть здесь и рассказывать мне, что конкретно делает каждая частица. И это макропеременная, которая показывает, сколько времени потребуется, чтобы рассказать мне о том, что делает каждая частица. Эта переменная указывает на то, сколько состояний существует в данном случае или сколько информации о состояниях я бы хотел от вас получить. В случае с чистой и грязной комнатой у нас есть лишь два различных состояния одной и той же комнаты. Если в комнате держится одинаковая температура и есть одинаковое количество молекул и так далее, то она будет иметь одинаковую энтропию. Итак, когда комната становится более грязной, энтропия не увеличивается. Например, у меня есть грязная холодная комната. Допустим, я вошёл в эту комнату и приложил немало усилий, чтобы убраться в ней. Так я добавляю в систему порцию тепла, и молекулы моего пота разлетаются по всей комнате - соответственно, в ней появляется больше содержимого, и она становится более тёплой, превращаясь в жаркую, чистую комнату с капельками пота. Это содержимое можно скомпоновать большим количеством способов, и поскольку в комнате жарко, то каждая молекула в ней может принять больше состояний, так? Поскольку средняя кинетическая энергия высока, то можно попытаться выяснить, каким количеством кинетических энергий может обладать каждая молекула, а в потенциале это количество может быть достаточно большим. По сути дела это и есть увеличение энтропии. От грязной, холодной комнаты - к жаркой и чистой. И это довольно хорошо согласовывается с тем, что нам известно. То есть когда я вхожу в комнату и начинаю убираться в ней, я приношу в неё тепло. И Вселенная становится более… Полагаю, мы можем сказать, что энтропия увеличивается. Так где же здесь беспорядок? Допустим, у меня есть мяч, и он падает на землю и ударяется об неё. И здесь мы должны задать вопрос, который постоянно задаётся со времён открытия первого закона термодинамики. Как только мяч ударился о землю… Мяч ударяется о землю, верно? Я его бросил: в его верхней части есть определённая потенциальная энергия, которая затем превращается в кинетическую энергию, и мяч ударяется о землю, и затем останавливается. Вот тут-то и возникает вполне закономерный вопрос – а что же произошло со всей этой энергией? Закон сохранения энергии. Куда она вся подевалась? Прямо перед тем, как удариться о землю, мяч обладал кинетической энергией, а затем остановился. Кажется, что энергия исчезла. Но это не так. Когда мяч падает, у него очень много… как известно, у всего есть своё тепло. А что же насчет земли? Её молекулы вибрировали с определённой кинетической энергией и потенциальной энергией. А затем и молекулы нашего мяча стали немного вибрировать. Но их движение было, в основном, направлено вниз, так? Движение большинства молекул мяча было направлено вниз. Когда же он ударяется о землю, то… позвольте, я нарисую поверхность мяча, соприкасающуюся с землёй. Молекулы мяча в его передней части будут выглядеть вот таким образом. И их довольно много. Это твёрдое тело. Вероятно – с решётчатой структурой. И затем мяч ударяется о землю. Когда это происходит… земля – это ещё одно твёрдое тело… Отлично, вот у нас микросостояние. Что же произойдёт? Вот эти молекулы вступят во взаимодействие с этими и передадут свою кинетическую энергию, направленную вниз… Они передадут её вот этим частицам земли. И столкнутся с ними. А когда, скажем, вот эта частица столкнётся вот с этой, то она может двинуться в этом направлении. А эта частица начнёт колебаться вот так, туда и обратно. Вот эта частица может оттолкнуться от этой и двинуться в этом направлении, а затем столкнуться вот с этой и двинуться вот сюда. А затем, поскольку вот эта частица врезается сюда, вот эта – врезается вот сюда, и поскольку вот эта ударила вот здесь, вот эта – ударяет тут. С точки зрения мяча, происходит относительно направленное движение, но при соприкосновении с молекулами земли он начинает вырабатывать кинетическую энергию и создавать движение в самых различных направлениях. Вот эта молекула сдвинет эту вот сюда, а вот эта – двинется сюда. Теперь уже движение не будет направленным, если у нас будет так много молекул… я обозначу их другим цветом… так вот, если у нас будет много молекул и все они будут двигаться точно в одном и том же направлении, то микросостояние будет выглядеть как макросостояние. Всё тело окажется вот в этом направлении. Если же у нас есть очень много v и все они движутся в разных направлениях, то мой мяч в целом будет оставаться на месте. У нас может быть такое же количество кинетической энергии на молекулярном уровне, но они все будут сталкиваться друг с другом. И в данном случае мы можем описать кинетическую энергию как внутреннюю энергию или как температуру, которая представляет собой среднюю кинетическую энергию. Таким образом, когда мы говорим, что мир становится более беспорядочным, мы думаем, о порядке скоростей или энергий молекул. Перед тем, как они будут упорядочены, молекулы могут немного вибрировать, но, в основном, они будут падать вниз. Но когда они столкнутся с землёй, они все тут же начнут вибрировать в разных направлениях немного больше. И земля тоже начинает вибрировать в разных направлениях. Итак – на уровне микросостояния – всё становится намного более беспорядочным. Есть ещё один довольно любопытный вопрос. Существует ещё одна вероятность… Вы можете подумать: «Смотрите, этот мяч упал и ударился о землю. Почему он просто не… не может ли случиться так, что молекулы земли сами поменяют свой порядок так, чтобы должным образом ударить молекулы мяча? Существует определённая вероятность того, что, благодаря беспорядочному движению, в какой-то момент времени все молекулы земли просто ударят молекулы мяча таким образом, чтобы он опять подпрыгнул вверх». Да, это так. Всегда есть бесконечно малый шанс того, что это случится. Существует вероятность того, что мяч будет просто лежать на земле… и это весьма любопытно… Вам, вероятно, придётся ждать сто миллионов лет, чтобы это произошло, если это вообще когда-нибудь произойдёт… и мяч может просто подпрыгнуть вверх. Существует очень небольшая возможность того, что эти молекулы будут беспорядочно вибрировать таким образом, чтобы упорядочиться на секунду, а затем мяч подпрыгнет. Но вероятность этого практически равняется 0. Итак, когда люди говорят о порядке и беспорядке, беспорядок усиливается, так как теперь эти молекулы будут двигаться в разных направлениях и принимать большее количество потенциальных состояний. И мы это увидели. Как известно, на определённом уровне энтропия выглядит как нечто магическое, но на других уровнях она представляется вполне логичной. В одном ролике… думаю, это был последний ролик… у меня было большое количество молекул, а затем появилось это дополнительное пространство вот здесь, после чего я убрал стенку. И мы увидели, что эти молекулы… понятно, что были какие-то молекулы, которые отталкивались от этой стенки раньше, потому что с этим было связано определённое давление. Затем, как только мы уберём эту стенку, молекулы, которые ударились бы об неё, продолжат двигаться. Остановить их нечему. Движение будет осуществляться в этом направлении. Они могут сталкиваться с другими молекулами и с этими стенками. Но что касается этого направления, то вероятность столкновения, особенно для вот этих молекул, в принципе равняется 0. Поэтому будет происходить расширение и заполнение ёмкости. Так что всё вполне логично. Но что самое главное, второй закон термодинамики, как мы увидели в этом ролике, говорит о том же самом. То есть о том, что молекулы будут двигаться и заполнять ёмкость. И очень мала вероятность того, что они все вернутся в упорядоченное состояние. Конечно, есть определённая возможность того, что беспорядочно двигаясь, они вернутся в это положение. Но эта вероятность очень и очень мала. Более того, и я хочу обратить на это особое внимание, S – это макросостояние. Мы никогда не говорим об энтропии применительно к отдельной молекуле. Если мы знаем, что делает отдельная молекула, мы не должны беспокоиться об энтропии. Мы должны думать о системе в целом. Так что если мы будем рассматривать всю систему и не будем обращать внимания на молекулы, мы не узнаем, что на самом деле произошло. При этом мы можем обратить внимание лишь на статистические свойства молекул. Сколько молекул у нас имеется, какова их температура, их макродинамика, давление… и знаете что? Ёмкость, в которую помещены эти молекулы, имеет больше состояний, чем более мелкая ёмкость со стенкой. Даже если вдруг все молекулы по случайности соберутся вот здесь, мы и не узнаем, что это произошло, потому что мы не смотрим на микросостояния. И это очень важно иметь в виду. Когда кто-то говорит, что грязная комната отличается более высокой энтропией, чем чистая, то мы должны понимать, что они рассматривают микросостояния. А энтропия – это, прежде всего, понятие, связанное с макросостоянием. Вы можете просто сказать, что комната отличается определённым объёмом энтропии. То есть понятие энтропии связано с комнатой в целом, но оно будет полезно только тогда, когда вы точно не знаете, что в ней происходит. У вас есть лишь самое общее представление о том, чем заполнена комната, какая в ней температура, какое давление. Все это общие макросвойства. Энтропия же расскажет нам, сколько макросостояний может иметь эта макросистема. Или сколько информации, ведь существует же понятие информационной энтропии, сколько информации я должен вам предоставить, чтобы вы составили точное представление о микросостоянии системы в соответствующий момент времени. Примерно так. Надеюсь, это обсуждение оказалось хоть немного полезным для вас и прояснило некоторые заблуждения относительно энтропии, а также помогло вам составить представление о том, что это такое на самом деле. До следующего ролика!

Формальные определения

Информационная двоичная энтропия для независимых случайных событий x {\displaystyle x} с n {\displaystyle n} возможными состояниями, распределённых с вероятностями ( i = 1 , . . . , n {\displaystyle i=1,...,n} ), рассчитывается по формуле

H (x) = − ∑ i = 1 n p i log 2 ⁡ p i . {\displaystyle H(x)=-\sum _{i=1}^{n}p_{i}\log _{2}p_{i}.}

Эта величина также называется средней энтропией сообщения . Величина H i = − log 2 ⁡ p i {\displaystyle H_{i}=-\log _{2}{p_{i}}} называется частной энтропией , характеризующей только i {\displaystyle i} -e состояние. В общем случае основание логарифма в определении энтропии может быть любым, большим 1; его выбор определяет единицу измерения энтропии. Так, зачастую (например, в задачах математической статистики) более удобным может оказаться применение натурального логарифма.

Таким образом, энтропия системы x {\displaystyle x} является суммой с противоположным знаком всех относительных частот появления состояния (события) с номером i {\displaystyle i} , умноженных на их же двоичные логарифмы . Это определение для дискретных случайных событий можно формально расширить для непрерывных распределений, заданных плотностью распределения вероятностей , однако полученный функционал будет обладать несколько иными свойствами (см. дифференциальная энтропия).

Определение по Шеннону

Определение энтропии Шеннона связано с понятием термодинамической энтропии . Больцман и Гиббс проделали большую работу по статистической термодинамике, которая способствовала принятию слова «энтропия» в информационную теорию. Существует связь между термодинамической и информационной энтропией. Например, демон Максвелла также противопоставляет термодинамическую энтропию информации, и получение какого-либо количества информации равно потерянной энтропии.

Определение с помощью собственной информации

Также можно определить энтропию случайной величины, введя предварительно понятия распределения случайной величины X {\displaystyle X} , имеющей конечное число значений:

P X (x i) = p i , p i ⩾ 0 , i = 1 , 2 , … , n {\displaystyle P_{X}(x_{i})=p_{i},\quad p_{i}\geqslant 0,\;i=1,\;2,\;\ldots ,\;n} ∑ i = 1 n p i = 1 {\displaystyle \sum _{i=1}^{n}p_{i}=1} I (X) = − log ⁡ P X (X) . {\displaystyle I(X)=-\log P_{X}(X).}

Тогда энтропия определяется как:

H (X) = E (I (X)) = − ∑ i = 1 n p (i) log ⁡ p (i) . {\displaystyle H(X)=E(I(X))=-\sum _{i=1}^{n}p(i)\log p(i).}

От основания логарифма зависит единица измерения количества информации и энтропии: бит , нат , трит или хартли .

Свойства

Энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Например, кидание монеты имеет энтропию:

− 2 (1 2 log 2 ⁡ 1 2) = − log 2 ⁡ 1 2 = log 2 ⁡ 2 = 1 {\displaystyle -2\left({\frac {1}{2}}\log _{2}{\frac {1}{2}}\right)=-\log _{2}{\frac {1}{2}}=\log _{2}2=1} бит на одно кидание (при условии его независимости), а количество возможных состояний равно: 2 1 = 2 {\displaystyle 2^{1}=2} возможных состояния (значения) ("орёл" и "решка ").

У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: − ∑ i = 1 ∞ log 2 ⁡ 1 = 0 {\displaystyle -\sum _{i=1}^{\infty }\log _{2}1=0} , а количество возможных состояний равно: 2 0 = 1 {\displaystyle 2^{0}=1} возможное состояние (значение) («А») и от основания логарифма не зависит.
Это тоже информация, которую тоже надо учитывать. Примером запоминающих устройств в которых используются разряды с энтропией равной нулю, но с количеством информации равным 1 возможному состоянию , т.е. не равным нулю, являются разряды данных записанных в ПЗУ , в которых каждый разряд имеет только одно возможное состояние .

Так, например, опытным путём можно установить, что энтропия английского текста равна 1,5 бит на символ, что конечно будет варьироваться для разных текстов. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании.

Некоторые биты данных могут не нести информации. Например, структуры данных часто хранят избыточную информацию, или имеют идентичные секции независимо от информации в структуре данных.
Количество энтропии не всегда выражается целым числом битов.

Математические свойства

Неотрицательность : H (X) ⩾ 0 {\displaystyle H(X)\geqslant 0} .
Ограниченность : H (X) = − E (log 2 ⁡ p i) = ∑ i = 1 n p i log 2 ⁡ 1 p i = ∑ i = 1 n p i f (g i) ⩽ f (∑ i = 1 n p i g i) = log 2 ⁡ n {\displaystyle H(X)=-E(\log _{2}p_{i})=\sum _{i=1}^{n}p_{i}\log _{2}{\frac {1}{p_{i}}}=\sum _{i=1}^{n}p_{i}f(g_{i})\leqslant f\left(\sum _{i=1}^{n}p_{i}g_{i}\right)=\log _{2}n} , что вытекает из неравенства Йенсена для вогнутой функции f (g i) = log 2 ⁡ g i {\displaystyle f(g_{i})=\log _{2}g_{i}} и g i = 1 p i {\displaystyle g_{i}={\frac {1}{p_{i}}}} . Если все n {\displaystyle n} элементов из X {\displaystyle X} равновероятны, H (X) = log 2 ⁡ n {\displaystyle H(X)=\log _{2}n} .
Если независимы, то H (X ⋅ Y) = H (X) + H (Y) {\displaystyle H(X\cdot Y)=H(X)+H(Y)} .
Энтропия - выпуклая вверх функция распределения вероятностей элементов.
Если X , Y {\displaystyle X,\;Y} имеют одинаковое распределение вероятностей элементов, то H (X) = H (Y) {\displaystyle H(X)=H(Y)} .

Эффективность

Алфавит может иметь вероятностное распределение далекое от равномерного . Если исходный алфавит содержит n {\displaystyle n} символов, тогда его можно сравнить с «оптимизированным алфавитом», вероятностное распределение которого равномерное. Соотношение энтропии исходного и оптимизированного алфавита - это эффективность исходного алфавита, которая может быть выражена в процентах. Эффективность исходного алфавита с n {\displaystyle n} символами может быть также определена как его n {\displaystyle n} -арная энтропия.

Энтропия ограничивает максимально возможное сжатие без потерь (или почти без потерь), которое может быть реализовано при использовании теоретически - типичного набора или, на практике, - кодирования Хаффмана , кодирования Лемпеля - Зива - Велча или арифметического кодирования .

Вариации и обобщения

b -арная энтропия

В общем случае b -арная энтропия (где b равно 2, 3, …) источника S = (S , P) {\displaystyle {\mathcal {S}}=(S,\;P)} с исходным алфавитом S = { a 1 , … , a n } {\displaystyle S=\{a_{1},\;\ldots ,\;a_{n}\}} и дискретным распределением вероятности P = { p 1 , … , p n } , {\displaystyle P=\{p_{1},\;\ldots ,\;p_{n}\},} где p i {\displaystyle p_{i}} является вероятностью ( p i = p (a i) {\displaystyle p_{i}=p(a_{i})} ), определяется формулой:

H b (S) = − ∑ i = 1 n p i log b ⁡ p i . {\displaystyle H_{b}({\mathcal {S}})=-\sum _{i=1}^{n}p_{i}\log _{b}p_{i}.}

В частности, при b = 2 {\displaystyle b=2} , мы получаем обычную двоичную энтропию, измеряемую в битах . При b = 3 {\displaystyle b=3} , мы получаем тринарную энтропию, измеряемую в тритах (один трит имеет источник информации с тремя равновероятными состояниями). При b = e {\displaystyle b=e} , мы получаем информацию измеряемую в натах .

Условная энтропия

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а, следовательно, и энтропия), очевидно, меньше. Для учёта таких фактов используется условная энтропия.

Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятности появления одной буквы после другой (то есть, вероятности двухбуквенных сочетаний):

H 1 (S) = − ∑ i p i ∑ j p i (j) log 2 ⁡ p i (j) , {\displaystyle H_{1}({\mathcal {S}})=-\sum _{i}p_{i}\sum _{j}p_{i}(j)\log _{2}p_{i}(j),}

где i {\displaystyle i} - это состояние, зависящее от предшествующего символа, и p i (j) {\displaystyle p_{i}(j)} - это вероятность j {\displaystyle j} при условии, что i {\displaystyle i} был предыдущим символом.

Например, для русского языка без буквы «ё» H 0 = 5 , H 1 = 4,358 , H 2 = 3 , 52 , H 3 = 3 , 01 {\displaystyle H_{0}=5,\;H_{1}=4{,}358,\;H_{2}=3{,}52,\;H_{3}=3{,}01} .

Через частную и общую условные энтропии полностью описываются информационные потери при передаче данных в канале с помехами. Для этого применяются так называемые канальные матрицы . Для описания потерь со стороны источника (то есть известен посланный сигнал) рассматривают условную вероятность получения приёмником символа при условии, что был отправлен символ a i {\displaystyle a_{i}} . При этом канальная матрица имеет следующий вид:

	b 1 {\displaystyle b_{1}}	b 2 {\displaystyle b_{2}}	…	b j {\displaystyle b_{j}}	…	b m {\displaystyle b_{m}}
a 1 {\displaystyle a_{1}}	p (b 1 ∣ a 1) {\displaystyle p(b_{1}\mid a_{1})}	p (b 2 ∣ a 1) {\displaystyle p(b_{2}\mid a_{1})}	…	p (b j ∣ a 1) {\displaystyle p(b_{j}\mid a_{1})}	…	p (b m ∣ a 1) {\displaystyle p(b_{m}\mid a_{1})}
a 2 {\displaystyle a_{2}}	p (b 1 ∣ a 2) {\displaystyle p(b_{1}\mid a_{2})}	p (b 2 ∣ a 2) {\displaystyle p(b_{2}\mid a_{2})}	…	p (b j ∣ a 2) {\displaystyle p(b_{j}\mid a_{2})}	…	p (b m ∣ a 2) {\displaystyle p(b_{m}\mid a_{2})}
…	…	…	…	…	…	…
a i {\displaystyle a_{i}}	p (b 1 ∣ a i) {\displaystyle p(b_{1}\mid a_{i})}	p (b 2 ∣ a i) {\displaystyle p(b_{2}\mid a_{i})}	…	p (b j ∣ a i) {\displaystyle p(b_{j}\mid a_{i})}	…	p (b m ∣ a i) {\displaystyle p(b_{m}\mid a_{i})}
…	…	…	…	…	…	…
a m {\displaystyle a_{m}}	p (b 1 ∣ a m) {\displaystyle p(b_{1}\mid a_{m})}	p (b 2 ∣ a m) {\displaystyle p(b_{2}\mid a_{m})}	…	p (b j ∣ a m) {\displaystyle p(b_{j}\mid a_{m})}	…	p (b m ∣ a m) {\displaystyle p(b_{m}\mid a_{m})}

Очевидно, вероятности, расположенные по диагонали, описывают вероятность правильного приёма, а сумма всех элементов любой строки даёт 1. Потери, приходящиеся на передаваемый сигнал a i {\displaystyle a_{i}} , описываются через частную условную энтропию:

H (B ∣ a i) = − ∑ j = 1 m p (b j ∣ a i) log 2 ⁡ p (b j ∣ a i) . {\displaystyle H(B\mid a_{i})=-\sum _{j=1}^{m}p(b_{j}\mid a_{i})\log _{2}p(b_{j}\mid a_{i}).}

Для вычисления потерь при передаче всех сигналов используется общая условная энтропия:

H (B ∣ A) = ∑ i p (a i) H (B ∣ a i) . {\displaystyle H(B\mid A)=\sum _{i}p(a_{i})H(B\mid a_{i}).}

H (B ∣ A) {\displaystyle H(B\mid A)} означает энтропию со стороны источника, аналогично рассматривается H (A ∣ B) {\displaystyle H(A\mid B)} - энтропия со стороны приёмника: вместо p (b j ∣ a i) {\displaystyle p(b_{j}\mid a_{i})} всюду указывается p (a i ∣ b j) {\displaystyle p(a_{i}\mid b_{j})} (суммируя элементы строки можно получить p (a i) {\displaystyle p(a_{i})} , а элементы диагонали означают вероятность того, что был отправлен именно тот символ, который получен, то есть вероятность правильной передачи).

Взаимная энтропия

Взаимная энтропия или энтропия объединения предназначена для расчёта энтропии взаимосвязанных систем (энтропии совместного появления статистически зависимых сообщений) и обозначается H (A B) {\displaystyle H(AB)} , где A {\displaystyle A} характеризует передатчик, а B {\displaystyle B} - приёмник.

Понятие Энтропи́и впервые введено в 1865 Р. Клаузиусом в термодинамике для определения меры необратимого рассеяния энергии. Энтропия применяется в разных отраслях науки, в том числе и в теории информации как мера неопределенности какого-либо опыта, испытания, который может иметь разные исходы. Эти определения энтропии имеют глубокую внутреннюю связь. Так на основе представлений об информации можно вывести все важнейшие положения статистической физики. [БЭС. Физика. М: Большая российская энциклопедия, 1998].

Информационная двоичная энтропия для независимых (неравновероятных) случайных событий x с n возможными состояниями (от 1 до n , p - функция вероятности) рассчитывается по формуле Шеннона :

Эта величина также называется средней энтропией сообщения. Энтропия в формуле Шеннона является средней характеристикой – математическим ожиданием распределения случайной величины .
Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других.
В 1948 году, исследуя проблему рациональной передачи информации через зашумлённый коммуникационный канал, Клод Шеннон предложил революционный вероятностный подход к пониманию коммуникаций и создал первую, истинно математическую, теорию энтропии. Его сенсационные идеи быстро послужили основой разработки теории информации, которая использует понятие вероятности. Понятие энтропии, как меры случайности, введено Шенноном в его статье «A Mathematical Theory of Communication», опубликованной в двух частях в Bell System Technical Journal в 1948 году.

В случае равновероятных событий (частный случай), когда все варианты равновероятны, остается зависимость только от количества рассматриваемых вариантов и формула Шеннона значительно упрощается и совпадает с формулой Хартли, которая впервые была предложена американским инженером Ральфом Хартли в 1928 году, как один из научных подходов к оценке сообщений:

, где I – количество передаваемой информации, p – вероятность события, N – возможное количество различных (равновероятных) сообщений.

Задание 1. На равновероятные события.
В колоде 36 карт. Какое количество информации содержится в сообщении, что из колоды взята карта с портретом “туз”; “туз пик”?

Вероятность p1 = 4/36 = 1/9, а p2 = 1/36. Используя формулу Хартли имеем:

Ответ: 3.17; 5.17 бит
Заметим (из второго результата), что для кодирования всех карт, необходимо 6 бит.
Из результатов также ясно, что чем меньше вероятность события, тем больше информации оно содержит. (Данное свойство называется монотонностью )

Задание 2. На неравновероятные события
В колоде 36 карт. Из них 12 карт с “портретами”. Поочередно из колоды достается и показывается одна из карт для определения изображен ли на ней портрет. Карта возвращается в колоду. Определить количество информации, передаваемой каждый раз, при показе одной карты.

1. Введение.

2. Что измерил Клод Шеннон?

3. Пределы эволюционной изменчивости информационных систем.

4. Ограниченность адаптации биологических видов.

5. Этапы развития теории энтропии.

6. Методы исчисления количества структурной информации и информационной энтропии текстов.

7. Информационно-энтропийные соотношения процессов адаптации и развития.

8. Информация и энергия.

9. Заключение.

10. Список литературы.

ВВЕДЕНИЕ

Во второй половине XX века произошли два события, которые, на наш взгляд, в значительной мере определяют дальнейшие пути научного постижения мира. Речь идет о создании теории информации и о начале исследований механизмов антиэнтропийных процессов, для изучения которых синергетика привлекает все новейшие достижения неравновесной термодинамики, теории информации и общей теории систем.

Принципиальное отличие данного этапа развития науки от предшествующих этапов заключается в том, что до создания перечисленных направлений исследований наука способна была объяснить лишь механизмы процессов, приводящих к увеличению хаоса и возрастанию энтропии. Что касается разрабатываемых со времен Ламарка и Дарвина биологических и эволюционных концепций, то они и по сей день не имеют строгих научных обоснований и противоречат Второму началу термодинамики, согласно которому сопровождающее все протекающие в мире процессы возрастание энтропии есть непременный физический закон.

Заслуга неравновесной термодинамики заключается в том, что она сумела выявить механизмы антиэнтропийных процессов, не противоречащих Второму началу термодинамики, поскольку локальное уменьшение энтропии внутри самоорганизующейся системы всегда оплачивается большим по абсолютной величине возрастанием энтропии внешней среды.

Важнейшим шагом на пути постижения природы и механизмов антиэнтропийных процессов следует введение количественной меры информации. Первоначально эта мера предназначалась лишь для решения сугубо прикладных задач техники связи. Однако последующие исследования в области физики и биологии позволили выявить универсальные меры, предложенные К.Шенноном, позволяющие установить взаимосвязь между количеством информации и физической энтропией и в конечном счете определить сущность новой научной интерпретации понятия «информация» как меры структурной упорядоченности самых разнообразных по своей природе систем.

Используя метафору, можно сказать, что до введения в науку единой информационной количественной меры представленный в естественно-научных понятиях мир как бы «опирался на двух китов»: энергию и вещество. «Третьим китом» оказалась теперь информация, участвующая во всех протекающих в мире процессах, начиная от микрочастиц, атомов и молекул и кончая функционированием сложнейших биологических и социальных систем.

Естественно, возникает вопрос: подтверждают или опровергают эволюционную парадигму происхождения жизни и биологических видов новейшие данные современной науки?

Для ответа на этот вопрос необходимо прежде всего уяснить, какие именно свойства и стороны многогранного понятия «информация» отражает та количественная мера, которую ввел в науку К.Шеннон.

Использование меры количества информации позволяет анализировать общие механизмы информационно-энтропийных взаимодействий, лежащих в основе всех самопроизвольно протекающих в окружающем мире процессов накопления информации, которые приводят к самоорганизации структуры систем.

Вместе с тем информационно-энтропийный анализ позволяет выявить и пробелы эволюционных концепций, представляющих собой не более чем несостоятельные попытки сведения к простым механизмам самоорганизации проблему происхождения жизни и биологических видов без учета того обстоятельства, что системы такого уровня сложности могут быть созданы лишь на основе той информации, которая изначально заложена в предшествующий их сотворению план.

Проводимые современной наукой исследования свойств информационных систем дают все основания утверждать, что все системы могут формироваться только согласно спускаемым с верхних иерархических уровней правилами, причем сами эти правила существовали раньше самих систем в форме изначального плана (идеи творения).

ЧТО ИЗМЕРИЛ КЛОД ШЕННОН?

В основу теории информации положен предложенный К.Шенноном метод исчислений количества новой (непредсказуемой) и избыточной (предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам технической связи.

Предложенный Шенноном метод измерения количества информации оказался настолько универсальным, что его применение не ограничивается теперь узкими рамками чисто технических приложений.

Вопреки мнению самого К.Шеннона, предостерегавшего ученых против поспешного распространения предложенного им метода за пределы прикладных задач техники связи, этот метод стал находить все более широкое примение в исследованиях и физических, и биологических, и социальных систем.

Ключом к новому пониманию сущности феномена информации и механизма информационных процессов послужила установленная Л.Бриллюэном взаимосвязь информации и физической энтропии. Эта взаимосвязь была первоначально заложена в самый фундамент теории информации, поскольку для исчисления количества информации Шеннон предложил использовать заимствованную из статистической термодинамики вероятную функцию энтропии.

Многие ученые (начиная с самого К.Шеннона) склонны были рассматривать такое заимствование как чисто формальный прием. Л.Бриллюэн показал, что между вычисленным согласно Шеннону количеством информации и физической энтропии существует не формальная, а содержательная связь.

В статистической физике с помощью вероятностной функции энтропии исследуются процессы, приводящие к термодинамическому равновесию, при котором все состояния молекул (их энергии, скорости) приближаются к равновероятным, а энтропия при этом стремится к максимальной величине.

Благодаря теории информации стало очевидно, что с помощью той же самой функции можно исследовать и такие далекие от состояния максимальной энтропии системы, как, например, письменный текст.

Еще один важный вывод заключается в том, что

с помощью вероятностной функции энтропии можно анализировать все стадии перехода системы от состояния полного хаоса, которому соответствуют равные значения вероятностей и максимальное значение энтропии, к состоянию предельной упорядоченности (жесткой детерминации), которому соответствует единственно возможное состояние ее элементов.

Данный вывод оказывается в равной мере справедливым для таких несходных по своей природе систем, как газы, кристаллы, письменные тексты, биологические организмы или сообщества и др.

При этом, если для газа или кристалла при вычислении энтропии сравнивается только микросостояние (т.е. состояние атомов и молекул) и макросостояние этих систем (т.е. газа или кристалла как целого), то для систем иной природы (биологических, интеллектуальных, социальных) вычисление энтропии может производится на том или ином произвольно выбранном уровне. При этом вычисляемое значение энтропии рассматриваемой системы и количество информации, характеризующей степень упорядоченности данной системы и равное разности между максимальным и реальным значением энтропии, будет зависеть от распределения вероятности состояний элементов нижележащего уровня, т.е. тех элементов, которые в своей совокупности образуют эти системы.

Другими словами,

количество сохраняемой в структуре системы информации пропорционально степени отклонения системы от состояния равновесия, обусловленного сохраняемым в структуре системы порядком.

Сам того не подозревая, Шеннон вооружил науку универсальной мерой, пригодной в принципе (при условии выявления значенй всех вероятностей) для оценки степени упорядоченности всех существующих в мире систем.

Опредеделив введенную Шеноном информационную меру как меру упорядоченности движения , можно установить взаимосвязь информации и энергии, считая энергию мерой интенсивности движения . При этом количество сохраняемой в структуре систем информации пропорционально суммарной энергии внутренних связей этих систем.

Одновременно с выявлением общих свойств информации как феномена обнаруживаются и принципиальные различия относящихся к различным уровням сложности информационных систем.

Так, например, все физические объекты, в отличие от биологических, не обладают специальными органами памяти, перекодировки поступающих из внешнего мира сигналов, информационными каналами связи. Хранимая в них информация как бы «размазана» по всей их структуре. Вместе с тем, если бы кристаллы не способны были сохранять информацию в определяющих их упорядоченность внутренних связях, не было бы возможности создавать искусственную память и предназначенные для обработки информации технические устройства на основе кристаллических структур.

Вместе с тем необходимо учитывать, что создание подобных устройств стало возможным лишь благодаря разуму человека, сумевшего использовать элементарные информационные свойства кристаллов для построения сложных информационных систем.

Простейшая биологическая система превосходит по своей сложности самую совершенную из созданных человеком информационных систем. Уже на уровне простейших одноклеточных организмов задействован необходимый для их размножения сложнейший информационный генетический механизм. В многоклеточных организмах помимо информационной системы наследственности действуют специализированные органы хранения информации и ее обработки (например, системы, осуществляющие перекодирование поступающих из внешнего мира зрительных и слуховых сигналов перед отправкой их в головной мозг, системы обработки этих сигналов в головном мозге). Сложнейшая сеть информационных коммуникаций (нервная система) пронизывает и превращает в целое весь многоклеточный организм.

Клод Элвуд Шеннон (1916-2001) -
американский инженер и математик,
основатель теории информации,
т.е. теории обработки, передачи
и хранения информации

Клод Шеннон первым начал интерпретировать передаваемые сообщения и шумы в каналах связи с точки зрения статистики, рассматривая как конечные, так и непрерывные множества сообщений. Клода Шеннона называют «отцом теории информации» .

Одной из самых известных научных работ Клода Шеннона является его статья «Математическая теория связи» , опубликованная в 1948 году.

В этой работе Шеннон, исследуя проблему рациональной передачи информации через зашумленный коммуникационный канал, предложил вероятностный подход к пониманию коммуникаций, создал первую, истинно математическую, теорию энтропии как меры случайности и ввёл меру дискретного распределения p вероятности на множестве альтернативных состояний передатчика и приёмника сообщений.

Шеннон задал требования к измерению энтропии и вывел формулу, ставшую основой количественной теории информации:

H (p) .

Здесь n - число символов, из которых может быть составлено сообщение (алфавит), H - информационная двоичная энтропия .

На практике значения вероятностей p i в приведённой формуле заменяют их статистическими оценками: p i - относительная частота i -го символа в сообщении, где N - число всех символов в сообщении, N i - абсолютная частота i -го символа в сообщении, т.е. число встречаемости i -го символа в сообщении.

Во введении к своей статье «Математическая теория связи» Шеннон отмечает, что в этой статье он расширяет теорию связи, основные положения которой содержатся в важных работах Найквиста и Хартли .

Гарри Найквист (1889-1976) -
американский инженер шведского
происхождения, один из пионеров
теории информации

Первые результаты Найквиста по определению ширины частотного диапазона, требуемого для передачи информации, заложили основы для последующих успехов Клода Шеннона в разработке теории информации.

В 1928 году Хартли ввёл логарифмическую меру информации H = K · log 2 N , которую часто называют хартлиевским количеством информации.

Хартли принадлежит следующая важная теорема о необходимом количестве информации: если в заданном множестве M , состоящем из N элементов, содержится элемент x , о котором известно только то, что он принадлежит этому множеству M , то, чтобы найти x , необходимо получить об этом множестве количество информации, равное log 2 N бит.

Кстати, отметим, что название БИТ произошло от английской аббревиатуры BIT - BInary digiT . Этот термин впервые был предложен американским математиком Джоном Тьюки в 1946 году. Хартли и Шеннон использовали бит как единицу измерения информации.

Вообще, энтропия Шеннона - это энтропия множества вероятностей p 1 , p 2 ,…, p n .

Ральф Винтон Лайон Хартли (1888-1970)
- американский учёный-электронщик

Строго говоря, если X p 1 , p 2 ,…, p n - вероятности всех её возможных значений, то функция H (X ) задаёт энтропию этой случайной величины, при этом, хотя X и не является аргументом энтропии, можно записывать H (X ).

Аналогично, если Y - конечная дискретная случайная величина, а q 1 , q 2 ,…, q m - вероятности всех её возможных значений, то для этой случайной величины можно записывать H (Y ).

Джон Уайлдер Тьюки (1915-2000) -
американский математик. Тьюки избрал
бит для обозначения одного разряда
в двоичной системе счисления

Шеннон назвал функцию H (X )энтропией по совету Джона фон Неймана .

Нейман убеждал: эту функцию следует назвать энтропией «по двум причинам. В первую очередь, Ваша функция неопределённости была использована в статистической механике под этим именем, так что у неё уже есть имя. На втором месте, и что более важно, никто не знает, что такое энтропия на самом деле, так что в дискуссии Вы всегда будете иметь преимущество» .

Надо полагать, что этот совет Неймана не был простой шуткой. Скорее всего, и Джон фон Нейман и Клод Шеннон знали об информационной интерпретации энтропии Больцмана как о величине, характеризующей неполноту информации о системе.

В определении Шеннона энтропия - это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения .

7. Энтропия Колмогорова

Андрей Николаевич
Колмогоров (1903-1987) -
советский учёный, один из крупнейших
математиков XX века

А.Н. Колмогоровым были получены фундаментальные результаты во многих областях математики, в том числе в теории сложности алгоритмов и теории информации.

В частности, ему принадлежит ключевая роль в превращении теории информации, сформулированной Клодом Шенноном как технической дисциплины, в строгую математическую науку, и в построении теории информации на принципиально иной, отличной от шенноновской, основе.

В своих работах по теории информации и в области теории динамических систем А.Н. Колмогоров обобщил понятие энтропии на эргодические случайные процессы через предельное распределение вероятностей. Чтобы понять смысл этого обобщения, необходимо знать основные определения и понятия теории случайных процессов.

Значение энтропии Колмогорова (еще называемой K-энтропией ) задает оценку скорости потери информации и может интерпретироваться как мера «памяти» системы, или мера скорости «забывания» начальных условий. Её можно также рассматривать как меру хаотичности системы.

8. Энтропия Реньи

Альфред Реньи (1921-1970) -
венгерский математик, создатель
Математического института в Будапеште,
ныне носящего его имя

Ввёл однопараметрический спектр энтропий Реньи.

С одной стороны, энтропия Реньи представляет собой обобщение энтропии Шеннона. А с другой стороны, одновременно с этим она представляет собой обобщение расстояния (расхождения) Кульбака-Лейблера . Отметим также, что именно Реньи принадлежит полное доказательство теоремы Хартли о необходимом количестве информации.

Расстояние Кульбака-Лейблера (информационная дивергенция, относительная энтропия) - это несимметричная мера удалённости друг от друга двух вероятностных распределений .

Обычно одно из сравниваемых распределений является «истинным» распределением, а второе распределение - предполагаемым (проверяемым) распределением, являющимся приближением первого.

Пусть X , Y - это конечные дискретные случайные величины, для которых области возможных значений принадлежат заданному множеству и известны функции вероятности: P (X = a i ) = p i и P (Y = a i ) = q i .

Тогда значение DKL расстояния Кульбака-Лейблера вычисляется по формулам

D KL (X , Y ) =, D KL (Y , X ) = .

В случае абсолютно непрерывных случайных величин X , Y , заданных своими плотностями распределения, в формулах для вычисления значения расстояния Кульбака-Лейблера суммы заменяются соответствующими интегралами.

Расстояние Кульбака-Лейблера всегда является неотрицательным числом, при этом оно равно нулю D KL (X , Y ) = 0 тогда и только тогда, когда для заданных случайных величин почти всюду справедливо равенство X = Y .

В 1960 году Альфред Реньи предлагает своё обобщение энтропии.

Энтропия Реньи представляет собой семейство функционалов для количественного разнообразия случайности системы. Реньи определил свою энтропию как момент порядка α меры ε-разбиения (покрытия).

Пусть α - заданное действительное число, удовлетворяющее требованиям α ≥ 0, α ≠ 1. Тогда энтропия Реньи порядка α определяется формулой H α = H α (X ), где p i = P (X = x i ) - вероятность события, состоящего в том, что дискретная случайная величина X окажется равна своему соответствующему возможному значению, n - общее число различных возможных значений случайной величины X .

Для равномерного распределения, когда p 1 = p 2 =…= p n =1/n , все энтропии Реньи равны H α (X ) = ln n .

В противном случае, значения энтропий Реньи слабо уменьшаются при возрастании значений параметра α. Энтропии Реньи играют важную роль в экологии и статистике как индексы разнообразия.

Энтропия Реньи также важна в квантовой информации, она может быть использована в качестве меры сложности.

Рассмотрим некоторые частные случаи энтропии Реньи для конкретных значений порядка α:

1. Энтропия Хартли : H 0 = H 0 (X ) = ln n , где n - мощность области возможных значений конечной случайной величины X , т.е. количество различных элементов, принадлежащих множеству возможных значений;

2. Информационная энтропия Шеннона : H 1 = H 1 (X ) = H 1 (p ) (определяется как предел при α → 1, который несложно найти, например, с помощью правила Лопиталя);

3. Корреляционная энтропия или столкновение энтропии : H 2 = H 2 (X )= - ln (X = Y );

4. Min-энтропия : H ∞ = H ∞ (X ).

Отметим, что для любого неотрицательного значения порядка (α ≥ 0) всегда выполняются неравенства H ∞ (X ) ≤ H α (X ). Кроме того, H 2 (X ) ≤ H 1 (X ) и H ∞ (X ) ≤ H 2 (X ) ≤ 2·H ∞ (X ).

Альфред Реньи ввёл не только свои абсолютные энтропии (1.15), он определил также спектр мер расхождений, обобщающих расхождения Кульбака-Лейбнера.

Пусть α - заданное действительное число, удовлетворяющее требованиям α > 0, α ≠ 1. Тогда в обозначениях, использованных при определении значения D KL расстояния Кульбака-Лейблера, значение расхождения Реньи порядка α определяется формулами

D α (X , Y ), D α (X , Y ).

Расхождение Реньи также называют alpha -расхождением или α-дивергенцией. Сам Реньи использовал логарифм по основанию 2, но, как всегда, значение основания логарифма абсолютно неважно.

9. Энтропия Тсаллиса

Константино Тсаллис (род. 1943) -
бразильский физик
греческого происхождения

В 1988 году предложил новое обобщение энтропии, являющееся удобным для применения с целью разработки теории нелинейной термодинамики.

Предложенное им обобщение энтропии, возможно, в ближайшем будущем сможет сыграть существенную роль в теоретической физике и астрофизике.

Энтропия Тсаллиса Sq , часто называемая неэкстенсивной (неаддитивной) энтропией, определяется для n микросостояний согласно следующей формуле:

S q = S q (X ) = S q (p ) = K · , .

Здесь K - размерная константа, если размерность играет важную роль для понимания задачи.

Тсаллис и его сторонники предлагают развивать «неэкстенсивную статистическую механику и термодинамику» в качестве обобщения этих классических дисциплин на случай систем с длинной памятью и/или дальнодействующими силами.

От всех других разновидностей энтропии, в т.ч. и от энтропии Реньи, энтропия Тсаллиса отличается тем, что не является аддитивной. Это принципиальное и важное отличие .

Тсаллис и его сторонники считают, что эта особенность даёт возможность построить новую термодинамику и новую статистическую теорию, которые способы просто и корректно описывать системы с длинной памятью и системы, в которых каждый элемент взаимодействует не только с ближайшими соседями, но и со всей системой в целом или её крупными частями.

Примером таких систем, а поэтому и возможным объектом исследований с помощью новой теории, являются космические гравитирующих системы: звёздные скопления, туманности, галактики, скопления галактик и т.п.

Начиная с 1988 года, когда Константино Тсаллис предложил свою энтропию, появилось значительное число приложений термодинамики аномальных систем (с длиной памятью и/или с дальнодействующими силами), в том числе и в области термодинамики гравитирующих систем.

10. Квантовая энтропия фон Неймана

Джон (Янош) фон Нейман (1903-1957) -
американский математик и физик
венгерского происхождения

Энтропия фон Неймана играет важную роль в квантовой физике и в астрофизических исследованиях.

Джон фон Нейман внёс значительный вклад в развитие таких отраслей науки, как квантовая физика, квантовая логика, функциональный анализ, теория множеств, информатика и экономика.

Он являлся участником Манхэттенского проекта по разработке ядерного оружия, одним из создателей математической теории игр и концепции клеточных автоматов, а также основоположником современной архитектуры компьютеров.

Энтропия фон Неймана, как всякая энтропия, связана с информацией: в данном случае - с информацией о квантовой системе. И в этом плане она играет роль фундаментального параметра, количественно характеризующего состояние и направление эволюции квантовой системы.

В настоящее время энтропия фон Неймана широко используется в различных формах (условная энтропия, относительная энтропия и т.д.) в рамках квантовой теории информации.

Различные меры запутанности непосредственно связаны с энтропией фон Неймана. Тем не менее, в последнее время появился ряд работ, посвящённых критике энтропии Шеннона как меры информации и возможной её неадекватности, и, следовательно, неадекватности энтропии фон Неймана как обобщения энтропии Шеннона.

Проведенный обзор (к сожалению, беглый, а порой и недостаточно математически строгий) эволюции научных взглядов на понятие энтропии позволяет дать ответы на важные вопросы, связанные с истинной сущностью энтропии и перспективами применения энтропийного подхода в научных и практических исследованиях. Ограничимся рассмотрением ответов на два таких вопроса.

Первый вопрос : имеют ли между собой многочисленные разновидности энтропии, как рассмотренные, так и не рассмотренные выше, что-нибудь общее кроме одинакового названия?

Этот вопрос возникает естественным образом, если принять во внимание то разнообразие, которое характеризует существующие различные представления об энтропии.

На сегодня научное сообщество не выработало единого, признанного всеми, ответа на этот вопрос: одни учёные отвечают на этот вопрос утвердительно, другие - отрицательно, третьи - относятся к общности энтропий различных видов с заметной долей сомнения...

Клаузиус, по-видимому, был первым учёным, убеждённым в универсальном характере энтропии и полагавшим, что во всех процессах, происходящих во Вселенной, она играет важную роль, в частности, определяя их направление развития во времени.

Кстати, именно Рудольфу Клаузиусу принадлежит одна из формулировок второго начала термодинамики: «Невозможен процесс, единственным результатом которого являлась бы передача тепла от более холодного тела к более горячему» .

Эту формулировку второго начала термодинамики называют постулатом Клаузиуса , а необратимый процесс, о котором идёт речь в этом постулате, - процессом Клаузиуса .

Со времени открытия второго начала термодинамики необратимые процессы играли уникальную роль в физической картине мира. Так, знаменитая статья 1849 года Уильяма Томпсона , в которой приведена одна из первых формулировок второго начала термодинамики, называлась «Об универсальной тенденции в природе к диссипации механической энергии».

Отметим также, что и Клаузиус был вынужден использовать космологический язык: «Энтропия Вселенной стремится к максимуму» .

Илья Романович Пригожин (1917-2003) -
бельгийско-американский физик и
химик российского происхождения,
лауреат Нобелевской премии
по химии 1977 года

К аналогичным выводам пришёл Илья Пригожин . Пригожин полагает, что принцип энтропии ответственен за необратимость времени во Вселенной и, возможно, играет важную роль в понимании смысла времени как физического феномена.

К настоящему времени выполнено множество исследований и обобщений энтропии, в том числе и с точки зрения строгой математической теории. Однако заметная активность математиков в этой области пока не востребована в приложениях, за исключением, пожалуй, работ Колмогорова , Реньи и Тсаллиса .

Несомненно, энтропия - это всегда мера (степень) хаоса, беспорядка. Именно разнообразие проявления феномена хаотичности и беспорядка обусловливает неизбежность разнообразия модификаций энтропии.

Второй вопрос : можно ли признать сферу применения энтропийного подхода обширной или все приложения энтропии и второго начала термодинамики ограничиваются самой термодинамикой и смежными направлениями физической науки?

История научного изучения энтропии свидетельствует, что энтропия - это научное явление, открытое в термодинамике, а затем успешно перекочевавшее в другие науки и, прежде всего, в теорию информации.

Несомненно, энтропия играет важную роль практически во всех областях современного естествознания: в теплофизике, в статистической физике, в физической и химической кинетике, в биофизике, астрофизике, космологии и теории информации.

Говоря о прикладной математике, нельзя не упомянуть приложения принципа максимума энтропии.

Как уже отмечалось, важными областями применения энтропии являются квантово-механические и релятивистские объекты. В квантовой физике и астрофизике такие применения энтропии представляют собой большой интерес.

Упомянем лишь один оригинальный результат термодинамики чёрных дыр: энтропия чёрной дыры равна четверти площади её поверхности (площади горизонта событий) .

В космологии считается, что энтропия Вселенной равна числу квантов реликтового излучения, приходящихся на один нуклон.

Таким образом, сфера применения энтропийного подхода весьма обширна и включает в себя самые разнообразные отрасли знания, начиная с термодинамики, других направлений физической науки, информатики и заканчивая, например, историей и экономикой.

А.В. Сигал , доктор экономических наук, Крымский университет имени В.И. Вернадского

Энтропия (теория информации)

Энтропи́я (информационная) - мера хаотичности информации , неопределённость появления какого-либо символа первичного алфавита . При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.

Например, в последовательности букв, составляющих какое-либо предложение на русском языке, разные буквы появляются с разной частотой, поэтому неопределённость появления для некоторых букв меньше, чем для других. Если же учесть, что некоторые сочетания букв (в этом случае говорят об энтропии n -ого порядка, см. ) встречаются очень редко, то неопределённость ещё более уменьшается.

Для иллюстрации понятия информационной энтропии можно также прибегнуть к примеру из области термодинамической энтропии , получившему название демона Максвелла . Концепции информации и энтропии имеют глубокие связи друг с другом, но, несмотря на это, разработка теорий в статистической механике и теории информации заняла много лет, чтобы сделать их соответствующими друг другу.

Формальные определения

Определение с помощью собственной информации

Также можно определить энтропию случайной величины, введя предварительно понятия распределения случайной величины X , имеющей конечное число значений:

I (X ) = − logP X (X ).

Тогда энтропия будет определяться как:

От основания логарифма зависит единица измерения информации и энтропии: бит , нат или хартли .

Информационная энтропия для независимых случайных событий x с n возможными состояниями (от 1 до n ) рассчитывается по формуле:

Эта величина также называется средней энтропией сообщения . Величина называется частной энтропией , характеризующей только i -e состояние.

Таким образом, энтропия события x является суммой с противоположным знаком всех произведений относительных частот появления события i , умноженных на их же двоичные логарифмы (основание 2 выбрано только для удобства работы с информацией, представленной в двоичной форме). Это определение для дискретных случайных событий можно расширить для функции распределения вероятностей .

В общем случае b -арная энтропия (где b равно 2, 3, …) источника с исходным алфавитом и дискретным распределением вероятности где p i является вероятностью a i (p i = p (a i ) ) определяется формулой:

Альтернативное определение

Другим способом определения функции энтропии H является доказательство, что H однозначно определена (как указано ранее), если и только если H удовлетворяет условиям:

Свойства

Важно помнить, что энтропия является количеством, определённым в контексте вероятностной модели для источника данных. Например, кидание монеты имеет энтропию − 2(0,5log 2 0,5) = 1 бит на одно кидание (при условии его независимости). У источника, который генерирует строку, состоящую только из букв «А», энтропия равна нулю: . Так, например, опытным путём можно установить, что энтропия английского текста равна 1,5 бит на символ, что конечно будет варьироваться для разных текстов. Степень энтропии источника данных означает среднее число битов на элемент данных, требуемых для её зашифровки без потери информации, при оптимальном кодировании.

Некоторые биты данных могут не нести информации. Например, структуры данных часто хранят избыточную информацию, или имеют идентичные секции независимо от информации в структуре данных.
Количество энтропии не всегда выражается целым числом бит.

Математические свойства

Эффективность

Исходный алфавит, встречающийся на практике, имеет вероятностное распределение, которое далеко от оптимального. Если исходный алфавит имел n символов, тогда он может быть сравнён с «оптимизированным алфавитом», вероятностное распределение которого однородно. Соотношение энтропии исходного и оптимизированного алфавита - это эффективность исходного алфавита, которая может быть выражена в процентах.

Из этого следует, что эффективность исходного алфавита с n символами может быть определена просто как равная его n -арной энтропии.

Вариации и обобщения

Условная энтропия

Если следование символов алфавита не независимо (например, во французском языке после буквы «q» почти всегда следует «u», а после слова «передовик» в советских газетах обычно следовало слово «производства» или «труда»), количество информации, которую несёт последовательность таких символов (а следовательно и энтропия) очевидно меньше. Для учёта таких фактов используется условная энтропия.

Условной энтропией первого порядка (аналогично для Марковской модели первого порядка) называется энтропия для алфавита, где известны вероятности появления одной буквы после другой (то есть вероятности двухбуквенных сочетаний):

где i - это состояние, зависящее от предшествующего символа, и p i (j ) - это вероятность j , при условии, что i был предыдущим символом.

Так, для русского языка без буквы « » .

Через частную и общую условные энтропии полностью описываются информационные потери при передаче данных в канале с помехами. Для этого применяются так называемые канальные матрицы . Так, для описания потерь со стороны источника (то есть известен посланный сигнал), рассматривают условную вероятность получения приёмником символа b j при условии, что был отправлен символ a i . При этом канальная матрица имеет следующий вид:

	b 1	b 2	…	b j	…	b m
a 1			…		…
a 2			…		…
…	…	…	…	…	…	…
a i			…		…
…	…	…	…	…	…	…
a m			…		…

Очевидно, вероятности, расположенные по диагонали описывают вероятность правильного приёма, а сумма всех элементов столбца даст вероятность появления соответствующего символа на стороне приёмника - p (b j ) . Потери, приходящиеся на передаваемый сигнал a i , описываются через частную условную энтропию:

Для вычисления потерь при передаче всех сигналов используется общая условная энтропия:

Означает энтропию со стороны источника, аналогично рассматривается - энтропия со стороны приёмника: вместо всюду указывается (суммируя элементы строки можно получить p (a i ) , а элементы диагонали означают вероятность того, что был отправлен именно тот символ, который получен, то есть вероятность правильной передачи).

Взаимная энтропия

Взаимная энтропия, или энтропия объединения , предназначена для расчёта энтропии взаимосвязанных систем (энтропии совместного появления статистически зависимых сообщений) и обозначается H (A B ) , где A , как всегда, характеризует передатчик, а B - приёмник.

Взаимосвязь переданных и полученных сигналов описывается вероятностями совместных событий p (a i b j ) , и для полного описания характеристик канала требуется только одна матрица:

p (a 1 b 1)	p (a 1 b 2)	…	p (a 1 b j )	…	p (a 1 b m )
p (a 2 b 1)	p (a 2 b 2)	…	p (a 2 b j )	…	p (a 2 b m )
…	…	…	…	…	…
p (a i b 1)	p (a i b 2)	…	p (a i b j )	…	p (a i b m )
…	…	…	…	…	…
p (a m b 1)	p (a m b 2)	…	p (a m b j )	…	p (a m b m )

Для более общего случая, когда описывается не канал, а просто взаимодействующие системы, матрица необязательно должна быть квадратной. Очевидно, сумма всех элементов столбца с номером j даст p (b j ) , сумма строки с номером i есть p (a i ) , а сумма всех элементов матрицы равна 1. Совместная вероятность p (a i b j ) событий a i и b j вычисляется как произведение исходной и условной вероятности,

Условные вероятности производятся по формуле Байеса . Таким образом имеются все данные для вычисления энтропий источника и приёмника:

Взаимная энтропия вычисляется последовательным суммированием по строкам (или по столбцам) всех вероятностей матрицы, умноженных на их логарифм:

H (A B ) = −	∑	∑	p (a i b j )logp (a i b j ).
	i	j

Единица измерения - бит/два символа, это объясняется тем, что взаимная энтропия описывает неопределённость на пару символов - отправленного и полученного. Путём несложных преобразований также получаем

Взаимная энтропия обладает свойством информационной полноты - из неё можно получить все рассматриваемые величины.