Энтропия и количество информации - Часть 2

2. Количество информации

В основе всей теории информации лежит открытие, что "информация допускает количественную оценку". В простейшей форме эта идея была выдвинута еще в 1928г. Хартли, но завершенный и общий вид придал ее Шэннон в 1948г. Не останавливаясь на том, как развивалось и обобщалось понятие количества информации, дадим сразу ее современное толкование.
Процесс получения информации можно интерпретировать как "изменение неопределенности в результате приема сигнала". Проиллюстрируем эту идею на примере достаточно простого случая, когда передача сигнала происходит при следующих условиях:
- полезный (передаваемый) сигнал является последовательностью статистически независимых символов с вероятностями p(xi),i = 1,m ;
- принимаемый сигнал является последовательностью символов Yk того же алфавита;
- если шумы (искажения) отсутствуют, то принимаемый сигнал совпадает с отправленным Yk=Xk ;
- если шум имеется, то его действие приводит к тому, что данный символ либо остается прежним (i-м), либо подменен любым другим (k-м) с вероятностью p(yk/xi);
- искажение данного символа является событием статистически независимым от того, что произошло с предыдущим символом.
Итак, до получения очередного символа ситуация характеризуется неопределенностью того, какой символ будет отправлен, т.е. априорной энтропией Н(Х). После получения символа yk неопределенность относительно того, какой символ был отправлен, меняется: в случае отсутствия шума она вообще исчезает (апостериорная энтропия равна нулю, поскольку точно известно, что был передан символ yk=xi ), а при наличии шума мы не можем быть уверены, что принятый символ и есть переданный, т.е. возникает неопределенность, характеризуемая апостериорной энтропией
H(X/yk)=H({p(xi/yk)})>0.
В среднем после получения очередного символа энтропия
H(X/Y)=My{H(X/Yk)}
Определим теперь количество информации как меру снятой неопределенности: числовое значение количества информации о некотором объекте равно разности априорной и апостериорной энтропии этого объекта, т.е.
I(X,Y) = H(X) - H(X/Y). (1)
Используя свойство 2 энтропии, легко получить, что
I(X,Y) = H(Y) - H(Y/X) (2)
В явной форме равенство (1) запишется так:
I(X,Y) = H(X) - H(X/Y) =

Представленным формулам легко придать полную симметричность: умножив и разделив логарифмируемое выражение в на p(yk) , а в на p(xi) сразу получим, что

Эту симметрию можно интерпретировать так: "количество информации в объекте Х об объекте Y равно количеству информации в объекте Y об объекте Х. Таким образом, количество информации является не характеристикой одного из объектов, а характеристикой их связи, соответствия между их состояниями. Подчеркивая это, можно сформулировать еще одно определение: "среднее количество информации, вычисляемое по формуле, есть мера соответствия двух случайных объектов".
Это определение позволяет прояснить связь понятий информации и количества информации. Информация есть отражение одного объекта другим, проявляющееся в соответствии их состояний. Один объект может быть отражен с помощью нескольких других, часто какими-то лучше, чем остальными. Среднее количество информации и есть числовая характеристика степени отражения, степени соответствия. Подчеркнем, что при таком описании как отражаемый, так и отражающий объекты выступают совершенно равноправно. С одной стороны, это подчеркивает обоюдность отражения: каждый из них содержит информацию друг о друге. Это представляется естественным, поскольку отражение есть результат взаимодействия, т.е. взаимного, обоюдного изменения состояний. С другой стороны, фактически одно явление (или объект) всегда выступает как причина, другой - как следствие; это никак не учитывается при введенном количественном описании информации.
Формула обобщается на непрерывные случайные величины, если в отношении и вместо Н подставить дифференциальную энтропию h; при этом исчезает зависимость от стандарта К и, значит, количество информации в непрерывном случае является столь же безотносительным к единицам измерения, как и в дискретном:

где р(x), p(y) и p(x,y) - соответствующие плотности вероятностей.
Отметим некоторые важные свойства количества информации.
1. Количество информации в случайном объекте Х относительно объекта Y равно количеству информации в Y относительно Х:
I(X,Y) = I(Y,X)
2. Количество информации неотрицательно:
I(X,Y) > 0
Это можно доказать по-разному. Например, варьированием p(x,y) при фиксированных p(x) и p(y) можно показать, что минимум I , равный нулю, достигается при p(x,y) = p(x) p(y).
3. Для дискретных Х справедливо равенство I(X,X) = H(X).
4. Преобразование y (.) одной случайной величины не может увеличить содержание в ней информации о другой, связанной с ней, величине:
I[y (X),Y] < I(X,Y)
5. Для независимых пар величин количество информации аддитивно:

Рассмотрим теперь вопрос о единицах измерения количества информации и энтропии. Из определений I и H следует их безразмерность, а из линейности их связи - одинаковость их единиц. Поэтому будем для определенности говорить об энтропии. Начнем с дискретного случая. За единицу энтропии примем неопределенность случайного объекта, такого, что

Легко установить, что для однозначного определения единицы измерения энтропии необходимо конкретизировать число m состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, т.е. m=2, и в качестве основания логарифма также возьмем число 2. Тогда из равенства

вытекает, чтоp1=p2=1/2 . Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название "бит". Бросание монеты дает количество информации в один бит. Другая единица "нит" получается, если использовать натуральные логарифмы. Обычно она употребляется для непрерывных величин.
Остановимся еще на одном важном моменте. До сих пор речь шла о среднем количестве информации, приходящемся на пару состояний (xi,yk) объектов X и Y. Эта характеристика естественна для рассмотрения особенностей стационарно функционирующих систем, когда в процессе функционирования принимают участие все возможные пары (xi,yk) . Однако в ряде практических случаев оказывается необходимым рассмотреть информационное описание конкретной пары состояний, оценить содержание информации в конкретной реализации сигнала. Тот факт, что некоторые сигналы несут информации намного больше, чем другие, виден на примере того, как отбираются новости средствами массовой информации (о рождении шестерых близнецов сообщают практически все газеты мира, а о рождении двойни не пишут).
Допуская существование количественной меры информации (xi,yk) , в конкретной паре (xi,yk) естественно потребовать, чтобы индивидуальное и среднее количество информации удовлетворяли соотношению

Хотя равенство имеет место не только при равенстве всех слагаемых, сравнение формул и, например, наталкивает на мысль, что мерой индивидуальной информации в дискретном случае может служить величина

а в непрерывном - величина
i(x,y) = ln{p(x/y) / p(x)} = ln{{p(y/x) / p(y)} = = ln{p(x,y) / p(x)p(y)}
называемая "информационной плотностью". Свойства этих величин согласуются с интуитивными представлениями и, кроме того, доказана единственность меры, обладающей указанными свойствами. Полезность введения понятия индивидуального количества информации проиллюстрируем на следующем примере.

Заключение

Связав понятие неопределенности дискретной величины с распределением вероятности по возможным состояниям и потребовав некоторых естественных свойств от количественной меры неопределенности, мы приходим к выводу, что такой мерой может служить только функционал, названный энтропией. С некоторыми трудностями энтропийный подход удалось обобщить на непрерывные случайные величины (введением дифференциальной энтропии) и на дискретные случайные процессы.
Для системного анализа теория информации имеет двоякое значение. Во-первых, ее конкретные методы позволяют провести ряд количественных исследований информационных потоков в изучаемой или проектируемой системе. Однако более важным является эвристическое значение основных понятий теории информации - неопределенности, энтропии, количество информации, избыточности, пропускной способности и пр. Их использование столь же важно для понимания системных процессов, как и использование понятий, связанных с временными, энергетическими процессами. Системный анализ неизбежно выходит на исследование ресурсов, которые потребуются для решения анализируемой проблемы. Информационные ресурсы играют далеко не последнюю роль наряду с остальными ресурсами - материальными, энергетическими, временными, кадровыми.

Список литературы

1. Нуллов А. информатика. – М.: Комус, 2002.
2. Семакин И.Г.Лекции по программированию. – М.: Пермь, 1996.
3. Фигурнов В.Э. IBM PC для пользователя. Краткий курс. – М.: Инфра-М, 1999.
4. www.computerra.ru
5. www.chip.ru
6. www. Ixbt.com
7. www.pc-zone.net
8. www.pclink.ru

(32.6 KiB, 60 downloads)

© Размещение материала на других электронных ресурсах только в сопровождении активной ссылки

Вы можете заказать оригинальную авторскую работу на эту и любую другую тему.

Контрольные работы в Магнитогорске, контрольную работу купить, курсовые работы по праву, купить курсовую работу по праву, курсовые работы в РАНХиГС, курсовые работы по праву в РАНХиГС, дипломные работы по праву в Магнитогорске, дипломы по праву в МИЭП, дипломы и курсовые работы в ВГУ, контрольные работы в СГА, магистерские диссертации по праву в Челгу.

Страниц: 1 2
Здесь вы можете написать комментарий

* Обязательные для заполнения поля
Все отзывы проходят модерацию.
Архив сайта
Навигация
Связаться с нами
Наши контакты

vadimmax1976@mail.ru

+7(908)07-32-118

О сайте

Magref.ru - один из немногих образовательных сайтов рунета, поставивший перед собой цель не только продавать, но делиться информацией. Мы готовы к активному сотрудничеству!