Дифференциальная Энтропия

Формальный аналог понятия энтропии для случайных величин, имеющих плотность распределения. Д. э. h(x) случайной величины x, определенной на нек-ром вероятностном пространстве (W, U, Р), принимающей значения в n-мерном евклидовом пространстве Rn и имеющей плотность распределения р(х),дается формулой (здесь 0log0 считается равным 0). Таким образом, Д. э. совпадает с энтропией меры относительно меры Лебега l(-), где — распределение x. Понятие Д. э. оказывается полезным при вычислении различных теоретико-информационных характеристик, в первую очередь информации количестваJ(x, h)случайных векторов xи h. В случае, когда h(x), h(h)и h(x,h)(Д. э. пары (x,h)конечны, справедлива формула: Среди свойств Д. э. можно отметить следующие два: 1) в отличие от обычной энтропии, Д. э. не ковариантна относительно изменения системы координат и может принимать отрицательные значения; 2) пусть j(x) — дискретизация с шагом Ахn-мерной случайной величины x, обладающей плотностью, тогда для энтропии Н(j(x))справедлива формула при Таким образом, при главный член асимптотики Н(j(x)). зависит от размерности пространства значений x, Д. э. задает следующий по порядку член асимптотич. разложения, не зависящий от Ах, причем это первый член, в к-ром проявляется зависимость от конкретного вида распределения x. Лит.:[1] Гельфанд И. М., Колмогоров А. Н., Яглом А. М., в кн.: Тр. 3-го Всесоюзного математического съезда, т. 3, М., 1958, с. 300-320; [2] Renуi A., Wahrschein-lichkeitsrechnung, В., 1962. Р. Л. Добрушин, В. В. Прелое.