Меню Главная Случайная статья Настройки Дифференциальная энтропия Материал из https://ru.wikipedia.org Дифференциальная энтропия (относительная энтропия[1], энтропия непрерывной случайной величины[1]) — обобщение понятия информационной энтропии для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника. Содержание 1 Формула дифференциальной энтропии 2 Условная дифференциальная энтропия 3 Примеры дифференциальных энтропий 4 Примечания 5 Литература Формула дифференциальной энтропии В случае одномерной случайной величины дифференциальная определяется по формуле: ${\displaystyle H(X)=-\int \limits _{-\infty }^{+\infty }{f(x)\log _{2}f(x)dx}}$ где ${\displaystyle f(x)}$ — плотность распределения случайной величины ${\displaystyle X}$[1]. Дифференциальная энтропия, в отличие от энтропии дискретной случайной величины, неинвариантна к преобразованию координат[2]. Дифференциальную энтропию можно определить как разность энтропий двух отличающих на бесконечно малую величину квантованных значений случайной величины, имеющей равномерное распределение на интервале, равном единице. Отсюда название энтропии — дифференциальная, то есть разностная[1]. Условная дифференциальная энтропия Условная дифференциальная энтропия для случайной величины ${\displaystyle X}$ при заданной случайной величине ${\displaystyle Y}$ определяется по формуле[3]: ${\displaystyle H(X|Y)=-\int \int \ {f_{XY}(x,y)\log _{2}f_{X}(x|y)}dxdy,}$ где ${\displaystyle f_{XY}(x,y)}$ — совместная плотность вероятности случайных величин ${\displaystyle X}$ и ${\displaystyle Y}$, ${\displaystyle f_{X}(x|y)}$ — условная плотность вероятности случайной величины ${\displaystyle X}$ при заданном значении случайной величины ${\displaystyle Y}$. Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами. Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника[4]: ${\displaystyle H({X|Y})\leq H(X)}$ (для независимых случайных величин — равенство) ${\displaystyle H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y)}$. Примеры дифференциальных энтропий Случайная величина ${\displaystyle X}$ имеет равномерное распределение на интервале ${\displaystyle [a,b]}$: ${\displaystyle f(x)=\left\{{\begin{matrix}{\dfrac {1}{b-a}},&x\in [a,b]\\0,&x\not \in [a,b]\end{matrix}}\right.}$ В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале ${\displaystyle [a,b]}$, равное ${\displaystyle H(X)=\log _{2}(b-a)}$[5]. Случайная величина ${\displaystyle X}$ имеет нормальное распределение на интервале ${\displaystyle (-\infty ,\infty )}$: ${\displaystyle f(x)={\frac {1}{{\sqrt {2\pi }}\sigma }}e^{-{\frac {1}{2}}\left({\frac {x-\mu }{\sigma }}\right)^{2}}}$. В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале ${\displaystyle (-\infty ,\infty )}$[6], равное ${\displaystyle H(X)=\log _{2}({\sqrt {2\pi e}}\sigma )}$[7]. Случайная величина ${\displaystyle X}$ имеет экспоненциальное распределение на интервале ${\displaystyle [0,\infty )}$: ${\displaystyle f_{X}(x)={\begin{cases}\lambda \,e^{-\lambda x},&x\geq 0,\\0,&x<0.\end{cases}}}$. В этом случае дифференциальная энтропия принимает максимальное значение среди всех распределений случайных величин, значения которых находятся в интервале ${\displaystyle [0,\infty )}$[6], равное ${\displaystyle H(X)=1-\log _{2}(\lambda )}$. Примечания 1 2 3 4 Тарасенко, 1963, с. 77. Колмогоров, 1987, с. 39—41. Тарасенко, 1963, с. 78. Тарасенко, 1963, с. 84. Тарасенко, 1963, с. 78—79. 1 2 Тарасенко, 1963, с. 86. Варгаузин В. А., Цикин И. А. Методы повышения энергетической и спектральной эффективности цифровой радиосвязи, 2013. — С. 31. Литература Вернер М. 8.1 Дифференциальная энтропия // Основы кодирования = Information und Codierung / пер. Д.К. Зигангирова. — ЗАО «РИЦ „Техносфера“», 2004. — С. 109—114. — (Мир программирования). — 3 000 экз. — ISBN 5-94836-019-9.