Меню Главная Случайная статья Настройки Собственная информация Материал из https://ru.wikipedia.org Собственная информация — статистическая функция дискретной случайной величины. Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии. Для случайной величины ${\displaystyle X}$, имеющей конечное число значений: ${\displaystyle P_{X}(x_{i})=p_{i},\quad p_{i}\geqslant 0,i=1,2,\dots ,M,\quad \sum _{i=1}^{M}p_{i}=1}$ собственная информация определяется как ${\displaystyle I(x_{i})=-\log P_{X}(x_{i}).}$ Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли. Основание логарифма Единица измерения Количество информации о падении монеты «орлом» вверх 2 бит ${\displaystyle -\log _{2}(1/2)=\log _{2}2=1}$ бит e нат ${\displaystyle -\ln(1/2)=\ln 2\approx 0,69}$ ната 10 хартли ${\displaystyle -\log _{10}(1/2)=\log _{10}2\approx 0,30}$ хартли Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит. Свойства собственной информации Неотрицательность: ${\displaystyle I(x)\geqslant 0}$. ${\displaystyle I(x)=0}$ при ${\displaystyle p(x)=1}$, т. е. предопределённый факт никакой информации не несёт. Монотонность: ${\displaystyle I(x_{1})>I(x_{2})}$, если ${\displaystyle p(x_{1})<p(x_{2})}$. Аддитивность: для независимых ${\displaystyle x_{1},\dots ,x_{M}}$ справедливо ${\displaystyle I(x_{1},\dots ,x_{M})=\sum _{i=1}^{M}I(x_{i})}$. См. также Информационная энтропия Взаимная информация Литература Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3