Меню Главная Случайная статья Настройки Информация Фишера Материал из https://ru.wikipedia.org Информация Фишера — математическое ожидание квадрата относительной скорости изменения условной плотности вероятности ${\displaystyle p(x|\theta )}$[1]. Эта функция названа в честь описавшего её Рональда Фишера. Содержание 1 Определение 2 Матричная форма информации Фишера 3 Свойства 3.1 Сохранение информации достаточной статистикой 4 См. также 5 Примечания 6 Литература Определение Пусть ${\displaystyle f(\theta ,\;x_{1},\dots ,\,x_{n})}$ — плотность распределения для данной статистической модели. Тогда если определена функция ${\displaystyle I_{n}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{n})}{\partial \theta }}\right)^{2},\;L=\sum _{i=1}^{n}\ln f(\theta ,x_{i})}$, где ${\displaystyle L(\theta ,\;x_{1},\dots ,\,x_{n})}$ — логарифмическая функция правдоподобия, а ${\displaystyle \mathbb {E} _{\theta }}$ — математическое ожидание по ${\displaystyle x}$ при данном ${\displaystyle \theta }$, то она называется информацией Фишера для данной статистической модели при ${\displaystyle n}$ независимых испытаниях. Если ${\displaystyle \ln f(x;\theta )}$ дважды дифференцируем по ${\displaystyle \theta }$, и при определенных условиях регулярности, информацию Фишера можно переписать как [2] ${\displaystyle I_{n}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;X)}{\partial \theta }}\right)^{2}=-\mathbb {E} _{\theta }\left({\frac {\partial ^{2}L(\theta ,\;X)}{\partial \theta ^{2}}}\right)}$ Для регулярных моделей: ${\displaystyle \mathbb {E} _{\theta }\left({\frac {\partial L(\theta ,\;x_{1},\dots ,\,x_{n})}{\partial \theta }}\right)=0}$ (В этом и состоит определение регулярности). В этом случае, поскольку математическое ожидание функции вклада выборки равно нулю, выписанная величина равна её дисперсии. Фишеровским количеством информации, содержащемся в одном наблюдении называют: ${\displaystyle I_{i}(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x_{i})}{\partial \theta }}\right)^{2}}$. Для регулярных моделей все ${\displaystyle I_{i}(\theta )}$ равны между собой. Если выборка состоит из одного элемента, то информация Фишера записывается так: ${\displaystyle I(\theta )=\mathbb {E} _{\theta }\left({\frac {\partial \ln f(\theta ,\,x)}{\partial \theta }}\right)^{2}}$. Из условия регулярности, а также из того, что в случае независимости случайных величин дисперсия суммы равна сумме дисперсий, следует, что для ${\displaystyle n}$ независимых испытаний ${\displaystyle I_{n}(\theta )=nI(\theta )}$. Матричная форма информации Фишера Свойства Из указанного выше свойства дисперсий следует, что в случае независимости случайных величин ${\displaystyle \xi _{1}(\theta ,\,x),\dots ,\,\xi _{n}(\theta ,\,x)}$ (рассматриваемых в одной статистической модели) информация Фишера их суммы равна сумме информации Фишера каждой из них. Сохранение информации достаточной статистикой В общем случае, если ${\displaystyle T=t(X)}$ — статистика выборки X, то ${\displaystyle I_{T}(\theta )\leq I_{X}(\theta )}$ Причем равенство достигается тогда и только тогда, когда T является достаточной статистикой. Достаточная статистика содержит столько же информации Фишера, сколько и вся выборка X. Это может быть показано с помощью факторизационного критерия Неймана для достаточной статистики. Если статистика ${\displaystyle T(X)}$ достаточна для параметра ${\displaystyle \theta }$, то существуют функции g и h такие, что: ${\displaystyle f(X;\theta )=g(T(X),\theta )h(X)}$ Равенство информации следует из: ${\displaystyle {\frac {\partial }{\partial \theta }}\ln \left[f(X;\theta )\right]={\frac {\partial }{\partial \theta }}\ln \left[g(T(X);\theta )\right]}$ что следует из определения информации Фишера и независимости ${\displaystyle h(X)}$ от ${\displaystyle \theta }$. См. также Неравенство Крамера — Рао Информационное неравенство (математическая статистика) Другие меры, используемые в теории информации: Информационная энтропия Расстояние Кульбака — Лейблера Собственная информация Примечания Леман, 1991, с. 112. Lehmann, E. L.[англ.]; Casella, G. Theory of Point Estimation (неопр.). — 2nd ed. — Springer, 1998. — ISBN 0-387-98502-6. , eq. (2.5.16). Литература