Меню Главная Случайная статья Настройки Несмещённая оценка Материал из https://ru.wikipedia.org Несмещённая оценка в математической статистике — это точечная оценка, математическое ожидание которой равно оцениваемому параметру. Определение Пусть ${\displaystyle {\vec {x}}=\left(x_{1},\ldots ,x_{n}\right)}$ — выборка из распределения, зависящего от параметра ${\displaystyle \theta \in \Theta }$. Тогда оценка ${\displaystyle {\hat {\theta }}\equiv {\hat {\theta }}\left({\vec {x}}\right)}$ называется несмещённой, если ${\displaystyle \mathbb {E} \left[{\hat {\theta }}\right]=\theta ,\quad \forall \theta \in \Theta }$, где ${\displaystyle \mathbb {E} \left[X\right]}$ — математическое ожидание; ${\displaystyle \forall }$ — квантор всеобщности. В противном случае оценка называется смещённой, и случайная величина ${\displaystyle \mathbb {E} {\hat {\theta }}-\theta }$ называется её смещением. Примеры Выборочное среднее ${\displaystyle {\bar {X}}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}}$ является несмещённой оценкой математического ожидания ${\displaystyle X_{i}}$, так как если ${\displaystyle \mathbb {E} X_{i}=\mu <\infty }$, ${\displaystyle \forall i\in \mathbb {N} }$, то ${\displaystyle \mathbb {E} {\bar {X}}=\mu }$. Пусть независимые случайные величины ${\displaystyle X_{i}}$ имеют конечную дисперсию ${\displaystyle \mathrm {D} X_{i}=\sigma ^{2}}$. Построим оценки ${\displaystyle S_{n}^{2}={\frac {1}{n}}\sum \limits _{i=1}^{n}\left(X_{i}-{\bar {X}}\right)^{2}}$ — выборочная дисперсия, и ${\displaystyle S^{2}={\frac {1}{n-1}}\sum \limits _{i=1}^{n}\left(X_{i}-{\bar {X}}\right)^{2}}$ — исправленная выборочная дисперсия. Тогда ${\displaystyle S_{n}^{2}}$ является смещённой, а ${\displaystyle S^{2}}$ несмещённой оценками параметра ${\displaystyle \sigma ^{2}}$. Смещённость ${\displaystyle S_{n}^{2}}$ можно доказать следующим образом. Пусть ${\displaystyle \mu }$ и ${\displaystyle {\overline {X}}}$ — среднее и его оценка соответственно, тогда: ${\displaystyle \operatorname {E} [S_{n}^{2}]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}{\bigg ]}.}$ Добавив и отняв ${\displaystyle \mu }$, а затем сгрупировав слагаемые, получим: ${\displaystyle \operatorname {E} [S_{n}^{2}]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}{\big (}(X_{i}-\mu )-({\overline {X}}-\mu ){\big )}^{2}{\bigg ]}.}$ Возведём в квадрат и получим: ${\displaystyle \operatorname {E} [S_{n}^{2}]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-2({\overline {X}}-\mu ){\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )+{\frac {n}{n}}({\overline {X}}-\mu )^{2}{\bigg ]}.}$ Заметив, что ${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )={\overline {X}}-{\frac {1}{n}}(n\mu )}$, получим: ${\displaystyle \operatorname {E} [S_{n}^{2}]=\operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}-({\overline {X}}-\mu )^{2}{\bigg ]}.}$ Учитывая, что ${\displaystyle \operatorname {E} [a+b]=\operatorname {E} [a]+\operatorname {E} [b]}$ (свойство математического ожидания); ${\displaystyle \operatorname {E} {\bigg [}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}{\bigg ]}=\sigma ^{2}}$ — дисперсия; ${\displaystyle \operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}={\frac {1}{n}}\sigma ^{2}}$, т.к. ${\displaystyle \operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}=\operatorname {E} {\big [}{\big (}{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\mu ){\big )}^{2}{\big ]}=\operatorname {E} {\big [}{\frac {1}{n^{2}}}\sum _{i=1}^{n}(X_{i}-\mu )^{2}+{\frac {2}{n^{2}}}\sum _{i=1,j=1,i<j}^{n}(X_{i}-\mu )(X_{j}-\mu ){\big ]}}$, учитывая, что ${\displaystyle X_{i}}$ и ${\displaystyle X_{j}}$ независимые и ${\displaystyle \operatorname {E} {\big [}(X_{i}-\mu ){\big ]}=0}$, т.е. ${\displaystyle \operatorname {E} {\big [}\sum _{i=1,j=1,i<j}^{n}(X_{i}-\mu )(X_{j}-\mu ){\big ]}=\sum _{i=1,j=1,i<j}^{n}\operatorname {E} {\big [}(X_{i}-\mu ){\big ]}\operatorname {E} {\big [}(X_{j}-\mu ){\big ]}=0}$, получим: ${\displaystyle {\begin{aligned}\operatorname {E} [S_{n}^{2}]&=\sigma ^{2}-\operatorname {E} {\big [}({\overline {X}}-\mu )^{2}{\big ]}=\\&=\sigma ^{2}-{\frac {1}{n}}\sigma ^{2}=\\&={\frac {n-1}{n}}\sigma ^{2}<\sigma ^{2}.\end{aligned}}}$ Литература и некоторые ссылки M. G. Kendall. "The advanced theory of statistics (vol. I). Distribution theory (2nd edition)". Charles Griffin & Company Limited, 1945. M. G. Kendall and A. Stuart. "The advanced theory of statistics (vol. II). Inference and relationship (2nd edition)". Charles Griffin & Company Limited, 1967. A. Papoulis. Probability, random variables, and stochastic processes (3rd edition). McGrow-Hill Inc., 1991. G. Saporta. "Probabilits, analyse des donnes et statistiques". ditions Technip, Paris, 1990. J. F. Kenney and E. S. Keeping. Mathematics of Statistics. Part I & II. D. Van Nostrand Company, Inc., 1961, 1959. I. V. Blagouchine and E. Moreau: "Unbiased Adaptive Estimations of the Fourth-Order Cumulant for Real Random Zero-Mean Signal", IEEE Transactions on Signal Processing, vol. 57, no. 9, pp. 3330–3346, September 2009. An Illuminating Counterexample