Меню Главная Случайная статья Настройки Ковариационная матрица Материал из https://ru.wikipedia.org Ковариационная матрица (или матрица ковариаций) в теории вероятностей — это матрица, составленная из попарных ковариаций элементов одного или двух случайных векторов. Ковариационная матрица случайного вектора — квадратная симметрическая неотрицательно определенная матрица, на диагонали которой располагаются дисперсии компонент вектора, а внедиагональные элементы — ковариации между компонентами. Ковариационная матрица случайного вектора является многомерным аналогом дисперсии случайной величины для случайных векторов. Матрица ковариаций двух случайных векторов — многомерный аналог ковариации между двумя случайными величинами. В случае нормально распределённого случайного вектора ковариационная матрица вместе с математическим ожиданием этого вектора полностью определяют его распределение (по аналогии с тем, что математическое ожидание и дисперсия нормально распределённой случайной величины полностью определяют её распределение) Содержание 1 Определения 2 Свойства матриц ковариации 3 Условная ковариационная матрица 4 Примечания Определения Пусть ${\displaystyle \mathbf {X} :\Omega \to \mathbb {R} ^{n}}$, ${\displaystyle \mathbf {Y} :\Omega \to \mathbb {R} ^{m}}$ — два случайных вектора размерности ${\displaystyle n}$ и ${\displaystyle m}$ соответственно. Пусть также случайные величины ${\displaystyle X_{i},Y_{j},\;i=1,\ldots ,n,\;j=1,\ldots ,m}$ имеют конечный второй момент (дисперсию), то есть ${\displaystyle X_{i},Y_{j}\in L^{2}}$. Тогда матрицей ковариации векторов ${\displaystyle \mathbf {X} ,\mathbf {Y} }$ называется ${\displaystyle \Sigma =\mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbb {E} \left[(\mathbf {X} -\mathbb {E} \mathbf {X} )(\mathbf {Y} -\mathbb {E} \mathbf {Y} )^{\top }\right],}$ то есть ${\displaystyle \Sigma =(\sigma _{ij}^{2})}$, где ${\displaystyle \sigma _{ij}^{2}=\mathrm {cov} (X_{i},Y_{j})\equiv \mathbb {E} \left[(X_{i}-\mathbb {E} X_{i})(Y_{j}-\mathbb {E} Y_{j})\right],\;i=1,\ldots ,n,\;j=1,\ldots ,m}$, ${\displaystyle \mathbb {E} }$ — математическое ожидание. Если ${\displaystyle \mathbf {X} \equiv \mathbf {Y} }$, то ${\displaystyle \Sigma }$ называется матрицей ковариации вектора ${\displaystyle \mathbf {X} }$ и обозначается ${\displaystyle \mathrm {cov} (\mathbf {X} )}$[1]. Такая матрица ковариации является обобщением дисперсии для многомерной случайной величины, а её след — скалярным выражением дисперсии многомерной случайной величины. В связи с этим используется также обозначение ${\displaystyle V(X)}$ — дисперсия случайного вектора. Собственные векторы и собственные числа этой матрицы позволяют оценить размеры и форму облака распределения такой случайной величины, аппроксимировав его эллипсоидом (или эллипсом в двумерном случае). Свойства матриц ковариации Сокращённая формула для вычисления матрицы ковариации: ${\displaystyle \mathrm {cov} (\mathbf {X} )=\mathbb {E} \left[\mathbf {X} \mathbf {X} ^{\top }\right]-\mathbb {E} [\mathbf {X} ]\cdot \mathbb {E} \left[\mathbf {X} ^{\top }\right]}$. Матрица ковариации случайного вектора неотрицательно определена[1]: ${\displaystyle \sum _{i,j=1}^{n}{\sigma _{ij}^{2}\lambda _{i}\lambda _{j}}\geq 0}$ для любых ${\displaystyle \lambda _{i}\in R}$. Смена масштаба: ${\displaystyle \mathrm {cov} \left(\mathbf {a} ^{\top }\mathbf {X} \right)=\mathbf {a} ^{\top }\mathrm {cov} (\mathbf {X} )\mathbf {a} ,\;\forall \mathbf {a} \in \mathbb {R} ^{n}}$. Если случайные векторы ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ некоррелированы (${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$), то ${\displaystyle \mathrm {cov} (\mathbf {X} +\mathbf {Y} )=\mathrm {cov} (\mathbf {X} )+\mathrm {cov} (\mathbf {Y} )}$. Матрица ковариации аффинного преобразования: ${\displaystyle \mathrm {cov} \left(\mathbf {A} \mathbf {X} +\mathbf {b} \right)=\mathbf {A} \mathrm {cov} (\mathbf {X} )\mathbf {A} ^{\top }}$, где ${\displaystyle \mathbf {A} }$ — произвольная матрица размера ${\displaystyle n\times n}$, а ${\displaystyle \mathbf {b} \in \mathbb {R} ^{n}}$. Перестановка аргументов: ${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathrm {cov} (\mathbf {Y} ,\mathbf {X} )^{\top }}$ Матрица ковариации аддитивна по каждому аргументу: ${\displaystyle \mathrm {cov} (\mathbf {X} _{1}+\mathbf {X} _{2},\mathbf {Y} )=\mathrm {cov} (\mathbf {X} _{1},\mathbf {Y} )+\mathrm {cov} (\mathbf {X} _{2},\mathbf {Y} )}$, ${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1}+\mathbf {Y} _{2})=\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{1})+\mathrm {cov} (\mathbf {X} ,\mathbf {Y} _{2})}$. Если ${\displaystyle \mathbf {X} }$ и ${\displaystyle \mathbf {Y} }$ независимы, то ${\displaystyle \mathrm {cov} (\mathbf {X} ,\mathbf {Y} )=\mathbf {0} }$. Условная ковариационная матрица Ковариационная матрица случайного вектора является характеристикой его распределения. В случае (многомерного) нормального распределения математическое ожидание вектора и его ковариационная матрица полностью определяют его распределение. Характеристиками условного распределения одного случайного вектора при условии заданного значения другого случайного вектора являются соответственно условное математическое ожидание (функция регрессии) и условная ковариационная матрица. Пусть случайные векторы ${\displaystyle X}$ и ${\displaystyle Y}$ имеют совместное нормальное распределение с математическими ожиданиями ${\displaystyle \mu _{X},\mu _{Y}}$, ковариационными матрицами ${\displaystyle V_{X},V_{Y}}$ и матрицей ковариаций ${\displaystyle C_{XY}}$. Это означает, что объединенный случайный вектор ${\displaystyle {\boldsymbol {Z}}={\begin{bmatrix}{\boldsymbol {X}}\\{\boldsymbol {Y}}\end{bmatrix}}}$ подчиняется многомерному нормальному распределению с вектором математического ожидания ${\displaystyle {\boldsymbol {\mu }}_{Z}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}}}$ и ковариационной матрицей, которую можно представить в виде следующей блочной матрицы: ${\displaystyle {\boldsymbol {V}}_{Z}={\begin{bmatrix}{\boldsymbol {V}}_{X}&{\boldsymbol {C}}_{XY}\\{\boldsymbol {C}}_{YX}&{\boldsymbol {V}}_{Y}\end{bmatrix}}}$, где ${\displaystyle C_{YX}=C_{XY}^{T}}$ Тогда случайный вектор ${\displaystyle Y}$ при заданном значении случайного вектора ${\displaystyle X}$ имеет нормальное распределение (условное) со следующим условным математическим ожиданием и условной ковариационной матрицей: ${\displaystyle E(Y|X=x)=\mu _{Y}+C_{YX}V_{X}^{-1}(x-\mu _{X}),\qquad V(Y|X=x)=V_{Y}-C_{YX}V_{X}^{-1}C_{XY}.}$ Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора ${\displaystyle Y}$ от заданного значения x случайного вектора ${\displaystyle X}$), причем матрица ${\displaystyle C_{XY}V^{-1}}$ — матрица коэффициентов регрессии. Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора ${\displaystyle Y}$ на вектор ${\displaystyle X}$. В случае если ${\displaystyle Y}$ — обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица — это условная дисперсия (по существу — случайной ошибки регрессии ${\displaystyle Y}$ на вектор ${\displaystyle X}$). Примечания 1 2 Ширяев А. Н. Глава 2, §8. Случайные величины II // Вероятность. — 4-е изд. — М.: МЦНМО, 2007. — Т. 1. — С. 331. — 552 с.