Fandom

Scratchpad

Fac8 ms

219,332pages on
this wiki
Add New Page
Discuss this page0 Share

Вопросы к экзамену по математической статистике. Факультет прикладной математики и физики. 2007-2008 учебный год. Лектор - Панков Алексей Ростиславович.

Узнать о наборе формул и системе Вики подробнее можно по адресу [1]


Случайные векторы и их характеристики.

Случайный вектор

Случайным вектором x^n = \left\{ x_1, \ldots, x_n \right\} ^T называется упорядоченная совокупность из n случайных величин.

Математическое ожидание

M \left[x^n\right]=\left\{M\left[x_1\right],\ldots,M\left[x_n\right]\right\}

Ковариационная матрица

K_{x^{n}}=\left\{k_{ij}\right\}

k_{ij}=cov(x_i, x_j)=M \left[ x_i^o x_j^o \right]

x_i^o=x_i-M\left[x_i\right]

Ковариация характеризует степень линейной независимости между случайными величинами.

Корреляция

r_{ij}=\frac{k_{ij}}{\sqrt{D\left[x_i\right] D\left[x_j\right]}}

Свойства кореляции:

  1. |r_{ij}| \leqslant 1
  2. Если величины зависимы, то r_{ij}=0
  3. Если r_{ij}=0, то величины зависимы
  4. Если |r_{ij}|=1, то существует линейная зависимость, причём если r_{ij}=1, то a > 0, а если r_{ij}=-1, то a < 0

Матрица вторых начальных моментов

Матрицей вторых начальных моментов случайного вектора X^n называется неслучайная матрица \Gamma_X=\gamma_{ij}, где i,j=1,\ldots,n. \gamma_{ij}=M[X_i X_j].

Нетрудно показать, что ковариационная матрица K и матрица вторых моментов \Gamma связаны:

\Gamma_X=K_X+m_x m_x^T

Следствие: \Gamma_X = K_X, если M[X]=0, то есть X=X^o.

Замечание: A=a a^T, где a=\left\{ a_1 \ldots a_n \right\}.

a a^T=\begin{pmatrix}a_1 & \ldots & a_n\end{pmatrix} \times 
		      \begin{pmatrix}a_1 \\ \vdots \\ a_n\end{pmatrix} = 
			  \begin{pmatrix}
					a_1^2 & a_1 a_2 & \ldots \\
					a_2 a_1& \ddots & \vdots \\
					\ldots & \ldots & \ldots
			  \end{pmatrix}

Откуда \Gamma_X=M[X X^T]

Мы воспользовались следующим правилом: математическое ожидание вектора (матрицы) ~-- является вектором (матрицей) математического ожидания, составленным из математических ожиданий компонентов исходного веектора (матрицы):

		M[X]=M\left[\begin{pmatrix}x_1 \\ \vdots \\ x_n\end{pmatrix}\right]=\begin{pmatrix}M[x_1]\\ \vdots \\ M[x_n]\end{pmatrix}

Начальный и центральный моменты

Начальный момент k-го порядка \nu_k=M[X^k], где X \in \mathbb R^1. Математическое ожидение ~-- начальный момент первого порядка \nu_1=M[X].

Центральный момент k-го порядка \mu_k = M[{X^o}^k] = M[(X-\nu_1)^k]. Дисперсия ~-- центральный момент второго порядка \mu_2=D[X].

Failed to parse (unknown function\boxed): \boxed{\nu_2 = \mu_2 + \nu_1^2 \quad M[X^2]=D[X]+M[X]^2}


Автор: Никитин К.

Характеристические функции и их свойства.

Характеристическая функция

Определение: Характеристической функцией СВ называется комплекснозначная неслучайная функция Failed to parse (unknown function\boxed): \boxed{\Psi_X(\lambda)=M[e^{i \lambda X}] \mbox{ , где } i^2=-1, \lambda \in \mathbb R^1}


Замечание: e^{i \lambda x} = \cos \lambda x + i \sin \lambda x \Rightarrow \Psi_X(\lambda)=M[\cos \lambda X] + iM[\sin \lambda X]

Замечание: M[\varphi (x)]=\int\limits_{-\infty}^{+\infty}\varphi(x)\,dF_X(x) Если F_X(y)=\int\limits_{-\infty}^y f_X(x)\,dx, то M[\varphi(X)]=\int\limits_{-\infty}^{+\infty} \varphi(x) f_X(x)\,dx \Rightarrow M[\sin \lambda X]=\int\limits_{-\infty}^{+\infty} \sin \lambda x f_X(x)\,dx

Видно, что если f_X ~-- чётная функция, что интеграл равен 0, и характеристическая функция принимает действительные значения.

Свойства характеристической функции

  1. |\Psi_X(\lambda)| \leqslant 1, \quad \forall X, \forall \lambda
  2. \Psi_X(0)=1, то есть всякая случайная величина имеет характеристическую функцию
  3. Между плотностью вероятности и характеристической функцией есть связь:

\Psi_X(\lambda)=\int\limits_{-\infty}^{+\infty} e^{i \lambda x} f_X(x)\,dx ~-- преобразование Фурье для плотности вероятности. Тогда обратное преобразование Фурье выразит плотность вероятности через характеристическую функцию: f_X(x)=\frac {1}{2\pi}\int\limits_{-\infty}^{+\infty}e^{-i \lambda x} \Psi_X(\lambda)\,d\lambda

  1. Теорема: всякая характеристическая функция всегда определяет одну и только одну функцию распределения.

Следовательно, характеристическа функция исчерпывающим образом определяет распределение случайной величины.

  1. Между характеристической функцией и начальным моментом существует связь:

Failed to parse (unknown function\label): \label{MOMENT_VIA_PSI} \nu_k=\cfrac{\Psi_\lambda^{(k)}|_{\lambda=0}}{i^k} \mbox{, если } \exists \nu_k


  1. Характеристическую функцию можно представить и виде степенного ряда, используя формулу из свойства~\ref{MOMENT_VIA_PSI}:

\Psi_X(\lambda)=\sum\limits_{k=0}^{n} \frac{(i \lambda)^k}{k!}\nu_k + o(k)

Например, \Psi_X(\lambda)=1 + i \lambda m_x - \cfrac{\lambda^2}{2}\nu_2 + o(\lambda^2), или, если величина X центрирована (m_x=0), \Psi_X(\lambda)=1-\cfrac{\lambda^2}{2}D[X]+o(\lambda^2)

  1. \label{LIN} Свойство линейности: Y=aX+b. \Psi_X(\lambda) ~-- задана.

\Psi_Y(\lambda)=M[e^{i \lambda y}]=M[e^{i \lambda (ax+b)}]=e^{i \lambda b} M[e^{i \lambda a x}]=\left| \lambda a = t \right.=e^{i \lambda b}M[e^{itx}]=e^{i \lambda b}\Psi_X(t)=e^{i \lambda b} \Psi_X(\lambda a)

Failed to parse (unknown function\boxed): \boxed{\Psi_X(\lambda)=e^{i \lambda b}\Psi_X(\lambda a)}


Пример: характеристическая функция для гауссовского распределения

x\sim N(0,1). f_X(x)=\cfrac{1}{2\pi}e^{-\frac{x^2}{2}}

\Psi_X(\lambda)=M[e^{i \lambda x}]=\int\limits_{-\infty}^{+\infty}e^{i \lambda x} \frac{1}{2\pi}e^{-\frac{x^2}{2}}\,dx = \frac{1}{2\pi}\int\limits_{-\infty}^{+\infty}e^{i \lambda x - \frac{x^2}{2}}\,dx

Продифференцируем обе части по \lambda. Получим \cfrac{d\Psi_X(\lambda)}{d\lambda}=-\lambda\Psi_X{\lambda}. Решив данное дифференциальное уравнение с условием \Psi_X(0)=1, получим, что \Psi_X(\lambda)=e^{-\frac12\lambda^2}

Пусть Y\sim N(m_x,\delta_x^2). Тогда Y=\delta X + m_x, где X \sim N(0,1). Из свойства линейности~(\ref{LIN}) следует, что \Psi_Y(\lambda)=e^{i \lambda m_x - \frac12\lambda^2\delta_X^2}


Характеристическая функция случайного вектора

Пусть X=\left\{x_1, \ldots, x_n\right\}^T \in \mathbb R^n ~-- случайный вектор. \lambda = \left\{\lambda_1, \ldots, \lambda_n \right\}^T \in \mathbb R^n ~-- неслучайные векторы.

Определение: характеристической функцией СВ $X$ называется комплекснозначная функция вида

Failed to parse (unknown function\boxed): \boxed{\Psi_X(\lambda)=M[e^{i \lambda^T X}]}


Все основные свойства характеристической функции СВ совпадают со свойствами характеристической функции случайной величины. В частности:

  1. \Psi_X(0)=1
  2. |\Psi_X(\lambda)| \leqslant 1
  3. Всякий СВ имеет характеристическую функцию
  4. Если СВ X имеет функцию плотности вероятности, то f_X(x)=\cfrac{1}{(2\pi)^n}\int\limits_{\mathbb R^n}e^{-i \lambda^T x}\Psi_X(x)\,d\lambda.

И \Psi_X(\lambda)=\int\limits_{\mathbb R^n}e^{i \lambda^T x}f_X(x)\,dx=\int\limits_{\mathbb R^n}e^{i \lambda^T x}\,dF_X(x) Свойство линейности: A \in \mathbb R^{n\times n}, b \in \mathbb R^n ~-- неслучайные векторы. Тогда \Psi_Y(\lambda)=e^{i\lambda^Tb}\Psi_X(A^T\lambda)

Теорема: компоненты (x_1, \ldots, x_n) СВ X независимы тогда и только тогда, когда \Psi_X(\lambda)=\Psi_{X_1}(\lambda)\times\Psi_{X_2}(\lambda)\times\ldots\times\Psi_{X_n}(\lambda). Примечание: Необходимость следует из формулы умножения для независимых случайных величин, а достаточность из того, что характеристическая функция однозначно определяет функцию распределения.


Автор: Никитин К.

Гауссовский случайный вектор.

Гауссовский случайный вектор

Определение: СВ X называется гауссовским с параметрами (m_X, K_X), где m_x \in \mathbb R^n~-- неслучайный вектор, K_x \in \mathbb R^{n\times n}, и K_X \geqslant 0, если его характеристическая функция имеет вид \Psi_X(\lambda)=e^{i\lambda^T m_X - \frac 12 \lambda^T K_X \lambda}

Свойства гауссовского случайного вектора

  1. X\sim N(m_X,K_X)
  2. Используя связь между характерисчтической функцией и моментом можно доказать, что M[X]=m_X cov(X,X)=M[X^o {X^0}^T]=K_X
  3. K_X \geqslant 0, то есть неотрицательно определённая. Следовательно,
    • K_X=K_X^T (симметрична)
    • \forall \lambda \in \mathbb R^n \; \lambda^T K_X \lambda \geqslant 0
    • Так как матрица неотрицательно определена, то все её собственные значения вещественны и неотрицательны.K_X>0 \Leftrightarrow K_X \geqslant 0 \cap det(K_X)\ne0. Пусть $\{\gamma_i\}$ ~-- собственные значения $K_X$. Тогда \exists g_i \ne 0 \colon K_X g_i = \gamma_i g_i. det(K_X)=\prod\gamma_i. K_X > 0 \Leftrightarrow \{\gamma_i\}_{i=0}^n > 0 \Rightarrow det(K_X) > 0

Определение: гауссовский СВ называется невырожденным, если его ковариационная матрица положительно определена.

По формуле, связывающей вероятность и характеристическую функцию, можно вычислить его плотность вероятности:

f_X(x)=\frac {1}{[2\pi det(K_X)]^{\frac n2}} \, e^{-\frac 12 (x-m_X)^T K_X^{-1}(x-m_X)}

Примечание: так как в формуле для плотности вероятности присутствует $K_X^{-1}$, то ковариационная матрица должна быть обратима.

Линейное преобразование гауссовского вектора

Y=AX+B, X \sim N(m_X,K_X). Тогда Y так же является гауссовским вектором Y \sim N(Am_X+B,A K^T A^T)

Доказательство: \Psi_Y(\lambda) = e^{i \lambda^T B}\Psi_X(A^T\lambda)=e^{i \lambda^T (A m_X + B) - \frac 12 \lambda^T(A K_X A^T) \lambda}=e^{i \lambda^T m_Y - \frac 12 \lambda^T K_Y \lambda} = N(m_Y,K_Y)

То есть гауссовское распределение инвариантно относительно линейного преобразования.

Следствие: сумма компонент любого гауссовского вектора является гауссовской величиной. S=\sum\limits_{k=1}^{n} x_k = (e, X) = e^T X \mbox{, where } e^T=\{1,1,\ldots,1\}
S=AX \mbox{, where } e^T=A \Rightarrow S \sim N((e,m_Y),e^T K_X e)

Если компоненты гауссовского вектора некоррелированы, то S \sim N(\sum m_i, \sum D_i), где m_i=M[x_i], D_i=D[x_i]

Любая компонента гауссовского вектора имеет гауссовское распределение. Для доказательства нужно положить e=e_i=\{0,0,\ldots,1,0,\ldots,0\} в вышеприведённо доказательстве для суммы.

Так же доказывается, что любой подвектор гауссовского вектора ~-- гауссовский вектор.

Если гауссовские случайные величины независимы, то они образуют гауссовский вектор.

Если компоненты гауссовского вектора некоррелированны, то они независимы.

Доказательство: пусть K_X = diag\{k_1, k_2, \ldots, k_n\} \Rightarrow \Psi_X(\lambda) = e^{i \lambda^T m_X - \frac 12 \lambda^T K_X \lambda}
\prod e^{i \lambda^T m_k - \frac 12 \lambda^2 D_k} = \prod\limits_{k=1}^n \Psi_{Xk}(\lambda_k) \mbox{, where } \Psi_{Xk}(\lambda_k) \Rightarrow N(m_k, D_k)

Независимость следует по теореме о характеристических функциях случайного вектора.

Вывод: если две гауссовские величины образуют гауссовский вектор и некоррелированны, то они независимы.


Автор: Никитин К.

Оценивание гауссовского вектора. Теорема о нормальной корреляции.

Оценивание гауссовского вектора

Пусть вектор X \in \mathbb R^n ~-- оцениваемый вектор. Y \in \mathbb R^m ~-- наблюдаемый.

Определение: оценкой случайного вектора X по наблюдению Y называется любая случайная величина \hat X = \varphi(Y),\;\forall \varphi\colon \mathbb R^m \to \mathbb R^n Качетсво оценки \hat X зависит от выбора алгоритма обработки результатов наблюдений (\varphi) вектора Y.

Алгоритм \varphi тем лучше, чем ближе \hat X к X. Ошибкой оценки называется величина \Delta \hat X \triangleq \hat X - X. Оценка \Delta \hat X является случайной величиной, то есть от опыта к опыту она может меня значение.

Введём характеристику, описывающую ошибку в среднем.

Определение: среднеквадратичной погрешностью оценки \Delta \hat X называется величина \Delta=M\left[\|\hat X - X \|^2\right]=M\left[|\Delta \hat X|^2\right].

\Delta = M\left[\|\varphi(Y)-X\|^2\right]=g(\varphi),\qquad g\colon\varphi\to\mathbb R

Определение: оценка \hat X=\hat \varphi(Y) называется оптимальной по среднеквадратическому критерию, если M\left[\|\hat\varphi(Y)-X\|^2\right] \leqslant M\left[\|\varphi(Y)-X\|^2\right], то есть \Delta(\hat\varphi) \leqslant \Delta(\varphi)\;\forall \varphi \in \Phi.

Теорема: пусть M[X] < \infty. Тогда \hat\varphi(Y)=M[X|Y].

Теорема о нормальной корреляции

Теорема: пусть K_Y > 0. Условное распределение вектора X относительно Y является гауссовским с параметрами m_{X|Y} и K_{X|Y}, где

  • M[X|Y]=m_x + K_{XY} K_Y^{-1}(Y-m_Y)
  • K_{X|Y} = K_X - K_{XY}K_Y^{-1}K_{XY}^T

Для гауссовского вектора наилучшая оценка вычисляется по аналитическим функциям и линейна. При этом:

  • \Delta \hat X = m_{X|Y}
  • M[\hat X - X]=0
  • \Delta = tr[K_{X|Y}]


Автор: Никитин К.

Виды сходимости последовательностей СВ.

Автор: Никитин К.

Свойства сходимости почти наверное.

Автор: Никитин К.

Закон больших чисел Чебышева.

Автор: Никитин К.

Усиленный закон больших чисел Колмогорова.

Автор: Никитин К.

Сходимость по распределению.

Автор: Никитин К.

ЦПТ для одинаково распределённых слагаемых.

Автор: Никитин К.

ЦПТ для разнораспределённых слагаемых.

Автор: Никитин К.

Выборка и её характеристики.

Автор: Никитин К.

Стастистики -- определения, примеры.

Автор: Никитин К.

Точечные оценки и их свойства.

Автор: Никитин К.

Выборочные оценки среднего и дисперсии.

Автор: Никитин К.

Вариационый ряд выборки. Экстремальные статистики.

Частота случайного события и её свойства.

Выборочная функция распределения.

Выборочные моменты и их свойства.

Метод моментов.

Метод максимального правдоподобия.

Асимптотические свойства оценок максимального правдоподобия.

Регулярный статистический эксперимент. Неравенство Рао-Крамера.

Эффективность оценок по Рао-Крамеру.

Интервальные оценки. Асимптотические доверительный интервалы.

Интервальные оценки математического ожидания и дисперсии.

Модель гауссовской линейной регрессии.

МНК для гауссовской линейной регрессии.

Статистический свойства для МНК-оценок.

Проверка статистической гипотезы -- общий алгоритм.

Проверка гипотезы о математическом ожидании.

Проверка гипотезы о дисперсии.

Критерий согласия Пирсона для дискретной СВ.

Критерий согласия Пирсона для непрерывной СВ.

Ad blocker interference detected!


Wikia is a free-to-use site that makes money from advertising. We have a modified experience for viewers using ad blockers

Wikia is not accessible if you’ve made further modifications. Remove the custom ad blocker rule(s) and the page will load as expected.

Also on Fandom

Random wikia