Fandom

Scratchpad

Fac8 ms

215,915pages on
this wiki
Add New Page
Discuss this page0 Share

Ad blocker interference detected!


Wikia is a free-to-use site that makes money from advertising. We have a modified experience for viewers using ad blockers

Wikia is not accessible if you’ve made further modifications. Remove the custom ad blocker rule(s) and the page will load as expected.

Вопросы к экзамену по математической статистике. Факультет прикладной математики и физики. 2007-2008 учебный год. Лектор - Панков Алексей Ростиславович.

Узнать о наборе формул и системе Вики подробнее можно по адресу [1]


Случайные векторы и их характеристики.

Случайный вектор

Случайным вектором x^n = \left\{ x_1, \ldots, x_n \right\} ^T называется упорядоченная совокупность из n случайных величин.

Математическое ожидание

M \left[x^n\right]=\left\{M\left[x_1\right],\ldots,M\left[x_n\right]\right\}

Ковариационная матрица

K_{x^{n}}=\left\{k_{ij}\right\}

k_{ij}=cov(x_i, x_j)=M \left[ x_i^o x_j^o \right]

x_i^o=x_i-M\left[x_i\right]

Ковариация характеризует степень линейной независимости между случайными величинами.

Корреляция

r_{ij}=\frac{k_{ij}}{\sqrt{D\left[x_i\right] D\left[x_j\right]}}

Свойства кореляции:

  1. |r_{ij}| \leqslant 1
  2. Если величины зависимы, то r_{ij}=0
  3. Если r_{ij}=0, то величины зависимы
  4. Если |r_{ij}|=1, то существует линейная зависимость, причём если r_{ij}=1, то a > 0, а если r_{ij}=-1, то a < 0

Матрица вторых начальных моментов

Матрицей вторых начальных моментов случайного вектора X^n называется неслучайная матрица \Gamma_X=\gamma_{ij}, где i,j=1,\ldots,n. \gamma_{ij}=M[X_i X_j].

Нетрудно показать, что ковариационная матрица K и матрица вторых моментов \Gamma связаны:

\Gamma_X=K_X+m_x m_x^T

Следствие: \Gamma_X = K_X, если M[X]=0, то есть X=X^o.

Замечание: A=a a^T, где a=\left\{ a_1 \ldots a_n \right\}.

a a^T=\begin{pmatrix}a_1 & \ldots & a_n\end{pmatrix} \times 
		      \begin{pmatrix}a_1 \\ \vdots \\ a_n\end{pmatrix} = 
			  \begin{pmatrix}
					a_1^2 & a_1 a_2 & \ldots \\
					a_2 a_1& \ddots & \vdots \\
					\ldots & \ldots & \ldots
			  \end{pmatrix}

Откуда \Gamma_X=M[X X^T]

Мы воспользовались следующим правилом: математическое ожидание вектора (матрицы) ~-- является вектором (матрицей) математического ожидания, составленным из математических ожиданий компонентов исходного веектора (матрицы):

		M[X]=M\left[\begin{pmatrix}x_1 \\ \vdots \\ x_n\end{pmatrix}\right]=\begin{pmatrix}M[x_1]\\ \vdots \\ M[x_n]\end{pmatrix}

Начальный и центральный моменты

Начальный момент k-го порядка \nu_k=M[X^k], где X \in \mathbb R^1. Математическое ожидение ~-- начальный момент первого порядка \nu_1=M[X].

Центральный момент k-го порядка \mu_k = M[{X^o}^k] = M[(X-\nu_1)^k]. Дисперсия ~-- центральный момент второго порядка \mu_2=D[X].

Failed to parse (unknown function\boxed): \boxed{\nu_2 = \mu_2 + \nu_1^2 \quad M[X^2]=D[X]+M[X]^2}


Автор: Никитин К.

Характеристические функции и их свойства.

Характеристическая функция

Определение: Характеристической функцией СВ называется комплекснозначная неслучайная функция Failed to parse (unknown function\boxed): \boxed{\Psi_X(\lambda)=M[e^{i \lambda X}] \mbox{ , где } i^2=-1, \lambda \in \mathbb R^1}


Замечание: e^{i \lambda x} = \cos \lambda x + i \sin \lambda x \Rightarrow \Psi_X(\lambda)=M[\cos \lambda X] + iM[\sin \lambda X]

Замечание: M[\varphi (x)]=\int\limits_{-\infty}^{+\infty}\varphi(x)\,dF_X(x) Если F_X(y)=\int\limits_{-\infty}^y f_X(x)\,dx, то M[\varphi(X)]=\int\limits_{-\infty}^{+\infty} \varphi(x) f_X(x)\,dx \Rightarrow M[\sin \lambda X]=\int\limits_{-\infty}^{+\infty} \sin \lambda x f_X(x)\,dx

Видно, что если f_X ~-- чётная функция, что интеграл равен 0, и характеристическая функция принимает действительные значения.

Свойства характеристической функции

  1. |\Psi_X(\lambda)| \leqslant 1, \quad \forall X, \forall \lambda
  2. \Psi_X(0)=1, то есть всякая случайная величина имеет характеристическую функцию
  3. Между плотностью вероятности и характеристической функцией есть связь:

\Psi_X(\lambda)=\int\limits_{-\infty}^{+\infty} e^{i \lambda x} f_X(x)\,dx ~-- преобразование Фурье для плотности вероятности. Тогда обратное преобразование Фурье выразит плотность вероятности через характеристическую функцию: f_X(x)=\frac {1}{2\pi}\int\limits_{-\infty}^{+\infty}e^{-i \lambda x} \Psi_X(\lambda)\,d\lambda

  1. Теорема: всякая характеристическая функция всегда определяет одну и только одну функцию распределения.

Следовательно, характеристическа функция исчерпывающим образом определяет распределение случайной величины.

  1. Между характеристической функцией и начальным моментом существует связь:

Failed to parse (unknown function\label): \label{MOMENT_VIA_PSI} \nu_k=\cfrac{\Psi_\lambda^{(k)}|_{\lambda=0}}{i^k} \mbox{, если } \exists \nu_k


  1. Характеристическую функцию можно представить и виде степенного ряда, используя формулу из свойства~\ref{MOMENT_VIA_PSI}:

\Psi_X(\lambda)=\sum\limits_{k=0}^{n} \frac{(i \lambda)^k}{k!}\nu_k + o(k)

Например, \Psi_X(\lambda)=1 + i \lambda m_x - \cfrac{\lambda^2}{2}\nu_2 + o(\lambda^2), или, если величина X центрирована (m_x=0), \Psi_X(\lambda)=1-\cfrac{\lambda^2}{2}D[X]+o(\lambda^2)

  1. \label{LIN} Свойство линейности: Y=aX+b. \Psi_X(\lambda) ~-- задана.

\Psi_Y(\lambda)=M[e^{i \lambda y}]=M[e^{i \lambda (ax+b)}]=e^{i \lambda b} M[e^{i \lambda a x}]=\left| \lambda a = t \right.=e^{i \lambda b}M[e^{itx}]=e^{i \lambda b}\Psi_X(t)=e^{i \lambda b} \Psi_X(\lambda a)

Failed to parse (unknown function\boxed): \boxed{\Psi_X(\lambda)=e^{i \lambda b}\Psi_X(\lambda a)}


Пример: характеристическая функция для гауссовского распределения

x\sim N(0,1). f_X(x)=\cfrac{1}{2\pi}e^{-\frac{x^2}{2}}

\Psi_X(\lambda)=M[e^{i \lambda x}]=\int\limits_{-\infty}^{+\infty}e^{i \lambda x} \frac{1}{2\pi}e^{-\frac{x^2}{2}}\,dx = \frac{1}{2\pi}\int\limits_{-\infty}^{+\infty}e^{i \lambda x - \frac{x^2}{2}}\,dx

Продифференцируем обе части по \lambda. Получим \cfrac{d\Psi_X(\lambda)}{d\lambda}=-\lambda\Psi_X{\lambda}. Решив данное дифференциальное уравнение с условием \Psi_X(0)=1, получим, что \Psi_X(\lambda)=e^{-\frac12\lambda^2}

Пусть Y\sim N(m_x,\delta_x^2). Тогда Y=\delta X + m_x, где X \sim N(0,1). Из свойства линейности~(\ref{LIN}) следует, что \Psi_Y(\lambda)=e^{i \lambda m_x - \frac12\lambda^2\delta_X^2}


Характеристическая функция случайного вектора

Пусть X=\left\{x_1, \ldots, x_n\right\}^T \in \mathbb R^n ~-- случайный вектор. \lambda = \left\{\lambda_1, \ldots, \lambda_n \right\}^T \in \mathbb R^n ~-- неслучайные векторы.

Определение: характеристической функцией СВ $X$ называется комплекснозначная функция вида

Failed to parse (unknown function\boxed): \boxed{\Psi_X(\lambda)=M[e^{i \lambda^T X}]}


Все основные свойства характеристической функции СВ совпадают со свойствами характеристической функции случайной величины. В частности:

  1. \Psi_X(0)=1
  2. |\Psi_X(\lambda)| \leqslant 1
  3. Всякий СВ имеет характеристическую функцию
  4. Если СВ X имеет функцию плотности вероятности, то f_X(x)=\cfrac{1}{(2\pi)^n}\int\limits_{\mathbb R^n}e^{-i \lambda^T x}\Psi_X(x)\,d\lambda.

И \Psi_X(\lambda)=\int\limits_{\mathbb R^n}e^{i \lambda^T x}f_X(x)\,dx=\int\limits_{\mathbb R^n}e^{i \lambda^T x}\,dF_X(x) Свойство линейности: A \in \mathbb R^{n\times n}, b \in \mathbb R^n ~-- неслучайные векторы. Тогда \Psi_Y(\lambda)=e^{i\lambda^Tb}\Psi_X(A^T\lambda)

Теорема: компоненты (x_1, \ldots, x_n) СВ X независимы тогда и только тогда, когда \Psi_X(\lambda)=\Psi_{X_1}(\lambda)\times\Psi_{X_2}(\lambda)\times\ldots\times\Psi_{X_n}(\lambda). Примечание: Необходимость следует из формулы умножения для независимых случайных величин, а достаточность из того, что характеристическая функция однозначно определяет функцию распределения.


Автор: Никитин К.

Гауссовский случайный вектор.

Гауссовский случайный вектор

Определение: СВ X называется гауссовским с параметрами (m_X, K_X), где m_x \in \mathbb R^n~-- неслучайный вектор, K_x \in \mathbb R^{n\times n}, и K_X \geqslant 0, если его характеристическая функция имеет вид \Psi_X(\lambda)=e^{i\lambda^T m_X - \frac 12 \lambda^T K_X \lambda}

Свойства гауссовского случайного вектора

  1. X\sim N(m_X,K_X)
  2. Используя связь между характерисчтической функцией и моментом можно доказать, что M[X]=m_X cov(X,X)=M[X^o {X^0}^T]=K_X
  3. K_X \geqslant 0, то есть неотрицательно определённая. Следовательно,
    • K_X=K_X^T (симметрична)
    • \forall \lambda \in \mathbb R^n \; \lambda^T K_X \lambda \geqslant 0
    • Так как матрица неотрицательно определена, то все её собственные значения вещественны и неотрицательны.K_X>0 \Leftrightarrow K_X \geqslant 0 \cap det(K_X)\ne0. Пусть $\{\gamma_i\}$ ~-- собственные значения $K_X$. Тогда \exists g_i \ne 0 \colon K_X g_i = \gamma_i g_i. det(K_X)=\prod\gamma_i. K_X > 0 \Leftrightarrow \{\gamma_i\}_{i=0}^n > 0 \Rightarrow det(K_X) > 0

Определение: гауссовский СВ называется невырожденным, если его ковариационная матрица положительно определена.

По формуле, связывающей вероятность и характеристическую функцию, можно вычислить его плотность вероятности:

f_X(x)=\frac {1}{[2\pi det(K_X)]^{\frac n2}} \, e^{-\frac 12 (x-m_X)^T K_X^{-1}(x-m_X)}

Примечание: так как в формуле для плотности вероятности присутствует $K_X^{-1}$, то ковариационная матрица должна быть обратима.

Линейное преобразование гауссовского вектора

Y=AX+B, X \sim N(m_X,K_X). Тогда Y так же является гауссовским вектором Y \sim N(Am_X+B,A K^T A^T)

Доказательство: \Psi_Y(\lambda) = e^{i \lambda^T B}\Psi_X(A^T\lambda)=e^{i \lambda^T (A m_X + B) - \frac 12 \lambda^T(A K_X A^T) \lambda}=e^{i \lambda^T m_Y - \frac 12 \lambda^T K_Y \lambda} = N(m_Y,K_Y)

То есть гауссовское распределение инвариантно относительно линейного преобразования.

Следствие: сумма компонент любого гауссовского вектора является гауссовской величиной. S=\sum\limits_{k=1}^{n} x_k = (e, X) = e^T X \mbox{, where } e^T=\{1,1,\ldots,1\}
S=AX \mbox{, where } e^T=A \Rightarrow S \sim N((e,m_Y),e^T K_X e)

Если компоненты гауссовского вектора некоррелированы, то S \sim N(\sum m_i, \sum D_i), где m_i=M[x_i], D_i=D[x_i]

Любая компонента гауссовского вектора имеет гауссовское распределение. Для доказательства нужно положить e=e_i=\{0,0,\ldots,1,0,\ldots,0\} в вышеприведённо доказательстве для суммы.

Так же доказывается, что любой подвектор гауссовского вектора ~-- гауссовский вектор.

Если гауссовские случайные величины независимы, то они образуют гауссовский вектор.

Если компоненты гауссовского вектора некоррелированны, то они независимы.

Доказательство: пусть K_X = diag\{k_1, k_2, \ldots, k_n\} \Rightarrow \Psi_X(\lambda) = e^{i \lambda^T m_X - \frac 12 \lambda^T K_X \lambda}
\prod e^{i \lambda^T m_k - \frac 12 \lambda^2 D_k} = \prod\limits_{k=1}^n \Psi_{Xk}(\lambda_k) \mbox{, where } \Psi_{Xk}(\lambda_k) \Rightarrow N(m_k, D_k)

Независимость следует по теореме о характеристических функциях случайного вектора.

Вывод: если две гауссовские величины образуют гауссовский вектор и некоррелированны, то они независимы.


Автор: Никитин К.

Оценивание гауссовского вектора. Теорема о нормальной корреляции.

Оценивание гауссовского вектора

Пусть вектор X \in \mathbb R^n ~-- оцениваемый вектор. Y \in \mathbb R^m ~-- наблюдаемый.

Определение: оценкой случайного вектора X по наблюдению Y называется любая случайная величина \hat X = \varphi(Y),\;\forall \varphi\colon \mathbb R^m \to \mathbb R^n Качетсво оценки \hat X зависит от выбора алгоритма обработки результатов наблюдений (\varphi) вектора Y.

Алгоритм \varphi тем лучше, чем ближе \hat X к X. Ошибкой оценки называется величина \Delta \hat X \triangleq \hat X - X. Оценка \Delta \hat X является случайной величиной, то есть от опыта к опыту она может меня значение.

Введём характеристику, описывающую ошибку в среднем.

Определение: среднеквадратичной погрешностью оценки \Delta \hat X называется величина \Delta=M\left[\|\hat X - X \|^2\right]=M\left[|\Delta \hat X|^2\right].

\Delta = M\left[\|\varphi(Y)-X\|^2\right]=g(\varphi),\qquad g\colon\varphi\to\mathbb R

Определение: оценка \hat X=\hat \varphi(Y) называется оптимальной по среднеквадратическому критерию, если M\left[\|\hat\varphi(Y)-X\|^2\right] \leqslant M\left[\|\varphi(Y)-X\|^2\right], то есть \Delta(\hat\varphi) \leqslant \Delta(\varphi)\;\forall \varphi \in \Phi.

Теорема: пусть M[X] < \infty. Тогда \hat\varphi(Y)=M[X|Y].

Теорема о нормальной корреляции

Теорема: пусть K_Y > 0. Условное распределение вектора X относительно Y является гауссовским с параметрами m_{X|Y} и K_{X|Y}, где

  • M[X|Y]=m_x + K_{XY} K_Y^{-1}(Y-m_Y)
  • K_{X|Y} = K_X - K_{XY}K_Y^{-1}K_{XY}^T

Для гауссовского вектора наилучшая оценка вычисляется по аналитическим функциям и линейна. При этом:

  • \Delta \hat X = m_{X|Y}
  • M[\hat X - X]=0
  • \Delta = tr[K_{X|Y}]


Автор: Никитин К.

Виды сходимости последовательностей СВ.

Автор: Никитин К.

Свойства сходимости почти наверное.

Автор: Никитин К.

Закон больших чисел Чебышева.

Автор: Никитин К.

Усиленный закон больших чисел Колмогорова.

Автор: Никитин К.

Сходимость по распределению.

Автор: Никитин К.

ЦПТ для одинаково распределённых слагаемых.

Автор: Никитин К.

ЦПТ для разнораспределённых слагаемых.

Автор: Никитин К.

Выборка и её характеристики.

Автор: Никитин К.

Стастистики -- определения, примеры.

Автор: Никитин К.

Точечные оценки и их свойства.

Автор: Никитин К.

Выборочные оценки среднего и дисперсии.

Автор: Никитин К.

Вариационый ряд выборки. Экстремальные статистики.

Частота случайного события и её свойства.

Выборочная функция распределения.

Выборочные моменты и их свойства.

Метод моментов.

Метод максимального правдоподобия.

Асимптотические свойства оценок максимального правдоподобия.

Регулярный статистический эксперимент. Неравенство Рао-Крамера.

Эффективность оценок по Рао-Крамеру.

Интервальные оценки. Асимптотические доверительный интервалы.

Интервальные оценки математического ожидания и дисперсии.

Модель гауссовской линейной регрессии.

МНК для гауссовской линейной регрессии.

Статистический свойства для МНК-оценок.

Проверка статистической гипотезы -- общий алгоритм.

Проверка гипотезы о математическом ожидании.

Проверка гипотезы о дисперсии.

Критерий согласия Пирсона для дискретной СВ.

Критерий согласия Пирсона для непрерывной СВ.

Also on Fandom

Random wikia