Proba:Vecteurs gaussiens

De Ensiwiki
Aller à : navigation, rechercher


Wikicours.png Vecteurs gaussiens
Matière Proba 2
Chapitre 7
Promo 1A
Date 2007
Professeur O. François
Auteur L. Petit
PDF Le Post'IT

Définitions - Propositions

Soit X tel que E[X] = m, K_X = K (\det K_X > 0)

DéfinitionDéfinition
  1. X est gaussien si
    ^T a X = \sum_{k=1}^n a_k X_k \sim \mathcal N(m_a, \sigma_a^2), \qquad \forall a \neq 0
  2. X est gaussien si
    \Phi_X(t) = e^{i^Ttm - \frac{1}{2} ^Tt K t}
  3. X est gaussien si
    f_X(x) = \frac{1}{\sqrt{2\pi}^n} \frac{1}{\sqrt{\det K}} e^{-\frac{1}{2} ^T (x-m) K^{-1}(x-m)}


DéfinitionProposition
  1. Si X est gaussien, alors AX est gaussien (A \neq 0).
  2. Si X est gaussien, alors X_1, ... , X_n sont indépendantes si et seulement si K_X est diagonale.
DéfinitionProposition Si A est une matrice n\times n telle que A^tA = K_X et X \sim \mathcal N(0,\textrm{Id}). Alors Y = AX suit \mathcal N(0,K_X).
DéfinitionProposition

Si (X,Y) est un couple de loi \mathcal N(0,K) alors la loi conditionnelle de Y sachant X = x est \mathcal N(m_X,\sigma^2), où :

m_x = \frac{\textrm{cov}(X,Y)}{\sigma_X^2} x
\sigma^2 = \sigma_Y^2 - \frac{\textrm{cov}(X,Y)^2}{\sigma_X^2}

Exemples

Définition 1 Si a \in \mathbb{R}, a \neq 0, loi de aX ?

\Phi_{aX}(t) = E\left[ e^{i(ta)X} \right]
= \Phi_X(at)
= e^{iatm - \frac{1}{2} \sigma^2 (at)^2}
= e^{i(am)t - \frac{1}{2} (a\sigma)^2 t^2}

Donc aX suit \mathcal N(am,a^2 \sigma^2)

Définition 2 Déjà vu \Phi_X(t) = e^{itm - \frac{1}{2} t\sigma^2 t}

Définition 3

\forall x \in \mathbb{R}, \, f_X(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{1}{2} (x-m) \frac{1}{\sigma^2}(x-m)}

Déf 1 \Leftrightarrow Déf 2 Y = ^TaX = \sum_{k=1}^n a_k X_k


\Phi_Y(t) =  E\left[e^{ItY}\right] = E \left[ e^{i\sum_{k=1}^n \overbrace{a_k t}^{t_k} X_k}\right]
= \Phi_X(at)
= e^{i(^T am)t - \frac{1}{2} t^2 (^T aKa)}
= e^{im_a t - \frac{1}{2} t^2 \sigma_a^2}

Y suit \mathcal N(m_a,\sigma_a^2)

m_a = E[^TaX] = ^T am

\sigma_a^2 = \textrm{Var\,}(^Ta X) = ^T aK^T(^T a)

Prop 2 Si X est gaussien, Z = AX gaussien X=(X_1,X_2). Soit

\left\{ \begin{array}{l} Z_1 = X_1 + X_2 \\ Z_2 = X_1 - X_2 \end{array}\right.

Argument : a_1Z_1 + a_2Z_2 = ^T a Z suit \mathcal N(m_a , \sigma_a^2) ?

^T aZ = a_1 (X_1 + X_2) + a_2 (X_1 - X_2)
= (a_1+a_2) X_1 + (a_1 - a_2) X_2
= a_1' X_1 + a_2' X_2
= ^T a' X \textrm{\,suit\,la\,loi\,normale}
\Rightarrow Z \textrm{\,est\,gaussien}

E[Z] = (0,0)


K_Z = A K_X ^TA
= A^T A
= \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}
= \begin{pmatrix} 2 & 0 \\ 0 & 2 \end{pmatrix}

Prop 3 X gaussien (m = 0).

\Phi_X(t)  = e^{-\frac{1}{2} ^T t K t}

Si K est diagonale alors :

\Phi_X(t) = e^{-\frac{1}{2} \sum_{k=1}^n t_k^2 \sigma_k^2}
= \prod_{k=1}^n e^{-\frac{1}{2} \sigma_k^2 t_k^2}
= \prod_{k=1}^n \Phi_{X_k}(t)
\Leftrightarrow \textrm{les\,} X_k \textrm{\,sont\,independantes\,!}

Question ouverte (X,Y) couple gaussien.

E[X|Y] = E[X]
  1. X et Y indépendants ?
  2. Que se passe-t-il si (X,Y) n'est pas gaussien ?

Définitions 1 et 2 \Rightarrow 3 On suppose m=0. On invoque le résultat suivant : La matrice K_X est symétrique, donc il existe une base de v.p. orthogonaux. Dans cette base :

  1. La matrice s'écrit D = \begin{pmatrix} \lambda_1 & \cdots & 0 \\ \vdots & \ddots & \vdots \\ 0 & \cdots & \lambda_n \end{pmatrix}
  2. On a transformé X et Y = PX, donc les nouvelles coordonnées (Y_k) sont gaussiennes
  3. Les Y_k sont indépendants

Dans ces coordonnées :

f_Y(y_1,...,y_n) = \prod_{k=1}^n f_{Y_k}(y_k)
= \prod_{k=1}^n \frac{1}{\sqrt{2\pi \lambda_k}} e^{-\frac 12 \frac{y_k^2}{\lambda_k}}
= \frac{1}{(\sqrt{2\pi})^n} \frac{1}{\sqrt{\det K_X}} e^{-\frac 12 ^T y D^{-1} y}

Changement de variable y = Px, x = P^{-1} y= ^T P y

^T y D^{-1} y = ^T (Px) D^{-1} Px
= ^T x (P^{-1} D^{-1} P) x
= ^T x \underbrace{(P D ^T P)^{-1}}_{K_X^{-1}} x

JacP = \det P = 1.

Exemple : m = \begin{pmatrix} 0 \\ 0 \end{pmatrix}, K = \frac 12 \begin{pmatrix} 3 & -1 \\ -1 & 3 \end{pmatrix}

f(x,y) = \frac{1}{2\pi} \frac{1}{\sqrt{2}} \exp\left(-\frac 12 (3x^2 + 3y^2+2xy)\right)
= \frac{1}{2 \pi \sqrt 2} \exp\left( \frac 18 \left( (x-y)^2 + 2(x+y)^2\right)\right)
= \frac{1}{2 \pi \sqrt 2} \exp\left( - \frac{1}{8} (z^2 + 2t^2)\right)

Car K^{-1} = \frac 14 \begin{pmatrix} 3 & 1\\ 1 & 3\end{pmatrix}.

Vecteurs propres de K = \left\{\begin{array}{ll} \frac{1}{\sqrt{2}} (1,1) \\ \frac{1}{\sqrt 2} (-1,1)\end{array}\right..

Simulation On dispose d'un simulateur NORM qui retourne des v.a. indépendantes de loi \mathcal N(0,1).

Ex : \mathcal N((0,0),\textrm{Id}) \left\{ \begin{array}{ll} X & \leftarrow NORM \\ Y & \leftarrow NORM \end{array}\right.

Soit (U,V) le couple de loi \mathcal N(0,\textrm{Id}).

Les variances sont 1, 2. D = \begin{pmatrix} 1 & 0 \\ 0 & 2 \end{pmatrix}

  • Simuler \mathcal N(0,D).
    \left\{ \begin{array}{ll} U & \leftarrow NORM \\ V & \leftarrow \sqrt 2 NORM \end{array}\right.
  • \begin{pmatrix} X \\ Y \end{pmatrix} = P^{-1} \begin{pmatrix} U \\ V \end{pmatrix}

Démo de Prop 6

  1. Y est gaussien (def 1)
  2. E[Y] = AE[X] = 0

    K_Y = AK_X ^T A = A ^TA = K \Rightarrow Y suit \mathcal N(0,K)

K = \begin{pmatrix} \sigma_X^2  & c_{XY} \\ c_{XY} & \sigma_Y^2 \end{pmatrix}, \sigma_X^2 \sigma_Y^2 > c_{XY}

(U,V) suit \mathcal N(0,\textrm{Id}), \rho = \frac{c_{XY}}{\sigma_X \sigma_Y}.

\left\{ \begin{array}{l} X = \sigma_X U \\ Y = \sigma_Y (\rho U + \sqrt{1-\rho^2} V) \end{array} \right.

Et on a

\textrm{Var\,}(X) = \sigma_X^2 \textrm{Var\,}(U) = \sigma_X^2
\textrm{Var\,}(Y) = \sigma_Y^2 (\rho^2 + (1-\rho^2)) = \sigma_Y^2
\textrm{cov}\, (X,Y) = \textrm{cov} (\sigma_X U , \sigma_Y \rho U)
= \sigma_X \sigma_Y \rho = c_{XY}

Exemple : (Mai - 2006 - Q2)

K = \begin{pmatrix} 2 & -1 \\ -1 & 1\end{pmatrix}, (X,Y) suit \mathcal N(0,K).

  1. On cherche une combinaison X+aY indépendante de X=U. \begin{pmatrix} U \\ V \end{pmatrix} est gaussien donc on cherche a tel que :
    \textrm{cov} (U,V) = 0 = \textrm{Var\,}(X) + a \textrm{cov}(X,Y) \Rightarrow a = 2
  2. Simulation : \textrm{Var\,}(U) = 2, \textrm{Var\,}(V) = \textrm{Var\,}(X) + 4\textrm{Var\,}(Y) + 4 \textrm{cov}(X,Y) = 2
    \left\{ \begin{array}{ll} X = U \\ Y = \frac{V - U}{2} \end{array}\right. \textrm{\,avec\,} \left\{ \begin{array}{ll} U = \sqrt 2 NORM \\ V = \sqrt 2 NORM \end{array}\right.
  3. E[X|Y] = ? = m_Y

    X et X + 2Y sont indépendants !

    E[X+2Y|X] = E[X+2Y] = 0, et donc E[X|X] + 2 E[Y|X] = 0. Or E[X|X] = X

    E[Y|X] = -\frac 12 X = \frac{\textrm{cov}(X,Y)}{\sigma_X^2} X