Cours

Objectifs du programme officiel :

Univers, événements, variables aléatoires

• Evénement élémentaire

• Système complet d'événements

• Evénements disjoints

• Variable aléatoire

Espaces probabilités finis

• Probabilité

• Distribution de probabilité

• Probabilité uniforme

• Probabilité de la réunion ou de la différence de deux événements, de l'événement contraire, croissance

Probabilité conditionnelle

• Formule des probabilités composées

• Formule des probabilités totales

• Formule de Bayes

Loi d'une variable aléatoire

• Variables uniformes, de Bernoulli, binomiales

• Loi conditionnelle sachant un événement

• Loi conjointe et lois marginales d'un couple de variables aléatoires

Indépendance

• Famille d'événements indépendants

• Variables aléatoires indépendantes

• Interprétation de la loi binomiale avec la loi de Bernoulli

• Lemme des coalitions

Espérance d'une variable aléatoire

• Linéarité, positivité, croissance, inégalité triangualire

• Espérance d'une variable constante, de Bernoulli, binomiale

• Formule de transfert

• Espérance d'un produit de variables aléatoires indépendantes

Variance, écart-type et covariance

• Variance et écart-type

• Variance de \(aX + b\)

• Variance d'une variable de Bernoulli, binomiale

• Covariance de deux variables aléatoires

• Variables aléatoires décorrélées

• Variance d'une somme, cas de variables décorrélées

Inégalités probabilistes

• Inégalité de Markov

• Inégalité de Bienaymé-Tchebychev

I. Probabilités sur un univers fini

Remarque

Dans tout ce chapitre on considère un ensemble fini \(\Omega\) que l'on appelle univers et qui sera l'ensemble des résultats possibles d'une expérience aléatoire, et un ensemble \(E\) que l'on appelle espace des valeurs et qui sera des valeurs possibles des variables aléatoires que l'on considérera.

A. Univers, événements et variables aléatoires

Définition : Evénement

Un événement \(A\) de l'univers \(\Omega\) est une partie de l'ensemble \(\Omega\).

Remarque

On parle de singletion si l'événement \(A\) est réduit à un élément de l'univers \(A = \{\omega\}\) pour \(\omega \in \Omega\). Dans ce cas on parle d'événement élémentaire.

Exemple

On considère l'expérience d'un lancer de dé à 6 faces et on note la valeur du dé. L'univers est alors \(\Omega = \{1,2,3,4,5,6\}\) et des événements sont par exemples \(\{1\}, \{1,2\}, \{2,3,5\}, \{2,4,6\}\).

Remarque

Il est également possible d'étudier une expérience aléatoire pouvant prendre un nombre infini d'issues.

Exemples

Exemple 1Exemple 2Exemple 3

La durée de vie d'une ampoule en jours est une expérience aléatoire avec \(\Omega = \mathbb{N}\).

La position d'une fléchette envoyée sur un cible circulaire d'un rayon de \(10\) cm avec \(\Omega = \{(x,y), \quad x^2 + y^2 \leq 10\}\).

Le cours d'un actif financier sur un intervalle de temps \([0,T]\) avec \(\Omega = (\mathbb{R}_+)^{[0,T]}\).

Définition : Evénements disjoints (ou incompatibles)

On considère des événements \(A_1, ..., A_k \in \mathcal{P}(\Omega)\). Alors on dit que les événements \(A_1, ..., A_k\) sont disjoints (ou incompatiables) deux à deux si

\[\forall i,j\in \{1, ..., k\}, \quad i\neq j \quad \Longrightarrow \quad A_i \cap A_j = \emptyset.\]

On dit également que les événements \(A_1, ..., A_k\) sont disjoints dans leur ensemble si

\[A_1 \cap ... \cap A_k = \emptyset.\]

Exemple

Si l'on reprend l'exemple de la fléchette alors les événements \(A = \{(x,y), \quad x^2 + y^2 \leq 5\}\) et \(B = \{(x,y), \quad 5 < x^2 + y^2 \leq 10\}\) sont deux événements disjoints.

Proposition

On considère des événements \(A_1, ..., A_k \in \mathcal{P}(\Omega)\). Si les événements \(A_1, ..., A_k\) sont disjoints deux à deux alors ils sont disjoints dans leur ensemble. Mais la réciproque n'est pas vérifiée.

Démonstration

Exemple

Définition : Système complet d'événements

On considère des événements \(A_1, ..., A_k \in \mathcal{P}(\Omega)\). Alors on dit que la famille \((A_1, ..., A_k)\) est un système complet d'événements si les événements \(A_1, ..., A_k\) sont disjoints et leur réunion recouvre l'univers \(\Omega\) :

\[\bigcup_{i = 1}^k A_i = \Omega.\]

Exemple

Toujours avec l'exemple de la fléchette, les parties du disque habituellement utilisées forment un système complet d'événements.

Définition : Variable aléatoire

Une variable aléatoire \(X\) est une application de l'univers \(\Omega\) dans l'ensemble des valeurs \(E\). SI de plus \(E = \mathbb{R}\) alors on parle de variable aléatoire réelle.

Exemple

On considère un lancer de deux dés et on note le résultat des deux dés. Alors \(\Omega = \{(i,j), \quad 1\leq i,j\leq 6\}\). On considère de plus la fonction \(X\) qui associe la somme des résultats :

\[\begin{array}{rcl} X : \Omega & \longrightarrow & \mathbb{R} \\ \omega = (i,j) & \longmapsto & i+j \end{array}.\]

Alors l'application \(X\) est une variable aléatoire réelle.

Remarque

Pour toute partie \(A\) de l'ensemble \(E\), on note \(\{X\in A\} = (X\in A) = X^{-1}(A) \subset \Omega\) l'image réciproque de la partie \(A\) par la variable \(X\).

Exemple

Avec l'exemple précédent l'événement \(\{X \in \{2,12\}\}\) correspond à un double 1 ou un double 6 au lancer de dés.

B. Espaces probabilisés finis

Définition : Probabilité

On considère une application \(\mathbb{P} : \mathcal{P}(\Omega) \longrightarrow [0,1]\). Alors on dit que l'application \(\mathbb{P}\) est une probabilité (ou mesure de probabilité) si \(\mathbb{P}(\Omega) = 1\) et pour tout \(A,B\in \mathcal{P}(\Omega)\) disjoints, \(\mathbb{P}(A\cup B) = \mathbb{P}(A) + \mathbb{P}(B)\). Dans ce cas on dit que le couple \((\Omega, \mathbb{P})\) est un espace probabilisé.

Exemples

Mesure de DiracProbabilité uniforme

On considère un événement élémentaire \(\omega \in \Omega\) et la fonction de dirac \(\delta_\omega : \mathcal{P}(\Omega) \longrightarrow [0,1]\) définie par

\[\forall A \in \mathcal{P}(\Omega), \quad \delta_\omega(A) = \begin{cases} 1 & si & \omega \in A \\ 0 & si & \omega \notin A \end{cases}.\]

Alors la fonction \(\delta_\Omega\) est une probabilité.

La fonction \(\mathbb{P} : \mathcal{P}(\Omega) \longrightarrow [0,1]\) définie par

\[\forall A \in \mathcal{P}(\Omega), \quad \mathbb{P}(A) = \dfrac{|A|}{|\Omega|}\]

est une probabilité appelée probabilité uniforme sur l'univers \(\Omega\). On retrouve alors la formulation "nombre de cas favorables/nombre de cas possibles".

Remarque

Pour toute variable aléatoire \(X\) sur l'univers \(\Omega\) et toute partie \(A\) de l'ensemble \(E\), on note

\[\mathbb{P}(X\in A) = \mathbb{P}(X^{-1}(A))\]

ou si \(A = \{x\}\),

\[\mathbb{P}(X = x) = \mathbb{P}(X^{-1}(\{x\})),\]

ou encore si \(E=\mathbb{R}\),

\[\mathbb{P}(X\leq x) = \mathbb{P}(X^{-1}(]-\infty,x])).\]

Exemples

Avec une mesure de DiracAvec une probabilité uniforme

On considère un lancer d'une pièce équilibré et on note \(0\) pour pile et \(1\) pour face. Alors \(\Omega = \{0,1\}\) et

\[\delta_0(\{0\}) = \delta_0(\{0,1\}) = 1, \quad \delta_0(\{1\}) = \delta_0 (\emptyset) = 0.\]

Toujours avec le lancer d'une pièce équilibré, nous avons pour \(\mathbb{P}\) la probabilité uniforme

\[\mathbb{P}(\emptyset) = 0, \quad \mathbb{P}(\{0\}) = \mathbb{P}(\{1\}) = \dfrac{1}{2}, \quad \mathbb{P}(\{0,1\}) = 1.\]

Proposition

On considère une application \(\mathbb{P} : \mathcal{P}(\Omega) \longrightarrow [0,1]\). Alors l'application \(\mathbb{P}\) est une probabilité si et seulement si \(\mathbb{P}(\Omega) = 1\) et pour toute famille \((A_1, ..., A_n) \in (\mathcal{P}(\Omega))^n\) deux à deux disjoints,

\[\mathbb{P}\left( \bigcup_{k=1}^n A_k \right) = \sum_{k=1}^n \mathbb{P}(A_k).\]

Démonstration

Corollaire : \(\sigma\)-additivité

On considère une application \(\mathbb{P} : \mathcal{P}(\Omega) \longrightarrow [0,1]\). Alors l'application \(\mathbb{P}\) est une probabilité si et seulemeent si \(\mathbb{P}(\Omega) = 1\) et pour toute suite d'événements \((A_n)_{n\in \mathbb{N}} \in (\mathcal{P}(\Omega))^\mathbb{N}\) deux à deux disjoints,

\[\mathbb{P}\left( \bigcup_{n\in \mathbb{N}} A_n \right) = \sum_{n=0}^{+\infty} \mathbb{P}(A_n).\]

Démonstration

• On suppose que \(\mathbb{P}(\Omega) = 1\) et pour toute suite d'événements \((A_n)_{n\in \mathbb{N}} \in (\mathcal{P}(\Omega))^\mathbb{N}\) deux à deux disjoints,

\[\mathbb{P}\left( \bigcup_{n\in \mathbb{N}} A_n \right) = \sum_{n=0}^{+\infty} \mathbb{P}(A_n).\]

Soit \(A,B\in \mathcal{P}(\Omega)\) disjoints. Alors on considère la suite d'événements \((A_n)_{n\in \mathbb{N}}\) définie par \(A_0 = A, A_1 = B\) et \(A_n = \emptyset\) pour tout entier \(n\geq 2\). Donc les \(A_n\) sont deux à deux disjoints, d'où

\[\mathbb{P}(A\cup B) = \mathbb{P}\left( \bigcup_{n\in \mathbb{N}} A_n \right) = \sum_{n=0}^{+\infty} \mathbb{P}(A_n) = \mathbb{P}(A) + \mathbb{P}(B).\]

• Réciproquement on suppose que l'application \(\mathbb{P}\) est une mesure de probabilité. Soit \((A_n)_{n\in \mathbb{N}}\) une suite d'événements deux à deux disjoints. Or l'univers \(\Omega\) est supposé fini, donc \(\mathcal{P}(\Omega)\) également. Donc la suite \((A_n)_{n\in \mathbb{N}}\) ne comporte qu'un nombre fini d'éléments distincts \(A_{n_1}, ..., A_{n_r}\), tous les autres \(A_n\) sont égaux à un \(A_{n_i}, 1\leq i\leq r\). De plus les \(A_n\) sont deux à deux disjoints, donc on peut montrer que tous les autres \(A_n\) sont égaux à \(\emptyset\). En effet pour \(n\in \mathbb{N} \backslash \{n_1, ..., n_r\}\), il existe \(i\in \{1, ..., r\}\) tel que \(A_n = A_{n_i}\) et par caractère deux à deux disjoints

\[\emptyset = A_n \cap A_{n_i} = A_n.\]

Par conséquent, en utilisant la proposition précédente,

\[\mathbb{P}\left( \bigcup_{n\in \mathbb{N}} A_n \right) = \mathbb{P}\left( \bigcup_{i=1}^r A_{n_i} \right) = \sum_{i=1}^r \mathbb{P}(A_{n_i}) = \sum_{n=0}^{+\infty} \mathbb{P}(A_n).\]

Remarque

Dans le cadre où l'univers \(\Omega\) n'est pas fini, il s'agit de la définition d'une mesure de probabilité.

Définition : Distribution de probabilités

On appelle distribution de probabilités sur l'ensemble \(\Omega\) toute famille d'éléments de \(\mathbb{R}_+\) indexée par l'ensemble \(\Omega\) et de somme 1 :

\[(p_e)_{\omega \in \Omega} \in \mathbb{R}_+^\Omega, \quad \sum_{\omega \in \Omega} p_\omega = 1.\]

Exemple

Proposition

On considère une probabilité \(\mathbb{P}\) sur l'univers \(\Omega\). Alors la probabilité \(\mathbb{P}\) est entièrement déterminée par la distribution de probabilités \((\mathbb{P}(\{\omega\}))_{\omega \in \Omega}\). Autrement dit une probabilité est déterminée par les probabilités des événements élémentaires.

Démonstration

Exemple

La probabilité \(\mathbb{P}\) est uniforme si la distribution de probabilités associée est \(\left( \dfrac{1}{|\Omega|} \right)_{\omega \in \Omega}\). Autrement dit

\[\forall A\in \mathcal{P}(\Omega), \quad \mathbb{P}(A) = \sum_{\omega \in \Omega} \dfrac{1}{|\Omega|} \mathbb{1}_{\{\omega \in A\}} = \sum_{\omega \in A} \dfrac{1}{|\Omega|}.\]

Remarque

Pour tout le reste du chapitre on considère une probabilité \(\mathbb{P}\) sur l'univers \(\Omega\).

Proposition

On considère deux parties \(A,B \in \mathcal{P}(\Omega)\). Alors :

• \(\mathbb{P}(A\backslash B) = \mathbb{P}(A) - \mathbb{P}(A\cap B).\)

• \(\mathbb{P}(A\cup B) = \mathbb{P}(A) + \mathbb{P}(B) - \mathbb{P}(A \cap B)\).

• \(\mathbb{P}(A^c) = 1 - \mathbb{P}(A).\) En particulier \(\mathbb{P}(\emptyset) = 0\).

• Si \(A\subset B\) alors \(\mathbb{P} (A) \leq \mathbb{P}(B)\).

Démonstration

Corollaire

On considère une famille \((A_1, ..., A_n) \in (\mathcal{P}(\Omega))^n\). Alors :

\[\mathbb{P}\left( \bigcup_{k=1}^n A_k \right) \leq \sum_{k=1}^n \mathbb{P}(A_k).\]

Démonstration

Théorème : Continuités croissantes et décroissantes

On considère une suite d'événements \((A_n)_{n\in \mathbb{N}} \in (\mathcal{P}(\Omega))^\mathbb{N}\).

• Si la suite \((A_n)_{n\in \mathbb{N}}\) est croissante (pour l'inclusion) alors

\[\lim_{n\to+\infty} \mathbb{P}(A_n) = \mathbb{P}\left( \bigcup_{n\in \mathbb{N}} A_n \right).\]

• Si la suite \((A_n)_{n\in \mathbb{N}}\) est décroissante (pour l'inclusion) alors

\[\lim_{n\to +\infty} \mathbb{P}(A_n) = \mathbb{P}\left( \bigcap_{n\in \mathbb{N}} A_n \right).\]

Démonstration

• On suppose que la suite \((A_n)_{n\in \mathbb{N}}\) est croissante (pour l'inclusion). On considère la suite d'événements \((B_n)_{n\in \mathbb{N}}\) définie par \(B_0 = A_0\) et \(B_n = A_n\backslash A_{n-1},n\in \mathbb{N}^*\). Alors les \(B_n\) sont deux à deux disjoints : soit \(m,n\in \mathbb{N}\) tels que \(m<n\), alors \(B_m \subset A_m \subset A_{m+1} \subset ... \subset A_{n-1}\) et \(B_n = A_n \backslash A_{n-1}\), d'où \(B_m \cap B_n = \emptyset\). De plus

\[\bigcup_{n\in \mathbb{N}} B_n = \bigcup_{n\in \mathbb{N}} A_n.\]

En effet la première inclusion est directe car \(B_n \subset A_n\) pour tout \(n\in \mathbb{N}\). Puis pour la seconde inclusion soit \(\omega \in \bigcup_{n\in \mathbb{N}} A_n\). Alors \(\{n \in \mathbb{N}, \omega \in A_n\}\) est un ensemble non vide minoré de \(\mathbb{N}\) donc admet un plus petit élément \(n_0\). Si \(n_0 = 0\) alors

\[\omega \in A_{n_0} = A_0 = B_0 \subset \bigcup_{n\in \mathbb{N}} B_n.\]

Et si \(n_0 > 0\) alors \(\omega \notin A_{n_0-1}\) et

\[\omega \in A_{n_0} = (A_{n_0} \backslash A_{n_0-1}) \cup (A_{n_0} \cap A_{n_0 - 1}) = B_{n_0} \cup A_{n_0-1},\]

d'où

\[\omega \in B_{n_0} \subset \bigcup_{n\in \mathbb{N}} B_n.\]

Nous avons donc montré la seconde inclusion. Par conséquent par \(\sigma\)-additivité

\[\mathbb{P} \left( \bigcup_{n\in \mathbb{N}} A_n \right) = \mathbb{P}\left( \bigcup_{n\in \mathbb{N}} B_n \right) = \lim_{N\to +\infty} \sum_{n=0}^N \mathbb{P}(B_n) = \lim_{N\to +\infty} \left(\sum_{n=1}^N (\mathbb{P}(A_n) - \mathbb{P}(A_{n-1})) + \mathbb{P}(A_0) \right) = \lim_{N\to +\infty} \mathbb{P}(A_N).\]

• On suppose que la suite \((A_n)_{n\in \mathbb{N}}\) est décroissante. Alors la suite \((A_n^c)_{n\in \mathbb{N}}\) est croissante : pour tout \(m,n \in \mathbb{N}\) tels que \(m<n\) nous avons

\[A_m^c = \Omega \backslash A_m \subset \Omega \backslash A_n = A_n^c.\]

Ainsi d'après ce qui précède

\[\mathbb{P}\left( \bigcap_{n\in \mathbb{N}} A_n \right) = 1 - \mathbb{P}\left( \left( \bigcap_{n\in \mathbb{N}} A_n \right)^c \right) = 1 - \mathbb{P}\left( \bigcup_{n\in \mathbb{N}} A_n^c \right) = 1 - \lim_{n\to +\infty} \mathbb{P}(A_n^c) = \lim_{n\to +\infty} \mathbb{P}(A_n).\]

Remarque

La première propriété signifie que les réunions partielles \(\bigcup_{k=0}^n A_k = A_n\) croîent vers la réunion et que leurs probabilités également. Nous avons la signification équivalente pour la seconde propriété.

C. Probabilités conditionnelles

Définition : Probabilité conditionnelle

On considère un événement \(B \in \mathcal{P}(\Omega)\) non négligeable \(\mathbb{P}(B) > 0\), et un événement \(A \in \mathcal{P}(\Omega)\). Alors la probabilité conditionnelle de l'événement \(A\) sachant l'événement \(B\) est le réel \(\mathbb{P}(A\mid B)\) défini par

\[\mathbb{P}(A\mid B) = \dfrac{\mathbb{P}(A\cap B)}{\mathbb{P}(B)}.\]

Exemple

On considère la probabilité uniforme \(\mathbb{P}\) sur un lancer de dé avec $\Omega = \(\{1, ..., 6\}\) et l'événement non négligeable \(B = \{1,3,5\}\). Alors

\[\mathbb{P}(\{1\} \mid B) = \dfrac{1}{3}, \quad \mathbb{P}(\{2\} \mid B) = 0, \quad \mathbb{P}(\{1,2,3\} \mid B) = \dfrac{2}{3}.\]

Remarque

On le note également \(\mathbb{P}_B(A)\).

Proposition

On considère un événement non négligeable \(B \in \mathcal{P}(\Omega)\). Alors l'application \(P_B : \mathcal{P}(\Omega) \longrightarrow [0,1]\) est une probabilité sur l'univers \(\Omega\).

Démonstration

Théorème : Formule des probabilités composées

On considère des événements \(A_1, ..., A_n \in \mathcal{P}(\Omega)\) tels que \(\mathbb{P}(A_1 \cap ... \cap A_n) > 0\). Alors

\[\mathbb{P}(A_1 \cap ... \cap A_n) = \mathbb{P}(A_1) \mathbb{P}(A_2 \mid A_1) \mathbb{P}(A_3 \mid A_1 \cap A_2) ... \mathbb{P}(A_n \mid A_1 \cap ... \cap A_{n-1}).\]

Démonstration

Nous montrons cette propriété par récurrence sur \(n\in \mathbb{N}^*\) :

• Pour \(n = 1\) nous avons directement la propriété.

• On suppose le résultat vrai au rang \(n \in \mathbb{N}^*\) et montrons la propriété au rang \(n+1\). Soit \(A_1, ..., A_{n+1} \in \mathbb{P}(\Omega)\) tels que \(\mathbb{P}(A_1 \cap ... \cap A_{n+1}) > 0\). Alors, comme \(A_1 \cap ... \cap A_{n+1} \subset A_1 \cap ... \cap A_n\),

\[0 < \mathbb{P}(A_1 \cap ... \cap A_{n+1}) \leq \mathbb{P}(A_1 \cap ... \cap A_n).\]

Donc par hypothèse de récurrence

\[\mathbb{P}(A_1 \cap ... \cap A_n) = \mathbb{P}(A_1) \mathbb{P}(A_2 \mid A_1) \mathbb{P}(A_3 \mid A_1 \cap A_2) ... \mathbb{P}(A_n \mid A_1 \cap ... \cap A_{n-1}).\]

Puis

\[\mathbb{P}(A_1 \cap ... \cap A_{n+1}) = \mathbb{P}(A_1 \cap ... \cap A_n) \mathbb{P}(A_{n+1} \mid A_1 \cap ... \cap A_n) = \mathbb{P}(A_1) \mathbb{P}(A_2 \mid A_1) \mathbb{P}(A_3 \mid A_1 \cap A_2) ... \mathbb{P}(A_n \mid A_1 \cap ... \cap A_{n-1}) \mathbb{P}(A_{n+1} \mid A_1 \cap ... \cap A_n).\]

Le principe de récurrence permet de conclure.

Théorème : Formule des probabilités totales

On considère un système complet d'événements \((A_1, ..., A_n)\) de l'univers \(\Omega\) et un événement \(B \in \mathcal{P}(\Omega)\). Alors

\[\mathbb{P}(B) = \sum_{k=1}^n \mathbb{P}(A_k \cap B) = \sum_{k=1}^n \mathbb{P}_{A_k}(B) \mathbb{P}(A_k).\]

Démonstration

Théorème : Formule de Bayes

On considère un système complet d'événements \((A_1, ..., A_n)\) de l'univers \(\Omega\) et un événement non négligeable \(B \in \mathcal{P}(\Omega)\). Alors, pour tout \(k\in \{1, ..., n\}\)

\[\mathbb{P}_B(A_k)= \dfrac{\mathbb{P}_{A_k}(B) \mathbb{P}(A_k)}{\mathbb{P}(B)} = \dfrac{\mathbb{P}_{A_k}(B) \mathbb{P}(A_k)}{\sum_{i=1}^n \mathbb{P}_{A_i}(B) \mathbb{P}(A_i)}.\]

Démonstration

Corollaire

On considère deux événements non négligables \(A,B\in \mathcal{P}(\Omega)\) tels que \(\mathbb{P}(A^c) > 0\). Alors

\[\mathbb{P}_B(A) = \dfrac{\mathbb{P}_A(B) \mathbb{P}(A)}{\mathbb{P}(B)} = \dfrac{\mathbb{P}_A(B) \mathbb{P}(A)}{\mathbb{P}_A(B) \mathbb{P}(A) + \mathbb{P}_{A^c}(B) \mathbb{P}(A^c)}.\]

Démonstration

Exemple

Un individu est tiré au hasard uniformément dans une population où l’on trouve une proportion \(10^{-4}\) de séropositifs. On lui fait passer un test de détection de la séropositivité. Par ailleurs la probabilité d’avoir un résultat positif lors du test si l’individu est séropositif est \(0,99\) et que celle d’avoir un résultat positif si l’individu n’est pas séropositif est de \(0,001\). Alors, sachant que le test de l'individu tiré au hasard donne un résultat positif (événement noté \(B\)), la probabilité que l'individu soit séropositif (événement noté \(A\)) est donnée par \(\mathbb{P}(A\mid B) \simeq 0,09\) ce qui est plutôt faible par rapport à l'intuition.

D. Loi d'une variable aléatoire

Remarque

Dans tout le reste de ce chapitre, on considère une variable aléatoire \(X\) sur l'univers \(\Omega\) à valeurs dans l'espace des états \(E\).

Définition : Loi d'une variable aléatoire

La loi de la variable aléatoire \(X\) est l'application \(\mathbb{P}_X : \mathcal{P}(E) \longrightarrow [0,1]\) définie par

\[\forall A \in \mathcal{P}(E), \quad \mathbb{P}_X(A) = \mathbb{P}(X\in A).\]

Exemple

On considère un événement \(A \in \mathcal{P}(\Omega)\). Alors la fonction indicatrice \(\mathbb{1}_A\) est une variable aléatoire à valeurs dans \(\{0,1\}\) dont la loi est donnée par

\[\mathbb{P}_{\mathbb{1}_A} = \mathbb{P}(A)\delta_1 + (1-\mathbb{P}(A))\delta_0.\]

En particulier \(\mathbb{P}_{\mathbb{1}_A}(\{1\}) = \mathbb{P}(A)\).

Remarque

Une variable aléatoire permet donc d'obtenir une mesure de probabilité sur un ensemble différent.

Proposition

La loi \(\mathbb{P}_X\) est une probabilité sur l'ensemble \(E\) dont la distribution de probabilités est \((\mathbb{P}(X= x))_{x\in E}\).

Démonstration

Exemple

Avec l'exemple du lancer de deux dés que l'on suppose équilibrés, loi \(\mathbb{P}_X\) de la variable aléatoire \(X\) donnée par la somme des résultats est définie sur \(\mathbb{P}(\{2, ..., 12\})\) avec par exemple

\[\mathbb{P}_X(\{2\}) = \dfrac{1}{36}, \quad \mathbb{P}_X(\{7\}) = \dfrac{6}{36} = \dfrac{1}{6}, \quad \mathbb{P}_X(\{10\}) = \dfrac{3}{36} = \dfrac{1}{12}.\]

Remarque

On dit que deux variables aléatoires \(X\) et \(Y\) ont la même loi si \(\mathbb{P}_X = \mathbb{P}_Y\) ce que l'on note \(X\sim Y\).

Proposition

On considère une application \(f : E \longrightarrow F\) avec \(F\) un ensemble fini. Alors l'application \(f(X) = f\circ X\) est une variable aléatoire sur l'univers \(\Omega\) à valeurs dans l'ensemble \(F\).

Démonstration

Proposition

On considère une application \(f : E \longrightarrow F\) avec \(F\) un ensemble fini et une autre variable aléatoire \(Y\) sur l'univers \(\Omega\) à valeurs dans l'espace d'état \(E\). Si \(X\sim Y\) alors \(f(X) \sim f(Y)\).

Démonstration

Définition : Variables aléatoires uniforme, de Bernoulli, binomiale

• On dit que la variable aléatoire \(X\) suit la loi uniforme sur un ensemble non vide fini \(E\) si

\[\mathbb{P}_X = \sum_{x\in E} \dfrac{1}{|E|} \delta_x\]

Dans ce cas on le note \(X \sim \mathcal{U}(E)\).

• On dit que la variable aléatoire \(X\) suit une loi de Bernouilli de paramètre \(p \in [0,1]\) si

\[E = \{0, 1\}, \quad \mathbb{P}_X = p \delta_1 + (1-p) \delta_0.\]

Dans ce cas on le note \(X\sim \mathcal{B}(p)\).

• On dit que la variable aléatoire \(X\) suit une loi binomiale de paramètres \((n,p) \in \mathbb{N}^* \times [0,1]\) si

\[E = \{0,..., n\}, \quad \mathbb{P}_X = \sum_{k=0}^n \binom{n}{k} p^k (1-p)^{n-k} \delta_k.\]

Dans ce cas on le note \(X \sim \mathcal{B}(n,p)\).

Remarque

Une variable aléatoire de Bernouilli correspond à un succès ou un échec d'un événement.

Définition : Loi conditionnelle

On considère un événement non négligeable \(A \in \mathcal{P}(E)\). Alors la loi conditionnelle de la variable aléatoire \(X\) sachant l'événement \(A\) est l'application \(\mathbb{P}_X(\cdot \mid A)\) définie par

\[\forall B\in \mathcal{P}(E), \quad \mathbb{P}_X(B\mid A) = \dfrac{\mathbb{P}_X(A\cap B)}{\mathbb{P}_X(A)}.\]

Exemple

Proposition

On considère un événement non négligeable \(A \in \mathcal{P}(E)\). Alors la loi conditionnelle \(\mathbb{P}_X(\cdot \mid A)\) est une probabilité sur l'univers \(E\)

Démonstration

Exemple

Proposition

On considère une autre variable aléatoire \(Y\) sur l'univers \(\Omega\) à valeurs dans un espace d'état \(F\). Alors le couple \((X,Y)\) est une variable aléatoire sur l'univers \(\Omega\) à valeurs dans l'ensemble \(E\times F\).

Démonstration

Exemple

Remarque

Pour tout \((x,y)\in E\times F\), on note \(\mathbb{P}(X=x, Y = y) = \mathbb{P}((X,Y)^{-1}((x,y)))\).

Définition : Loi conjointe, lois marginales

On considère un couple de variables aléatoires \((X,Y)\) sur l'univers \(\Omega\) à valeurs dans un espace produit \(E\times F\). La loi conjointe de la variable \((X,Y)\) est la loi de la variable aléatoire et les lois marginales sont les lois des variables \(X\) et \(Y\). On dit que la loi de la variable \(X\) est la première loi marginale et celle de \(Y\) la seconde loi marginale.

Exemple

Proposition

On considère un couple de variables aléatoires \((X,Y)\) sur l'univers \(\Omega\) à valeurs dans un espace produit \(E \times F\). Alors la première loi marginale \(\mathbb{P}_X\) de la variable aléatoire \(X\) est donnée par

\[\forall A\in \mathcal{P}(E), \quad \mathbb{P}_X(A) = \sum_{y\in Y(\Omega)} \mathbb{P}(X \in A, Y = y) = \sum_{y\in Y(\Omega)} \mathbb{P}(Y = y) \mathbb{P}_X(A \mid Y= y).\]

Nous avons l'égalité similaire pour la seconde loi marginale \(\mathbb{P}_Y\).

Démonstration

Remarque

La connaissance de la loi conjointe suffit à déterminer les lois marginales mais la connaissance de ces dernières ne suffit pas à déterminer la loi conjointe.

Exemple

On considère une urne avec 3 boules blanches et 4 boules noires. On note \(0\) l'état blanc et \(1\) l'état noir.

• On tire aléatoirement une première boule dont on note \(X\) sa couleur. On la remet puis on retire une boule et on note \(Y\) sa couleur. Alors l'univers \(\Omega\) des tirages possibles est \(\{1, ..., 7\}^2\) de cardinal \(|\Omega| = 49\). Puis comme la probabilité est uniforme nous avons la loi conjointe de \((X,Y)\)

\[\mathbb{P}(X = 0,Y=0) = \dfrac{9}{49}, \quad \mathbb{P}(X = 0, Y = 1) = \dfrac{12}{49} = \mathbb{P}(X = 1,Y=0), \quad \mathbb{P}(X = 1, Y = 1) = \dfrac{16}{49}.\]

De même nous avons les lois marginales

\[\mathbb{P}(X = 0) = \mathbb{P}(Y = 0) = \dfrac{3}{7}, \quad \mathbb{P}(X = 1) = \mathbb{P}(Y = 1) = \dfrac{4}{7}.\]

• On tire aléatoirement une première boule qu'on ne remet pas dont on note \(X\) sa couleur. Puis on tire une seconde boule et on note \(Y\) sa couleur. Alors la loi conjointe de \((X,Y)\) est donnée par :

\[\mathbb{P}(X = 0,Y=0) = \mathbb{P}(X = 0) \mathbb{P}(Y = 0\mid X = 0) = \dfrac{3}{7} \times \dfrac{2}{6} = \dfrac{1}{7}, \quad \mathbb{P}(X = 0, Y = 1) = \mathbb{P}(X = 0) \mathbb{P}(Y = 1 \mid X = 0) = \dfrac{3}{7} \times \dfrac{4}{6} = \dfrac{2}{7},\]

\[\mathbb{P}(X = 1, Y = 0) = \mathbb{P}(X = 1) \mathbb{P}(Y = 0 \mid X = 1) = \dfrac{4}{7} \times \dfrac{1}{2} = \dfrac{2}{7}, \quad \mathbb{P}(X = 1, Y= 1) = \mathbb{P}(X=1) \mathbb{P}(Y = 1 \mid X = 1) = \dfrac{4}{7} \times \dfrac{1}{2} = \dfrac{2}{7}.\]

La première loi marginale est comme précédemment

\[\mathbb{P}(X = 0) = \dfrac{3}{7}, \quad \mathbb{P}(X = 1) = \dfrac{4}{7}.\]

Puis pour la seconde loi marginale d'après la proposition précédente

\[\mathbb{P}(Y = 0) = \mathbb{P}(X = 0, Y= 0) + \mathbb{P}(X = 1, Y=0) = \dfrac{3}{7}, \quad \mathbb{P}(Y = 1) = \mathbb{P}(X = 0, Y = 1) + \mathbb{P}(X = 1,Y = 1) = \dfrac{4}{7}.\]

• On remarque alors que les lois conjointes sont les mêmes mais pas les lois marginales.

Remarque

On peut également considérer un couple de \(n\)-variables aléatoires \((X_1, ..., X_n)\) et obtenir les résultats similaires.

Exemple

E. Evénements indépendants

Définition : Evénements indépendants

On considère deux événements \(A,B\in \mathcal{P}(\Omega)\). Alors on dit que les événements \(A\) et \(B\) sont indépendants si

\[\mathbb{P}(A\cap B) = \mathbb{P}(A) \mathbb{P}(B).\]

Exemples

Evénements indépendantsEvénements non indépendants

On considère trois lancers de dé. Alors les résultats obtenus forment des événements indépendants.

Si \(A\) et \(B\) sont deux événements disjoints non négligeables alors ils ne sont pas indépendants :

\[\mathbb{P}(A\cap B) = \mathbb{P}(\emptyset) = 0 < \mathbb{P}(A) \mathbb{P}(B).\]

Remarque

Si de plus l'événement \(B\) est non négligeable alors les événements \(A\) et \(B\) sont indépendants si et seulement si

\[\mathbb{P}(A\mid B) = \mathbb{P}(A).\]

Remarque

Il ne faut pas confondre disjoints et indépendants. La notion d'événements disjoints est ensembliste alors que la notion d'événements indépendants est probabiliste : elle dépend totalement de la mesure de probabilité considérée.

Exemple

On considère un tirage dans un jeu de 52 cartes numérotées en commençant par les piques et les événements \(A = \{1,14,27,40\}\) la carte tirée est un as et \(B = \{1, ..., 13\}\) la carte tirée est un pique. Si le jeu n'est pas truqué alors il s'agit de la probabilité uniforme \(\mathbb{P}\) et les événements \(A\) et \(B\) sont indépendants :

\[\mathbb{P}(A\cap B) = \dfrac{1}{52} = \dfrac{1}{1}{4} \dfrac{1}{13} = \mathbb{P}(A) \mathbb{P}(B).\]

Mais si le jeu est truqué avec la mesure de probabilité

\[\mathbb{Q} = \dfrac{1}{2} \delta_1 + \dfrac{1}{102} \sum_{k\in \{2, ..., 52\}} \delta_k,\]

alors les événements \(A\) et \(B\) ne sont pas indépendants :

\[\mathbb{Q}(A\cap B) = \dfrac{1}{2} \neq \left(\dfrac{1}{2} + \dfrac{3}{102}\right) \left( \dfrac{1}{2} + \dfrac{12}{102} \right) = \mathbb{Q}(A) \mathbb{Q}(B).\]

Définition : Famille d'événements indépendants

On considère des événements \(A_1, ..., A_n \in\mathcal{P}(\Omega)\). Alors on dit que les événements \(A_1, ..., A_n\) sont :

• mutuellement indépendants si pour tout \(j_1, ..., j_p \in \{1, ..., n\}\) distincts,

\[\mathbb{P}(A_{j_1} \cap ... \cap A_{j_p}) = \mathbb{P}(A_{j_1}) ... \mathbb{P}(A_{j_p}),\]

• deux à deux indépendants si pour tout \(i,j\in \{1, ..., n\}\) distincts,

\[\mathbb{P}(A_i \cap A_j) = \mathbb{P}(A_i) \mathbb{P}(A_j).\]

Proposition

On considère des événements \(A_1, ..., A_n \in \mathcal{P}(\Omega)\). Si les événements \(A_1, ..., A_n\) sont mutuellement indépendants alors les événements \(A_1, ..., A_n\) sont deux à deux indépendants. Mais la réciproque n'est pas vérifiée.

Démonstration

Exemple

On considère deux lancers d'une pièce équilibrée avec \(\Omega = \{0,1\}^2\) et les événements \(A = \{1\}\times \{0,1\}\) "face au premier lancer", \(B = \{0,1\} \times \{1\}\) face au second lancer et \(C = \{(0,0)\} \cup \{(1,1)\}\) même résultat aux deux lancers. Alors

\[\mathbb{P}(A\cap B) = \mathbb{P}(B\cap C) = \mathbb{P}(C\cap A) = \mathbb{P}(\{(1,1)\}) = \dfrac{1}{4} = \dfrac{1}{2} \times \dfrac{1}{2} = \mathbb{P}(A) \mathbb{P}(B) = \mathbb{P}(B) \mathbb{P}(C) = \mathbb{P}(C) \mathbb{P}(A),\]

mais

\[\mathbb{P}(A\cap B \cap C) = \mathbb{P}(\{(1,1)\}) = \dfrac{1}{4} \neq \dfrac{1}{2} \times \dfrac{1}{2} \times \dfrac{1}{2} = \mathbb{P}(A) \mathbb{P}(B) \mathbb{P}(C).\]

Remarque

Pour avoir des événements mutuellement indépendants il ne suffit pas d'avoir \(\mathbb{P}(A_1 \cap ... \cap A_n) = \mathbb{P}(A_1) ... \mathbb{P}(A_n)\). Il faut le vérifier pour toutes les intersections possibles.

Exemple

On considère un lancer de dé équilibré avec \(\Omega = \{1, ..., 6\}\) et la probabilité uniforme \(\mathbb{P}\), et les événements \(A = \{1,2,3\}, B = \{2,4,6\}\) et \(C = \{1,2,4,5\}\). Alors

\[\mathbb{P}(A\cap B\cap C) = \mathbb{P}(\{2\}) = \dfrac{1}{6} = \dfrac{1}{2} \times \dfrac{1}{2} \times \dfrac{2}{3} = \mathbb{P}(A) \mathbb{P}(B) \mathbb{P}(C),\]

mais

\[\mathbb{P}(A\cap B) = \mathbb{P}(\{2\}) = \dfrac{1}{6} \neq \dfrac{1}{2}\times \dfrac{1}{2} = \mathbb{P}(A) \mathbb{P}(B).\]

Proposition

On considère deux événements \(A,B\in \mathcal{P}(\Omega)\). Si les événements \(A\) et \(B\) sont indépendants alors les événements \(A\) et \(B^c\) le sont également.

Démonstration

Corollaire

On considère des événements \(A_1, ..., A_n \in \mathcal{P}(\Omega)\). Si les événements \(A_1, ..., A_n\) sont mutuellement (respectivement deux à deux) indépendants alors, pour tous \(i_1, ..., i_n \in \{1, ...,n\}\) distincts, les événements \(A_{i_1}, ..., A_{i_r}, A_{i_{r+1}}^c, ..., A_{i_n}^c\) sont mutuellement (respectivement deux à deux) indépendantes.

Démonstration

F. Variables aléatoires indépendantes

Définition : Variables aléatoires indépendantes

On considère une autre variable aléatoire \(Y\) sur l'univers \(\Omega\) à valeurs dans un ensemble \(F\). Alors on dit que les variables aléatoires \(X\) et \(Y\) sont indépendantes si

\[\forall A \in \mathcal{P}(E), A \in \mathcal{P}(F), \quad \mathbb{P}(X\in A, Y\in B) = \mathbb{P}(X \in A) \mathbb{P}(X\in B).\]

On le note alors \(X\perp Y\).

Exemples

Variables aléatoires indépendantesVariables aléatoires non indépendantes

Proposition

On considère une autre variable aléatoire \(Y\) sur l'univers \(\Omega\) à valeurs dans un ensemble \(F\). Alors les variables aléatoires \(X\) et \(Y\) sont indépendantes si et seulement si la loi conjointe du couple \((X,Y)\) est le produit des lois marginales des variables \(X\) et \(Y\) :

\[\forall (x,y)\in X\times Y, \quad \mathbb{P}((X,Y) = (x,y)) = \mathbb{P}(X = x) \mathbb{P}(Y = y).\]

Démonstration

Remarque

Dans ce cas les lois marginales suffisent à déterminer la loi conjointe.

Définition : Variables aléatoires indépendantes

On considère des variables aléatoires \(X_1, ..., X_n\) sur l'univers \(\Omega\) à valeurs dans des ensembles \(E_1, ..., E_n\). Alors on dit que les variables aléatoires \(X_1, ..., X_n\) sont mutuellement (respectivement deux à deux) indépendantes si, pour tout \((x_1, ..., x_n) \in E_1 \times ... \times E_n\), les événements \((X_1 = x_1), ..., (X_n = x_n)\) sont mutuellement (respectivement deux à deux) indépendants.

Exemples

Mutuellement indépendantesDeux à deux indépendantes

Proposition

On considère des variables aléatoires \(X_1, ..., X_n\) sur l'univers \(\Omega\) à valeurs dans des ensembles \(E_1, ..., E_n\). Si les variables aléatoires \(X_1, ..., X_n\) sont mutuellement indépendantes alors elles sont deux à deux indépendantes. Mais la réciproque n'est pas vérifiée.

Démonstration

Définition : \(n\)-échantillon

On considère des variables aléatoires \(X_1, ..., X_n\) sur l'univers \(\Omega\) à valeurs dans l'espace des valeurs \(E\). Alors on dit que les variables aléatoires \(X_1, ..., X_n\) sont un \(n\)-échantillon de la variable aléatoire \(X\) si les variables aléatoires \(X_1, ..., X_n\) sont mutuellement indépendantes et de même loi que la variable aléatoire \(X\).

Exemple

Remarque

On dit alors les variables aléatoires \(X_1, ..., X_n\) sont i.i.d. (indépendantes et identiquement distribuées).

Proposition

On considère un \(n\)-échantillon \((X_1, ..., X_n)\) de loi commune de Bernoulli \(\mathcal{B}(p)\) pour \(p\in [0,1]\). Alors la variable aléatoire \(X_1+...+ X_n\) est de loi binomiale \(\mathcal{B}(n,p)\).

Démonstration

Remarque

Une loi binomiale correspond au nombre de succès lors de la répétition de \(n\) expériences indépendantes ayant chacune la probabilité \(p\) de succès.

Proposition

On considère une autre variable aléatoire \(Y\) sur l'espace \(\Omega\) à valeurs dans l'espace d'états \(E\) et une application \(f : E \longrightarrow F\) avec \(F\) un autre ensemble. Si les variables aléatoires \(X\) et \(Y\) sont indépendantes alors les variables aléatoires \(f(X)\) et \(f(Y)\) sont également indépendantes.

Démonstration

Théorème : Lemme des coalitions

On considère des variables aléatoires \(X_1, ..., X_n\) sur l'univers \(\Omega\) à valeurs dans des espaces \(E_1, ..., E_n\) et deux fonctions \(f : E_1 \times ... \times E_m \longrightarrow F_1, g : E_{m+1} \times ... \times E_n \longrightarrow F_2\) avec \(F_1,F_2\) deux ensembles. Si les variables aléatoires \(X_1, ..., X_n\) sont mutuellement indépendantes alors les variables aléatoires \(f(X_1, ..., X_m)\) et \(g(X_{m+1}, ..., X_n)\) sont indépendantes.

Démonstration

Exemple

Remarque

Nous avons le résultat similaire si l'on considère plus que deux fonctions \(f\) et \(g\).

II. Espérance et variance

Remarque

Pour le reste de ce chapitre, on suppose que l'espace des états est \(E = \mathbb{K}\) le corps des réels ou des complexes. On pourra alors effectuer les opérations usuelles entre variables aléatoires.

A. Espérance d'une variable aléatoire

Définition : Espérance d'une variable aléatoire

L'espérance de la variable aléatoire \(X\) est le nombre \(\mathbb{E}(X)\) défini par la somme finie

\[\mathbb{E}(X) = \sum_{x\in X(\Omega)} x \mathbb{P}(X = x) = \sum_{\omega \in \Omega} X(\omega) \mathbb{P}(\{\omega\}).\]

Exemple

On considère une variable aléatoire \(X\) à valeurs dans \(\{0, ..., 5\}\) de loi

\[\mathbb{P}_X = \dfrac{1}{10} \delta_1 + \dfrac{1}{10} \delta_2 + \dfrac{2}{10} \delta_3 + \dfrac{5}{10} \delta_4 + \dfrac{2}{10} \delta_5.\]

Alors

\[\mathbb{E}(X) = \dfrac{1}{10} \times 1 + \dfrac{1}{10} \times 2 + \dfrac{2}{10} \times 3 + \dfrac{5}{10} \times 4 + \dfrac{2}{10} \times 5 = \dfrac{39}{10}.\]

On retrouve le calcul effectué pour calculer sa moyenne sur 10 notes.

Remarque

Il s'agit alors de sa valeur moyenne sur l'ensemble de ses valeurs possibles. Autrement dit l'espérance est un indicateur de position moyenne. Le terme espérance a été introduit par Blaise Pascal pour parler de l'espérance de gains, qu'espère-t-on gagner.

Définition : Variable aléatoire centrée

On dit que la variable aléatoire \(X\) est centrée si \(\mathbb{E}(X) = 0\).

Exemple

Une variable aléatoire de Rademacher \(U\) est à valeurs dans \(\{-1,1\}\) avec \(\mathbb{P}(U = -1) = \mathbb{P}(U = 1) = \dfrac{1}{2}\) est centrée :

\[\mathbb{E}(U) = \dfrac{1}{2} \times (-1) + \dfrac{1}{2} \times 1 = 0.\]

Proposition

L'application \(\mathbb{E}\) définie sur l'ensemble des variables \(\mathbb{K}^\Omega\) et à valeurs dans l'espace des états \(\mathbb{K}\) :

• est linéaire :

\[\forall X,Y \in \mathbb{K}^\Omega, \lambda \in \mathbb{K}, \quad \mathbb{E}(\lambda X+Y) = \lambda \mathbb{E}(X) + \mathbb{E}(Y),\]

• est positive :

\[\forall X\in \mathbb{R}^\Omega, \quad X\geq 0 \quad \Longrightarrow \quad \mathbb{E}(X) \geq 0,\]

• est croissante :

\[\forall X, Y\in \mathbb{R}^\Omega, \quad X\leq Y \quad \Longrightarrow \quad \mathbb{E}(X) \leq \mathbb{E}(Y),\]

• vérifie l'inégalité triangulaire :

\[\forall X\in \mathbb{K}^\Omega, \quad |\mathbb{E}(X)| \leq \mathbb{E}(|X|).\]

Démonstration

Proposition

• Si \(X \sim \mathcal{U}(\{1, ..., n\})\), pour \(n\in \mathbb{N}^*\), alors \(\mathbb{E}(X) = \dfrac{n+1}{2}\).

• Si \(X \sim \mathcal{B}(p)\), pour \(p\in [0,1]\), alors \(\mathbb{E}(X) = p\).

• Si \(X \sim \mathcal{B}(n,p)\), pour \(n\in \mathbb{N}^*\) et \(p\in [0,1]\), alors \(\mathbb{E}(X) = np\).

Démonstration

Corollaire

On considère un événement \(A \in \mathcal{P}(\Omega)\). Alors \(\mathbb{E}(\mathbb{1}_A) = \mathbb{P}(A)\).

Démonstration

Théorème : Formule (ou lemme ou théorème) de transfert

On considère une application \(f : X(\Omega) \longrightarrow \mathbb{K}\). Alors

\[\mathbb{E}(f(X)) = \sum_{x\in X(\Omega)} f(x) \mathbb{P}(X = x).\]

Démonstration

Nous avons

\[\mathbb{E}(f(X)) = \sum_{y\in f(X(\Omega))} y \mathbb{P}(f(X) = y),\]

avec pour tout \(y\in f(X(\Omega))\)

\[(f(X) = y) = \bigcup_{x\in X(\Omega)} (f(X) = y, X = x) = \bigcup_{x\in X(\Omega)} (f(x) = y, X = x) = \bigcup_{x\in X(\Omega), f(x) = y} (X = x).\]

Donc

\[\mathbb{P}(f(X) = y) = \sum_{x\in X(\Omega), f(x) = y} \mathbb{P}(X= x).\]

Ainsi

\[\begin{align} \mathbb{E}(f(X)) & = \sum_{y\in f(X(\Omega))} y \sum_{x\in X(\Omega), f(x) = y} \mathbb{P}(X = x) \\ & = \sum_{y\in f(X(\Omega))} \sum_{x\in X(\Omega), f(x) = y} y \mathbb{P}(X = x) \\ & = \sum_{y\in f(X(\Omega))} \sum_{x\in X(\Omega), f(x) = y} f(x) \mathbb{P}(X = x) \\ & = \sum_{x\in X(\Omega)} \sum_{y\in f(X(\Omega)), f(x) = y} f(x) \mathbb{P}(X = x) \\ & = \sum_{x\in X(\Omega)} f(x) \mathbb{P}(X = x), \end{align}\]

où la dernière égalité vient du fait que \(\sum_{y\in f(X(\Omega)), f(x) = y} = |\{y\in f(X(\Omega)), f(x) = y \}| = 1\).

Exemple

On considère une variable aléatoire uniforme \(U\) sur \(\{1, ..., n\}\) pour \(n\in \mathbb{N}^*\). Alors par théorème de transfert

\[\mathbb{E}(U^2) = \sum_{j \in U^2(\Omega)} j \mathbb{P}(U^2 = j) = \sum_{k=1}^n k^2 \mathbb{P}(U = k) = \dfrac{(n+1)(2n+1)}{6}.\]

Remarque

La formule précédente est également valide si la variable aléatoire \(X\) est un couple ou un \(n\)-uplet ce qui permet de calculer l'espérance d'une fonction à valeurs dans \(\mathbb{K}\) de variables aléatoires.

Exemple

Proposition

On considère une autre variable aléatoire \(Y \in \mathbb{K}^\Omega\). Si les variables aléatoires \(X\) et \(Y\) sont indépendantes alors

\[\mathbb{E}(XY) = \mathbb{E}(X)\mathbb{E}(Y).\]

Démonstration

Remarque

La réciproque de la proposition précédente n'est pas vérifiée. Il ne suffit pas que deux variables aléatoires \(X,Y\) vérifient \(\mathbb{E}(XY) = \mathbb{E}(X) \mathbb{E}(Y)\) pour qu'elles sont indépendantes.

Exemple

On considère une variable aléatoire uniforme \(X\) sur \(\{-1,0,1\}\) et la variable aléatoire \(Y = X^2\). Alors

\[\mathbb{E}(XY) = 0 = \mathbb{E}(X) \mathbb{E}(Y),\]

mais les variables \(X\) et \(Y\) ne sont pas indépendantes car \(X = 1\) entraîne \(Y = 1\) :

\[\mathbb{P}(X = 1, Y = 1) = \mathbb{P}(X = 1) = \dfrac{1}{3} \neq \dfrac{1}{3} \times \dfrac{2}{3} = \mathbb{P}(X = 1) \mathbb{P}(Y=1).\]

Corollaire

On considère des variables aléatoires \(X_1, ..., X_n \in \mathbb{K}^\Omega\). Si les variables aléatoires \(X_1, ..., X_n\) sont mutuellement indépendantes alors

\[\mathbb{E}(X_1 ... X_n) = \mathbb{E}(X_1) ... \mathbb{E}(X_n).\]

Démonstration

B. Variance d'une variable aléatoire, écart type et covariance

Remarque

Pour le reste de ce chapitre, on suppose que l'espace des états est \(E = \mathbb{R}\).

Définitions : Variance, écart-type

La variance de la variable aléatoire \(X\) est le réel positif \(V(X)\) défini par

\[V(x) = \mathbb{E}((X-\mathbb{E}(X))^2).\]

De plus l'écart-type de la variable aléatoire \(X\) est le réel \(\sigma(X)\) défini par

\[\sigma(X) = \sqrt{V(X)}.\]

Exemple

Une variable aléatoire constante \(X = c\) est de variance nulle.

Remarque

La variance et l'écart-type sont des indicateurs de la dispersion des valeurs prises par la variable aléatoire \(X\).

Définition : Variable aléatoire réduite

On dit que la variable aléatoire \(X\) est réduite si \(\sigma(X) = 1\).

Proposition

Si \(V(X) > 0\) alors la variable aléatoire \(\dfrac{X - \mathbb{E}(X)}{\sigma}\) est centrée et réduite.

Démonstration

Exemple

La variable aléatoire centrée associée à une variable de Bernoulli \(X\) de paramètre \(p \in ~]0,1[\) est \(\dfrac{X- p}{p(1-p)}.\)

Proposition

L'application \(V\) définie sur l'ensemble des variables aléatoires \(\mathbb{R}^\Omega\) et à valeurs dans \(\mathbb{R}\) vérifie :

\[\forall X \in \mathbb{R}^\Omega, \lambda, \mu\in \mathbb{R}, \quad V(\lambda X + \mu) = \lambda^2 V(X),\]

et

\[\forall X\in \mathbb{R}^\Omega, \quad V(X) = \mathbb{E}(X^2) - (\mathbb{E}(X))^2.\]

Démonstration

Proposition

• Si \(X \sim \mathcal{U}(\{1, ..., n\})\), pour \(n\in \mathbb{N}^*\), alors \(V(X) = \dfrac{n^2-1}{12}\).

• Si \(X \sim \mathcal{B}(p)\), pour \(p\in [0,1]\), alors \(V(X) = p(1-p)\).

• Si \(X \sim \mathcal{B}(n,p)\), pour \(n\in \mathbb{N}^*\) et \(p\in [0,1]\), alors \(V(X) = np(1-p)\).

Démonstration

Définition : Covariance

On considère une autre variable aléatoire \(Y \in \mathbb{K}^\Omega\). Alors la covariance entre les variables aléatoires \(X\) et \(Y\) est le réel \(\text{Cov}(X,Y)\) défini par

\[\text{Cov}(X,Y) = \mathbb{E}((X- \mathbb{E}(X))(Y-\mathbb{E}(Y))).\]

Exemple

Nous avons \(\text{Cov}(X,X) = \text{Var}(X)\).

Proposition

On considère une autre variable aléatoire \(Y \in \mathbb{R}^\Omega\). Alors

\[\text{Cov}(X,Y) = \mathbb{E}(XY) - \mathbb{E}(X) \mathbb{E}(Y).\]

Démonstration

Définition : Variables aléatoires non corrélées

On considère une autre variable aléatoire \(Y \in \mathbb{R}^\Omega\). Alors on dit que les variables aléatoires \(X\) et \(Y\) sont non corrélées si

\[\text{Cov}(X,Y) = 0.\]

Exemple

Corollaire

Deux variables aléatoires indépendantes sont non corrélées.

Démonstration

Remarque

La réciproque du corollaire précédent n'est pas vérifiée.

Exemple

Proposition

On considère une autre variable aléatoire \(Y \in \mathbb{R}^\Omega\). Alors

\[V(X+Y) = V(X) + V(Y) + 2 \text{Cov}(X,Y).\]

Démonstration

Corollaire

On considère une autre variable aléatoire \(Y \in \mathbb{R}^\Omega\). Si les variables aléatoires \(X\) et \(Y\) sont indépendantes alors

\[V(X+Y) = V(X) + V(Y).\]

Nous avons le résultat similaire pour une famille de variables aléatoires mutuellement indépendantes.

Démonstration

Remarque

On retrouve alors la variance d'une variable aléatoire binomiale vue en tant que somme de variables aléatoires de Bernoulli i.i.d..

C. Inégalités probabilistes

Théorème : Inégalité de Markov

Si \(X\geq 0\) alors

\[\forall a\in \mathbb{R}_+^*, \quad \mathbb{P}(X>a) \leq \dfrac{\mathbb{E}(X)}{a}.\]

Démonstration

Exemple

Corollaire

Nous avons également dans le cas où la variable aléatoire \(X\) est de signe quelconque

\[\forall a\in \mathbb{R}_+^*, \quad \mathbb{P}(|X| > a) \leq \dfrac{\mathbb{E}(|X|)}{a}.\]

Démonstration

Remarque

Les deux inégalités précédentes permettent d'obtenir des inégalités dîtes de concentration. Elles fournissent des bornes sur la probabilité qu'une variable aléatoire dévie d'une certaine valeur.

Corollaire

Nous avons également pour tout \(p\in [1, +\infty[\),

\[\mathbb{P}(|X| > a) \leq \dfrac{\mathbb{E}(|X|^p)}{a^p}.\]

Démonstration

Théorème : Inégalité de Bienaymé-Tchebychev

Nous avons

\[\forall a\in \mathbb{R}_+^*, \quad \mathbb{P}(|X-\mathbb{E}(X)| \geq a) \leq \frac{V(X)}{a^2}.\]

Démonstration

Exemple

On considère une fonction \(f : [0,1] \longrightarrow \mathbb{R}\) continue, \(n \in \mathbb{N}^*\) et le \(n\)-ième polynôme de Bernstein

\[B_n(f)(x) = \underset{k=1}{\overset{n}{\sum}} f\left(\frac{k}{n}\right) \binom{n}{k} x^k (1-x)^{n-k}\]

Alors on peut montrer grâce à l'inégalité de Bienaymé-Tchebychev que

\[\sup_{0\leq x\leq 1} |B_n(f)(x) - f(x)| \underset{n\to +\infty}{\longrightarrow} 0.\]

En effet si l'on considère \(X_1, ..., X_n\) i.i.d. \(\mathcal{B}(n,x)\) pour \(x\in [0,1]\), et \(S_n = X_1 + ... + X_n\), alors par théorème de transfert \(B_n(f)(x) = \mathbb{E}\left( f\left( \dfrac{S_n}{n} \right) \right)\). Puis on considère \(\varepsilon \in \mathbb{R}_+^*\) et on sépare \(\mathbb{E}\left( f\left( \dfrac{S_n}{n} \right) \right) - f(x)\) en deux termes dont l'un fait apparaître \(\mathbb{P}(|S_n - \mathbb{E}(S_n)| > n\delta)\) pour un certain \(\delta \in \mathbb{R}_+^*\) issu du théorème de Heine.

Remarque

L'inégalité précédente sert à montrer que la moyenne d'un grand nombre de variables aléatoires i.i.d. converge vers leur espérance en un certain sens, et également d'avoir la vitesse de convergence.

Théorème : Loi faible des grands nombres

On considère \((X_n)_{n\in \mathbb{N}^*}\) une suite de variables aléatoires i.i.d et \(S_n = \sum_{k=1}^n X_k\) pour tout \(n\in \mathbb{N}^*\). Alors pour tout \(\varepsilon \in \mathbb{R}_+^*\),

\[\mathbb{P}\left( \left| \dfrac{1}{n} S_n - \mathbb{E}(X_1) \right| \geq \varepsilon \right) \underset{n\to +\infty}{\longrightarrow} 0.\]

Démonstration

Exemple

(méthode de Monte-Carlo pour converger vers \(\mathbb{P}(k\leq X \leq k')\))