3. Introduction
On peut d´ finir un processus stochastique comme etant une famille {Xt }t∈T de variables al´ atoires
e ´ e
ind´ x´ es par le temps t. Les mots processus et stochastique signifient respectivement fonction et al´ atoire.
e e e
Alors qu’une variable al´ atoire X associe a chaque ω ∈ Ω une r´ alisation X(ω), un processus stochastique
e ` e
{Xt }t∈T associe a chaque ω une fonction (ou trajectoire) {Xt (ω)}t∈T :
`
T → E
,
t → Xt (ω)
o` E est l’espace d’arriv´ e des variables al´ atoires Xt . Passer des variables al´ atoires aux processus sto-
u e e e
chastiques revient a passer en analyse des points aux fonctions. A
` ` titre d’exemple, la trajectoire d’une
mouche en fonction du temps peut etre mod´ lis´ e par un processus stochastique a valeurs dans E = R3 .
ˆ e e `
Lorsque l’ensemble des temps T est au plus d´ nombrable (par exemple T = N), on parle de processus
e
stochastiques a temps discret. Lorsqu’il est continu (i.e. T = [0; t0 ] ou T = R+ ), on parle de processus
`
stochastiques a temps continu.
`
Dans tout ce cours, on abr` ge les expressions “variable al´ atoire” en v.a. et “ind´ pendantes et identique-
e e e
ment distribu´ es” en i.i.d.
e
Les situations r´ elles pouvant etre mod´ lis´ es par des processus stochastiques sont nombreuses. En voici
e ˆ e e
quelques exemples :
E XEMPLES :
• Probl` me de la ruine du joueur. Consid´ rons une suite de v.a. (Yn )n≥1 i.i.d. dont la loi commune
e e
est d´ finie par
e
IP(Y1 = 1) = p et IP(Y1 = −1) = 1 − p
et une quantit´ initiale (d´ terministe ou al´ atoire) Y0 ∈ Z ind´ pendante des v.a. Yn . On d´ finit la marche
e e e e e
al´ atoire simple par
e
Xn+1 = Xn + Yn+1
= Y0 + Y1 + . . . + Yn + Yn+1 ,
pour tout n ∈ N. La suite (Xn )n≥1 est un processus stochastique a temps discret T = N (ce sont les
`
instants n = 0, 1, 2 . . .) et a valeurs dans E = Z. La suite (Xn )n≥1 repr´ sente l’´ volution de la fortune
` e e
d’un joueur (jouant a pile ou face, a la roulette...) gagnant un montant fixe (ici 1 euro) avec probabilit´ p et
` ` e
perdant le mˆ me montant avec probabilit´ 1 − p. Les parties, dont les r´ sultats sont les Yn , sont suppos´ es
e e e e
ind´ pendantes. La fortune du joueur a l’issue de la n
e ` e partie est X . La quantit´ Y repr´ sente la fortune
n e 0 e
initiale du joueur.
Le joueur est ruin´ (et donc arrˆ te de jouer) d` s que la suite (Xn )n≥1 touche l’axe des abscisses. On peut
e e e
3
4. egalement ajouter comme condition que le joueur s’arrˆ te de jouer si sa fortune atteint un certain seuil
´ e
a > Y0 . Dans ce jeu, on aimerait connaˆtre l’esp´ rance de gain en fonction des param` tres Y0 , a et p, ou
ı e e
encore la dur´ e moyenne du jeu.
e
Y0
n
F IGURE 1 – Le joueur est ruin´ a l’issue de la 12e partie.
e`
• Probl` me de l’extinction d’une population. Consid´ rons une suite doublement ind´ x´ e de v.a.
e e e e
{Yn,m , n ∈ N, m ∈ N∗ } i.i.d. et a valeurs enti` res. La variable Yn,m repr´ sente le nombre de fils du me
` e e
individu dans la ne g´ n´ ration (s’il existe). Posons X0 = 1 ; il y a initialement un seul individu (g´ n´ ration
e e e e
0). Puis, pour tout n,
Xn
Xn+1 = Yn,m
m=1
repr´ sente le nombre d’individu dans la (n+1)e g´ n´ ration. La suite (Xn )n≥1 est un processus stochastique
e e e
a temps discret T = N (ce sont les g´ n´ rations) et a valeurs dans E = N. Il est connu sous le nom de
` e e `
processus de branchement ou arbre de Galton-Watson.
F IGURE 2 – Sont repr´ sent´ es les quatre premi` res g´ n´ rations d’un arbre de Galton-Watson. Le premier
e e e e e
individu a Y0,1 = 3 fils. Ceux-ci auront respectivement Y1,1 = 1, Y1,2 = 4 et Y1,3 = 0 fils. La 2e g´ n´ ration
e e
comprend donc 5 individus : X2 = 5.
Historiquement, Galton et Watson ont introduit ce mod` le pour etudier la perp´ tuation des lign´ es des
e ´ e e
Lords en Angletrre au 19e si` cle : les individus sont des Lords qui transmettent leur titre uniquement a
e `
leurs fils. Il s’agit alors d’´ tudier l’´ volution de la population au cours du temps, i.e. la quantit´ Xn quand
e e e
n devient grand. Y aura-t’il extinction de la lign´ e de Lords ? Voici une premi` re r´ ponse pleine de bon
e e e
4
5. sens : si le nombre moyen IE[Y0,1 ] de fils de chaque individu est elev´ , la population devrait rapidement
´ e
ı ` l’inverse, si IE[Y0,1 ] est proche de 0, la population devrait s’´ teindre.
croˆtre. A e
• S´ ries temporelles ou chronologiques. Les s´ ries temporelles peuvent etre mod´ lis´ es par des
e e ˆ e e
processus stochastiques. Elles peuvent illustrer le nombre de morts suite a des accidents de la route dans
`
un pays donn´ durant un intervalle de temps, le nombre de passagers dans les transports a´ riens ou encore
e e
les valeurs de clˆ tures journali` res du CAC40.
o e
4000
3500
EuStockMarkets[, 3]
3000
2500
2000
1500
1992 1993 1994 1995 1996 1997 1998
Time
F IGURE 3 – Valeurs de clˆ tures journali` res du CAC40 de 1991 a 1998.
o e `
Un des objectifs principaux de l’´ tude d’une s´ rie temporelle est la pr´ vision des r´ alisations futures, tr` s
e e e e e
souvent pour des raisons economiques (pr´ voir l’´ volution de la demande d’un produit pour ajuster au
´ e e
mieux les moyens de production, pr´ voir l’´ volution d’un march´ financier...).
e e e
Les s´ ries temporelles feront l’objet de tout un cours en GIS5.
e
• Files d’attente. La salle de r´ servation d’une grande gare SNCF donne une bonne repr´ sentation
e e
d’une file d’attente (queue en anglais). Elle comprend un certain nombre de guichets et des clients qui sont
soit en train d’ˆ tre servis, soit en attente qu’un guichet se lib` re. Le nombre total de ces clients pr´ sents
e e e
dans la salle de r´ servation au temps t est not´ Nt . Le hasard intervient dans les arriv´ es des clients ainsi
e e e
que dans la dur´ e des services. La suite (Nt )t≥0 est un processus stochastique a temps continu et a valeurs
e ` `
dans E = N. L’objectif est d’´ tudier l’´ volution de Nt au cours du temps afin d’optimiser le nombre de
e e
guichets n´ cessaires pour satisfaire en un temps raisonnable les clients.
e
On peut egalement mod´ liser par une file d’attente un syst` me informatique dans lequel les nouvelles
´ e e
tˆ ches se mettent en attente avant d’ˆ tre trait´ es, ou encore un poste de travail dans une usine.
a e e
Les files d’attentes seront etudi´ es en d´ tails dans ce cours.
´ e e
En GIS3 ou en GIS4, vous avez d´ j` vu des processus stochastiques : n’importe quelle suite de v.a. i.i.d.
ea
en est un exemple ! L’ind´ pendance entre les variables facilite les calculs et permet d’obtenir sans trop
e
d’efforts des th´ or` mes limites int´ ressants (Loi des Grands Nombres, Th´ or` me Central Limite...). Mal-
e e e e e
heureusement, l’ind´ pendance n’est pas un ph´ nom` ne courant dans la nature. Int´ grer de la d´ pendance
e e e e e
entre les variables permet de mod´ liser plus fid` lement la r´ alit´ . Il y a n´ anmoins un coˆ t a payer ; les
e e e e e u `
calculs sont plus durs et les th´ or` mes plus chers.
e e
Les processus stochastiques que nous etudierons dans ce cours prendront en compte une certaine d´ pen-
´ e
dance entre les variables ; une d´ pendance de type markovienne (ou de Markov). Cela signifie que l’´ volu-
e e
tion future du processus ne d´ pend de son pass´ que par l’interm´ diaire du pr´ sent. Par exemple pour
e e e e
d´ cider au mieux du 21e coup a jouer dans une partie d’´ checs, il suffit de connaˆtre la configuration du jeu
e ` e ı
a l’issue du 20e coup, le d´ tail des 19 premiers coups n’ayant alors aucune importance.
` e
5
6. Les exemples d´ crits p´ c´ demment sont markoviens. La fortune du joueur a l’issue de la (n + 1)e partie ne
e e e `
d´ pend que de sa fortune a l’issue de la n
e ` e et du r´ sultat de la (n + 1)e partie, mais pas de l’´ volution totale
e e
de sa fortune depuis le d´ but du jeu. Pour un processus de Galton-Watson, le nombre d’individus dans la
e
g´ n´ ration a venir ne d´ pend que du nombre d’individus dans la g´ n´ ration actuelle et du nombre de fils
e e ` e e e
qu’ils auront. Les files d’attente que nous etudierons seront aussi des processus stochastiques markoviens.
´
Pour les s´ ries temporelles, vous verrez l’ann´ e prochaine...
e e
6
7. Exercices
Exercice 1 : D´ nombrement de trajectoires d’une marche al´ atoire
e e
Partie 1. Consid´ rons la marche al´ atoire simple (Xn )n∈N a valeurs dans Z, d´ finie par
e e ` e
X0 = y0 ∈ Z
Xn = y0 + Y1 + . . . + Yn , ∀n ≥ 1
o` (Yn )n≥1 est une suite de v.a. i.i.d., chacune valant 1 avec probabilit´ p et −1 avec probabilit´ 1 − p, et
u e e
y0 ∈ Z.
1. Quelles sont les valeurs que peut prendre X100 ? Notons E100 cet ensemble.
2. Soit y ∈ E100 . Combien y-a-t’il de trajectoires v´ rifiant X100 = y ? Pr´ ciser ce nombre lorsque
e e
y = y0 + 100, y = y0 − 100 et y = y0 .
3. Soit y ∈ E100 . Montrer que toutes les trajectoires v´ rifiant X100 = y ont la mˆ me probabilit´ .
e e e
Quelle est cette probabilit´ ?
e
4. Principe de r´ flexion. Soient x, x′ , y, y ′ des entiers tels que 0 ≤ x ≤ x′ et yy ′ ≥ 0. Justifier
e
heuristiquement qu’il y a autant de trajectoires de la marche al´ atoire allant de (x, y) a (x′ , y ′ ) en touchant
e `
l’axe des abscisses, que de trajectoires allant de de (x, −y) a (x′ , y ′ ).
`
Partie 2. Application au distributeur automatique de boissons.
Consid´ rons un distributeur automatique de boissons, chacunes valant 1 euro. Supposons que 60% des
e
clients d´ sirant acheter une boisson la paie avec une pi` ce de 1 euro, et le reste, avec une pi` ce de 2 euros.
e e e
`
Dans ce dernier cas, le distributeur rend au consommateur sa monnaie, i.e. une pi` ce de 1 euro. A condition
e
qu’il en ait... Il s’agit donc pour l’appariteur de pr´ voir dans le distributeur, en d´ but de journ´ e, un stock
e e e
suffisant de pi` ces de 1 euro. Mais pas trop pour ne pas bloquer inutilement de la tr´ sorerie !
e e
5. Mod´ liser par une marche al´ atoire l’´ volution au cours du temps du stock du distributeur.
e e e
6. Supposons que dans une journ´ e donn´ e, 100 clients se pr´ sentent et que exactement 60 d’entre
e e e
eux paient avec une pi` ce de 1 euro. Quel stock initial permet d’assurer (disons a 95%) que chaque client
e `
r´ cup` re sa monnaie ?
e e
7
8. Chapitre 1
Chaˆnes de Markov
ı
Un mod` le d’´ volution dynamique en temps discret dans lequel on fait d´ pendre l’´ volution future de
e e e e
l’´ tat pr´ sent et du hasard est une chaˆne de Markov. C’est un processus stochastique a temps discret. On
e e ı `
en rencontre dans de nombreux domaines d’applications...
1.1 D´ finitions
e
D´ finition 1.1.1 Soit (Xn )n∈N une suite de v.a. a valeurs dans un espace E fini ou d´ nombrable, appel´
e ` e e
espace d’´ tats. On dit que (Xn )n∈N est une chaˆne de Markov si
e ı
IP(Xn+1 = j | Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = IP(Xn+1 = j | Xn = i) ,
pour tout entier n ∈ N, pour tout etat j et pour toute suite d’´ tats i0 , i1 , . . . , in−1 , i pour lesquels la
´ e
probabilit´ conditionnelle a un sens, i.e.
e
IP(Xn = i, Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) > 0 .
Si de plus la quantit´ IP(Xn+1 = j | Xn = i) ne d´ pend pas de n, i.e.
e e
IP(Xn+1 = j | Xn = i) = IP(X1 = j | X0 = i)
alors la chaˆne de Markov (Xn )n∈N est dite homog` ne.
ı e
Il faut comprendre une chaˆne de Markov (Xn )n∈N comme une promenade dans l’espace d’´ tats E, la
ı e
variable Xn indiquant l’´ tat dans lequel on est a l’instant n. La v.a. X0 repr´ sente l’´ tat initial duquel
e ` e e
d´ marre la chaˆne. Selon le contexte, X0 pourra etre al´ atoire ou d´ terministe.
e ı ˆ e e
La propri´ t´ de Markov signifie que, connaissant le dernier etat visit´ (disons a l’instant n), la loi du
ee ´ e `
prochain etat visit´ (i.e. la loi de Xn+1 ) ne d´ pend pas des etats visit´ s depuis l’instant 0 jusqu’` l’instant
´ e e ´ e a
n − 1. Plus prosa¨quement, on dit que
ı
conditionnellement au pr´ sent, le futur ne d´ pend pas du pass´ .
e e e
Mais il d´ pend du pr´ sent : Xn et Xn+1 n’ont aucune raison d’ˆ tre ind´ pendantes !
e e e e
La propri´ t´ d’homog´ n´ it´ d’une chaˆne de Markov exprime quant a elle que la probabilit´ d’aller de i en
ee e e e ı ` e
j reste la mˆ me au cours du temps. Elle permet de regrouper en une seule matrice (ind´ pendante de n) les
e e
probabilit´ s de transition entre deux etats quelconques.
e ´
8
9. D´ finition 1.1.2 Soit (Xn )n∈N une chaˆne de Markov homog` ne a espace d’´ tats E. Soient i, j ∈ E deux
e ı e ` e
etats. La probabilit´
´ e
pi,j := IP(X1 = j | X0 = i)
est appel´ e probabilit´ de transition de i a j. La matrice P := (pi,j )i,j∈E est appel´ e matrice de transition
e e ` e
de la chaˆne.
ı
Lorsque l’espace d’´ tats E est fini, la matrice P est carr´ e de taille Card(E). Lorsqu’il est infini, elle
e e
admet un nombre infini de lignes et de colonnes. Les coefficients de la matrice P sont positifs ou nuls.
Leur somme sur une mˆ me ligne vaut 1 : pour tout i ∈ E,
e
pi,j = IP(X1 = j | X0 = i) = IP {X1 = j} X0 = i = 1 .
j∈E j∈E j∈E
Comme nous le verrons dans les exemples suivants, il arrive fr´ quemment dans les applications que pour
e
un etat i donn´ , le nombre d’´ tats j directement accessibles depuis i (i.e. tel que pi,j > 0) soit faible. La
´ e e
matrice de transition est alors tr` s creuse ; elle contient beaucoup de 0. Il est souvent plus economique (et
e ´
plus pertinent) de r´ sumer les probabilit´ s de transition dans le diagramme de transition. C’est un graphe
e e
orient´ et pond´ r´ dont l’ensemble des sommets est E. Une arˆ te de poids pi,j va de i a j si pi,j > 0.
e ee e `
E XEMPLES :
• Transmission d’un bit informatique. Un bit informatique valant 0 ou 1 est transmis d’un poste A
vers un poste B en passant par N interm´ diaires. Chacun de ces interm´ diaires transmet correctement le bit
e e
avec probabilit´ p et l’inverse avec probabilit´ 1 − p, ind´ pendamment les uns des autres. Le bit (al´ atoire)
e e e e
d’entr´ e, disons X0 , est suppos´ ind´ pendent des interm´ diaires. Pour n = 1, . . . , N , notons Xn le bit
e e e e
sortant du ne interm´ diaire.
e
1 n N
A B
Xn−1 Xn
La suite de v.a. (Xn )0≤n≤N est a valeurs dans l’espace d’´ tats E = {0, 1}. V´ rifions que c’est une chaˆne
` e e ı
de Markov. Consid´ rons pour ce faire, une suite i0 , . . . , in , in+1 d’´ l´ ments de {0, 1}.
e ee
IP(Xn+1 = in+1 et Xn = in , . . . , X0 = i0 )
IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) =
IP(Xn = in , . . . , X0 = i0 )
IP(Xn+1 − Xn = in+1 − in et Xn = in , . . . , X0 = i0 )
=
IP(Xn = in , . . . , X0 = i0 )
= IP(Xn+1 − Xn = in+1 − in ) ,
du fait de l’ind´ pendance entre la v.a. Xn+1 − Xn (qui repr´ sente l’action du (n + 1)e interm´ diaire) et
e e e
l’´ tat du bit a la sortie des n premiers interm´ diaires. Pour la mˆ me raison ;
e ` e e
IP(Xn+1 − Xn = in+1 − in ) IP(Xn = in )
IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) =
IP(Xn = in )
= IP(Xn+1 = in+1 | Xn = in ) .
9
10. Enfin, le caract` re homog` ne de la chaˆne (Xn )0≤n≤N r´ sulte du calcul :
e e ı e
p si i = j
IP(Xn+1 = j | Xn = i) = IP(Xn+1 − Xn = j − i) = .
1−p sinon.
Voici la matrice et le graphe de transition de cette chaˆne :
ı
1−p
p 1−p
P = p 0 1 p
1−p p
1−p
• La marche al´ atoire simple. Soient (Yn )n≥1 une suite de v.a. i.i.d., chacune valant 1 avec proba-
e
bilit´ p et −1 avec probabilit´ 1 − p. Soit Y0 ∈ Z une v.a. ind´ pendante des Yn , repr´ sentant le point de
e e e e
d´ part sur l’axe Z de la chaˆne. On d´ finit la marche al´ atoire simple par
e ı e e
Xn+1 = Xn + Yn+1
= Y0 + Y1 + . . . + Yn + Yn+1 ,
pour tout n ∈ N. Le processus stochastique (Xn )n≥1 est une chaˆne de Markov homog` ne. Son espace
ı e
d’´ tats E = Z est cette fois infini. Comme dans l’exemple du bit informatique, le caract` re markovien
e e
provient de l’ind´ pendance des Yn :
e
IP(Xn+1 = in+1 et Xn = in , . . . , X0 = i0 )
IP(Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) =
IP(Xn = in , . . . , X0 = i0 )
IP(Yn+1 = in+1 − in et Xn = in , . . . , X0 = i0 )
=
IP(Xn = in , . . . , X0 = i0 )
= IP(Yn+1 = in+1 − in )
IP(Yn+1 = in+1 − in ) IP(Xn = in )
=
IP(Xn = in )
IP(Xn+1 − Xn = in+1 − in et Xn = in )
=
IP(Xn = in )
= IP(Xn+1 = in+1 | Xn = in ) ,
o` les i0 , . . . , in , in+1 sont des etats. Idem pour le caract` re homog` ne :
u ´ e e
p si j = i + 1
IP(Xn+1 = j | Xn = i) = IP(Yn+1 = j − i) = 1−p si j = i − 1 .
0 sinon.
La matrice de transition de la chaˆne (Xn )n≥1 est de taille infinie. Sa ie ligne est de la forme :
ı
··· 0 0 1−p 0 p 0 0 ···
o` le “0” intercal´ entre les coefficients 1 − p et p est sur la ie colonne. Son graphe de transition est donn´
u e e
par la Figure 1.1.
10
11. p p
i−1 i i+1
1−p 1−p
F IGURE 1.1 – Le graphe de transition de la marche al´ atoire simple.
e
• Le processus de Galton-Watson d´ crit en introduction est egalement une chaˆne de Markov ho-
e ´ ı
mog` ne.
e
Dans la pratique, nous prouverons qu’une suite de v.a. est une chaˆne de Markov en utilisant le r´ sultat
ı e
intuitif suivant :
Proposition 1.1.3 Une suite de v.a. (Xn )n≥1 d´ finie r´ cursivement par Xn+1 = f (Xn , Yn+1 ) o`
e e u
- (Yn )n≥1 est une suite de v.a. i.i.d. a valeurs dans un espace E ′ ,
`
- X0 ∈ E est une v.a. donn´ e et ind´ pendante des (Yn )n≥1 ,
e e
- f :E×E ′ → E est une application d´ terministe,
e
est une chaˆne de Markov homog` ne a espace d’´ tats E.
ı e ` e
Ce crit` re permet d’affirmer tr` s rapidement que la marche al´ atoire simple d´ finie pr´ c´ demment est
e e e e e e
une chaˆne de Markov homog` ne. En effet, les incr´ ments Y0 , Y1 , Y2 . . . sont des v.a. i.i.d. a valeurs dans
ı e e `
l’espace E ′ = {−1; 1} (E ′ = Z convenait egalement), X0 = Y0 et Xn+1 = f (Xn , Yn+1 ) avec comme
´
application d´ terministe f : f (x, y) = x + y.
e
Proposition 1.1.4 La loi d’une chaˆne de Markov homog` ne (Xn )n∈N est enti` rement d´ termin´ e par la
ı e e e e
donn´ e de sa matrice de transition P et de la loi de X0 , appel´ e loi initiale et not´ e µ0 :
e e e
pour tout i ∈ E, µ0 (i) := IP(X0 = i).
Plus pr´ cis´ ment, pour tout entier n et toute suite d’´ tats i0 , i1 , . . . , in−1 , in de E :
e e e
IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) = µ0 (i0 )pi0 ,i1 . . . pin−1 ,in . (1.1)
La formule (1.1) permet d’´ crire la probabilit´ d’une intersection, i.e.
e e
IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) ,
comme un produit de probabilit´ s conditionnelles, les coefficients pi,j .
e
En divisant par µ0 (i0 ) dans (1.1), il s’ensuit que :
IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 | X0 = i0 ) = pi0 ,i1 . . . pin−1 ,in .
D´ monstration Le r´ sultat repose sur la formule
e e
n
IP Ak = IP(A0 ) IP(A1 | A0 ) IP(A2 | A1 ∩ A0 ) . . . IP(An | An−1 ∩ . . . ∩ A0 )
k=0
11
12. a d´ montrer par r´ currence sur n ∈ N et appliqu´ e aux ev´ nements Ak = {Xk = ik }. Il ne reste plus qu’`
` e e e ´ e a
identifier les termes : IP(A0 ) = IP(X0 = i0 ) vaut µ(i0 ), IP(A1 | A0 ) = IP(X1 = i1 | X0 = i0 ) vaut par
d´ finition pi0 ,i1 et
e
IP(A2 | A1 ∩ A0 ) = IP(X2 = i2 | X1 = i1 , X0 = i0 )
= IP(X2 = i2 | X1 = i1 )
= pi1 ,i2 ,
par la propri´ t´ de Markov. C’est pareil pour les autres termes.
ee
Dans toute la suite, consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a valeurs dans E, de matrice
e ı e `
de transition P et de loi initiale µ0 .
Proposition 1.1.5 La loi de la chaˆne de Markov homog` ne (Xn )n∈N est invariante par translation dans le
ı e
temps. Autrement dit, pour tous entiers n, m, toute suite d’´ tats i0 , i1 , . . . , in , in+1 , . . . , in+m pour lesquels
e
IP(Xn = in , Xn−1 = in−1 , . . . , X1 = i1 , X0 = i0 ) > 0 ,
il vient :
IP(Xn+m = in+m , . . . , Xn+1 = in+1 | Xn = in , . . . , X0 = i0 ) =
IP(Xm = in+m , . . . , X1 = in+1 | X0 = in ) .
La probabilit´ conditionnelle d’une trajectoire donn´ e (i.e. les etats in+1 , . . . , in+m ) reste la mˆ me au cours
e e ´ e
du temps, qu’elle ait lieu entre les instants n + 1 et n + m ou entre les instants 1 et m. Seul compte le
dernier etat visit´ , en l’occurrence in .
´ e
Une g´ n´ ralisation de ce r´ sultat est connue sous le nom de relation de Chapman-Kolmogorov :
e e e
IP(Xn+m = j | X0 = i) = IP(Xm = j | X0 = k) IP(Xn = k | X0 = i) .
k∈E
Il faut la lire comme suit : aller de i a j en n + m pas, c’est aller de i a un certain etat k en n pas puis de k
` ` ´
a j en m pas.
`
Notons par µn la loi de Xn . C’est une mesure de probabilit´ sur E que l’on peut ecrire sous la forme
e ´
d’un vecteur ligne (µn (j))j∈E (i.e. un el´ ment de R
´e Card(E) ). L’objectif de la fin de cette section consiste a
`
etablir une relation matricielle liant µn a la loi initiale µ0 et a la matrice P
´ ` `
(n)
Pour ce faire, notons par (pi,j )i,j∈E les coefficients de la matrice P n , puissance ne de P . L’expression
(n)
brute de pi,j est
(n)
pi,j = pi,i1 pi1 ,i2 . . . pin−1 ,j .
i1 ,...,in−1 ∈E
(n)
Cette formule etant purement alg´ brique, voici une nouvelle expression du coefficient pi,j lui donnant
´ e
davantage de sens :
Proposition 1.1.6 Soient n un entier et i, j des etats.
´
(n)
(1) IP(Xn = j | X0 = i) = pi,j .
12
13. (2) µn+1 = µn P .
(3) µn = µ0 P n , ce qui signifie que IP(Xn = j) est le j e el´ ment du vecteur ligne µ0 P n .
´e
En utilisant des vecteurs colonnes pour d´ crire les lois de Xn et Xn+1 , le point (2) devient
e
t
µn+1 =t P t µn .
On peut donc voir l’´ volution en loi de la suite (Xn )n∈N comme un syst` me it´ ratif lin´ aire dont t P est la
e e e e
matrice d’´ volution : on obtient la loi de Xn+1 en multipliant (matriciellement et par la gauche) la loi de
e
Xn par t P .
D´ monstration Seul le cas n = 2 sera trait´ pour donner l’intuition concernant le point (1). Le coefficient
e e
(2) e ligne et de la j e colonne de la matrice P 2 vaut
pi,j de la i
(2)
pi,j = pi,k pk,j .
k∈E
La formule des probabilit´ s totales et la Proposition 1.1.4 permettent d’´ crire les egalit´ s :
e e ´ e
IP(X2 = j, X0 = i) = IP(X2 = j, X1 = k, X0 = i)
k∈E
= µ0 (i) pi,k pk,j ,
k∈E
(2)
desquelles on en d´ duit le r´ sultat ; IP(X2 = j|X0 = i) = pi,j . Par ailleurs,
e e
µn+1 (j) = IP(Xn+1 = j) = IP(Xn+1 = j, Xn = i)
i∈E
= IP(Xn+1 = j | Xn = i) IP(Xn = i)
i∈E
= pi,j IP(Xn = i) .
i∈E
Cette egalit´ implique la relation matricielle µn+1 = µn P (i.e. le point (2)). Enfin, le point (3) s’obtient
´ e
par une r´ currence imm´ diate.
e e
´
1.2 Classification des etats
1.2.1 Classes irr´ ductibles
e
D´ finition 1.2.1 Soient i et j deux etats de E. On dit que l’´ tat j est accessible depuis l’´ tat i si
e ´ e e
(n)
∃n ∈ N, pi,j = IP(Xn = j | X0 = i) > 0 .
On dit que les etats i et j communiquent si chacun est accessible depuis l’autre. On note alors i ↔ j.
´
Proposition 1.2.2 La relation ↔ est une relation d’´ quivalence sur E.
e
13
14. D´ monstration La r´ fl´ xivit´ (i.e. i ↔ i) est imm´ diate : pour n = 0, IP(X0 = i | X0 = i) = 1. Il en va
e e e e e
de mˆ me pour la sym´ trie (i ↔ j implique j ↔ i). Enfin, la transitivit´ repose sur la relation de Chapman-
e e e
Kolmogorov. Supposons que i ↔ j et j ↔ k. En particulier, les etats j et k sont respectivement accessibles
´
depuis i et j. Il existe donc des entiers m et n tels que IP(Xm = k|X0 = j) > 0 et IP(Xn = j|X0 = i) > 0.
Par cons´ quent,
e
IP(Xn+m = k | X0 = i) = IP(Xm = k | X0 = l) IP(Xn = l | X0 = i)
l∈E
≥ IP(Xm = k | X0 = j) IP(Xn = j | X0 = i) > 0 ,
d’o` k est accessible depuis l’´ tat i. C’est la mˆ me chose dans l’autre sens.
u e e
L’espace E peut donc etre partitionn´ en classes d’´ quivalence pour la relation ↔, appel´ es classes
ˆ e e e
irr´ ductibles. Nous insisterons dans les paragraphes suivants sur le fait que les etats d’une mˆ me classe
e ´ e
irr´ ductible ont des propri´ t´ s equivalentes vis a vis de la chaˆne (r´ currence, transience et p´ riodicit´ ).
e ee ´ ` ı e e e
Lorsque l’espace E est r´ duit a une seule classe (i.e. tous les etats communiquent), on dit que la chaˆne est
e ` ´ ı
irr´ ductible. En g´ n´ ral, E se partitionne en etats isol´ s dans lesquels on ne revient jamais une fois qu’on
e e e ´ e
les a quitt´ s, et en classes irr´ ductibles disjointes.
e e
Pour d´ terminer les classes irr´ ductibles d’une chaˆne de Markov, il est commode de travailler sur le graphe
e e ı
de transition plutˆ t que sur la matrice de transition P .
o
E XEMPLE : Consid´ rons une chaˆne de Markov a valeurs dans E = {a, b, c, d, e} et dont la matrice et le
e ı `
graphe de transition sont donn´ es par :
e
1/2 1/2 0 0 0 1/2
1/4 1/2 1/4 0 0 1/2 1/4 1 1/2
P = 0 0 0 1 0 b
1/2 a c d e
0 0 1/2 0 1/2
0 0 0 1 0 1/4 1/2 1
La chaˆne comporte deux classes irr´ ductibles : {a, b} et {c, d, e}.
ı e
1.2.2 R´ currence et transience
e
D´ finition 1.2.3 Soit i ∈ E. La v.a. Ti d´ finie par
e e
Ti = inf{n ≥ 1, Xn = i}
est appel´ e temps d’atteinte de i ou encore temps de retour a i lorsque la chaˆne (Xn )n∈N part de i. Par
e ` ı
convention, lorsque pour tout n ≥ 1, Xn = i, on pose Ti = +∞.
D´ finition 1.2.4 Un etat i ∈ E est dit r´ current si, partant de i, on y revient presque sˆ rement en temps
e ´ e u
fini :
IP(Ti < +∞ | X0 = i) = 1 .
L’´ tat i est dit transient dans le cas contraire, i.e. lorsque IP(Ti = +∞ | X0 = i) > 0.
e
14
15. Autrement dit, un etat est transient si avec probabilit´ strictement positive, on peut le quitter pour ne jamais
´ e
(n)
y revenir. Comme cas particulier d’´ tat transient, on retrouve les etats pour lesquels pi,i = 0, pour tout
e ´
n ≥ 1. Ce sont ceux que l’on quitte au premier pas pour ne jamais y revenir ;
IP(Ti < +∞ | X0 = i) = IP(∃n ≥ 1, Xn = i | X0 = i)
= IP {Xn = i} X0 = i
n≥1
≤ IP(Xn = i | X0 = i)
n≥1
(n)
≤ pi,i = 0 .
n≥1
E XEMPLES :
• Reprenons le cas de la chaˆne de Markov a valeurs dans E = {a, b, c, d, e} d´ finie dans le paragraphe
ı ` e
pr´ c´ dent. L’´ tat b est transient. En effet, l’´ tat c est accessible depuis b mais pas l’inverse. Autrement dit,
e e e e
en allant en c depuis b, on est sˆ r de ne jamais y revenir :
u
IP(Tb = +∞ | X0 = b) = IP {Xn = b} X0 = b
n≥1
≥ IP(X1 = c | X0 = b) = 1/4 .
Ce qui donne IP(Tb < +∞ | X0 = b) < 1. Il en va de mˆ me pour l’´ tat a :
e e
1 1
IP(Ta = +∞ | X0 = a) ≥ IP(X2 = c, X1 = b | X0 = a) = × ,
4 2
´ ` e ´
d’apr` s la Proposition 1.1.4. Les etats c, d et e seront quant a eux r´ currents. Etudions le cas de c. En
e
partant de c, l’unique solution pour ne jamais y revenir consiste a aller en d puis a transiter ind´ finiment
` ` e
entre d et e, ce qui est de probabilit´ nulle. En effet, pour tout n,
e
IP(Tc = +∞ | X0 = c) ≤ IP(X2n+1 = d, X2n = e, . . . , X3 = d, X2 = e, X1 = d | X0 = c)
≤ pc,d (pd,e pe,d )n ,
toujours d’apr` s la Proposition 1.1.4. Avec pd,e pe,d = 1/2, on obtient la majoration :
e
1
IP(Tc = +∞ | X0 = c) ≤ .
2n
Il ne reste plus qu’` faire tendre n tend vers l’infini.
a
• En exercice, il sera montr´ que la marche al´ atoire sur Z est r´ currente dans le cas sym´ trique, i.e.
e e e e
pour p = q = 1/2, et transiente sinon.
La v.a. Ni est le nombre de passages de la chaˆne (Xn )n∈N par l’´ tat i apr` s l’instant 0 :
ı e e
Ni = 1 Xn =i
1
n≥1
Partant de j, on acc` de en i en temps fini, puis on revient en i au moins n fois (i.e. Ni ≥ n). Cela fait donc
e
au moins n + 1 passages en i (partant de j).
15
16. Lemme 1.2.5 Pour tout entier n et tous etats i et j,
´
IP(Ni ≥ n + 1 | X0 = j) = IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i) .
Les etats transients sont ceux dans lesquels on ne passe qu’un nombre fini de fois. Par opposition, on
´
revient une infinit´ de fois dans un etat r´ current.
e ´ e
Proposition 1.2.6 Les conditions suivantes sont equivalentes :
´
(1) l’´ tat i est r´ current : IP(Ti < +∞|X0 = i) = 1 ;
e e
(2) conditionnellement a X0 = i, la chaˆne de markov (Xn )n∈N revient presque sˆ rement une infinit´
` ı u e
de fois en i :
IP(Ni = +∞ | X0 = i) = 1 ;
(n)
(3) la s´ rie
e pi,i diverge.
Proposition 1.2.7 Les conditions suivantes sont equivalentes :
´
(4) l’´ tat i est transient : IP(Ti < +∞|X0 = i) < 1 ;
e
(5) conditionnellement a X0 = i, la v.a. Ni est presque sˆ rement finie et suit la loi g´ om´ trique de
` u e e
param` tre αi = IP(Ti < +∞|X0 = i) :
e
∀n ∈ N, IP(Ni = n | X0 = i) = αn (1 − αi ) ;
i
(n)
(6) conditionnellement a X0 = i, la v.a. Ni est int´ grable : IE[Ni |X0 = i] =
` e pi,i < +∞.
(n)
Remarquons que l’identit´ entre l’esp´ rance conditionnelle IE[Ni |X0 = i] et la s´ rie
e e e pi,i est valable
quelle que soit la nature de cette derni` re, en la consid´ rant comme un el´ ment de [0; +∞]. Elle repose sur
e e ´e
le th´ or` me de Fubini.
e e
IE[Ni | X0 = i] = IE 1 Xn =i
1 X0 = i
n≥1
= IE[1 Xn =i | X0 = i]
1
n≥1
= IP(Xn = i | X0 = i)
n≥1
(n)
= pi,i .
n≥1
Les deux propositions ci-dessus se d´ montrent simultan´ ment.
e e
D´ monstration Prouvons (1) ⇒ (2). En combinant, IP(Ti < +∞|X0 = i) = 1 et le Lemme 1.2.5, il
e
vient :
IP(Ni ≥ n + 1 | X0 = i) = IP(Ni ≥ n | X0 = i) = . . . = IP(Ni ≥ 1 | X0 = i),
16
17. en it´ rant. Par ailleurs, {Ni ≥ 1} = {Ti < +∞}. On en d´ duit que pour tout n, IP(Ni ≥ n|X0 = i) = 1.
e e
Il ne reste plus qu’` faire tendre n vers l’infini pour obtenir (2) :
a
IP(Ni = +∞ | X0 = i) = IP {Ni ≥ n} X0 = i
n≥1
= lim IP(Ni ≥ n | X0 = i)
n→+∞
= 1.
L’implication (2) ⇒ (3) repose sur :
(n)
pi,i = IE[Ni | X0 = i] ≥ (+∞) IP(Ni = +∞ | X0 = i) = +∞ .
n≥1
Supposons (4) : αi = IP(Ti < +∞|X0 = i) < 1. Le Lemme 1.2.5 donne :
IP(Ni ≥ n + 1 | X0 = i) = αi IP(Ni ≥ n | X0 = i) = . . . = αn IP(Ni ≥ 1 | X0 = i) .
i
Ainsi,
IP(Ni ≥ n + 1 | X0 = i) = αn IP(Ti < +∞ | X0 = i) = αn+1 .
i i
On en d´ duit d’une part que Ni est presque sˆ rement finie
e u
IP(Ni = +∞ | X0 = i) = lim IP(Ni ≥ n | X0 = i) = 0
n→+∞
(car αi < 1) et d’autre part que sa loi est g´ om´ trique de param` tre αi . Ce qui prouve (5).
e e e
IP(Ni = n | X0 = i) = IP(Ni ≥ n | X0 = i) − IP(Ni ≥ n + 1 | X0 = i) = αn (1 − αi ) .
i
L’implication (5) ⇒ (6) est imm´ diate :
e
αi
IE[Ni | X0 = i] = IP(Ni ≥ n | X0 = i) = < +∞ .
1 − αi
n≥1
Enfin, (3) ⇒ (1) et (6) ⇒ (4) sont respectivement les contrapos´ es de (4) ⇒ (6) et (1) ⇒ (3). Les
e
boucles sont boucl´ es !
e
La r´ currence et la transience sont des propri´ t´ s de classe irr´ ductible :
e ee e
Proposition 1.2.8 Si les etats i et j communiquent alors ils sont tous deux r´ currents ou tous deux tran-
´ e
sients.
Ainsi, tous les etats appartenant a la mˆ me classe irr´ ductible qu’un etat transient (resp. r´ current), le seront
´ ` e e ´ e
egalement. La classe sera alors qualifi´ e de transiente (resp. r´ currente).
´ e e
(k) (l)
D´ monstration Si les etats i et j communiquent, il existe deux instants k et l tels que pi,j > 0 et pj,i > 0.
e ´
Soit m ≥ k + l. Partant de i, une facon d’y revenir en m pas consiste a d’abord aller en j en l pas, puis d’y
¸ `
revenir en m − k − l pas pour enfin aller en i en k pas :
(m) (l) (m−k−l) (k)
pi,i ≥ pi,j pj,j pj,i .
17
18. De la mˆ me mani` re,
e e
(m) (k) (m−k−l) (l)
pj,j ≥ pj,i pi,i pi,j .
(m) (m)
Les deux s´ ries m pi,i et
e m pj,j sont donc de mˆ me nature. Les Propositions 1.2.6 et 1.2.7 permettent
e
alors de conclure.
Proposition 1.2.9 La probabilit´ de sortir d’une classe irr´ ductible r´ currente est nulle. Plus pr´ cis´ ment,
e e e e e
si i est un etat r´ current et C(i) sa classe alors
´ e
(n)
∀j ∈ C(i), ∀n ∈ N, IP(Xn = j | X0 = i) = pi,j = 0 .
/
(n)
D´ monstration Soit j ∈ C(i) et supposons par l’absurde qu’il existe un entier n tel que pi,j > 0. Il
e /
(m) (m)
existe alors un entier m tel que pj,i > 0. Dans le cas contraire, i.e. ∀m pj,i = 0, l’´ tat i ne pourrait etre
e ˆ
r´ current puisqu’il existerait une probabilit´ non nulle de quitter i et de ne jamais y revenir. D` s lors, les
e e e
etats i et j communiquent, ce qui contredit j ∈ C(i).
´ /
Proposition 1.2.10 Toute chaˆne de Markov homog` ne sur un espace d’´ tats fini a au moins un etat
ı e e ´
r´ current. En particulier, toute chaˆne irr´ ductible sur un espace d’´ tats fini est r´ currente.
e ı e e e
D´ monstration Montrons que, etant donn´ un etat i transient, le nombre moyen de passage par l’´ tat i en
e ´ e ´ e
partant d’un etat j, i.e. IE[Ni |X0 = j], est finie. Cette affirmation repose sur le Lemme 1.2.5, la Proposition
´
1.2.7, le fait que IE[Z] = n≥1 IP(Z ≥ n) pour une v.a. positive Z et le calcul suivant :
IE[Ni | X0 = j] = IP(Ni ≥ n + 1 | X0 = j)
n∈N
= IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i)
n∈N
= IP(Ti < +∞ | X0 = j) IP(Ni ≥ n | X0 = i)
n∈N
= IP(Ti < +∞ | X0 = j)(1 + IE[Ni | X0 = i])
< +∞ .
Donc, presque sˆ rement, chaque etat de E est visit´ un nombre fini de fois. C’est impossible : E etant fini,
u ´ e ´
notre chaˆne fr´ quente au moins l’un des etats de E une infinit´ de fois.
ı e ´ e
1.2.3 P´ riodicit´
e e
D´ finition 1.2.11 La p´ riode d’un etat i est l’entier d(i) d´ fini par
e e ´ e
(n)
d(i) = PGCD{n ≥ 1, pi,i > 0} .
Lorsque d(i) = 1, l’´ tat i est qualifi´ de ap´ riodique.
e e e
18
19. Un etat en lequel on peut rester avec probabilit´ non nulle, i.e. pi,i > 0, est automatiquement ap´ riodique.
´ e e
`
Voici deux exemples. A gauche, l’´ tat a est de p´ riode 2 (idem pour b). En effet, chaque chemin de
e e
e `
probabilit´ non nulle partant de a et y revenant comprend un nombre pair de pas. A droite, tous les etats ´
e ´
sont ap´ riodiques. Etudions en particulier le cas de l’´ tat 1. Depuis cet etat, il est possible d’y revenir en 3
e ´
pas (en faisant 1 → 2 → 3 → 1) :
(3)
p1,1 = p1,i pi,j pj,1 ≥ p1,2 p2,3 p3,1 > 0 .
i,j∈E
(5)
Il est egalement possible d’y revenir en 5 pas : p1,1 > 0 (en faisant 1 → 2 → 3 → 4 → 3 → 1). Puisque 3
´
et 5 sont premiers entre eux, l’´ tat 1 est ap´ riodique.
e e
1/2
1 1/2
1
2/3
1/3 3 4
a b
2 1
1 1/3
2/3
Simuler une chaˆne de Markov est tr` s facile. Voici le code R de la fonction iteration qui prend en entr´ e
ı e e
un etat x ∈ E et renvoie l’´ tat visit´ juste apr` s conform´ ment a la dynamique d´ crite par le graphe de
´ e e e e ` e
transition ci-dessus a droite.
`
iteration <– function(X)
{ U <– runif(1,min=0,max=1)
if (X==a) { if (U < 1/3) {Y=b} else {Y=c}}
if (X==b) { if (U < 2/3) {Y=b} else {Y=c}}
if (X==c) { if (U < 1/2) {Y=a} else {Y=d}}
if (X==d) {Y=c}
Y
}
La p´ riodicit´ est une propri´ t´ de classe irr´ ductible :
e e ee e
Proposition 1.2.12 Si les etats i et j communiquent alors ils ont la mˆ me p´ riode.
´ e e
Tous les etats d’une mˆ me classe irr´ ductible ont donc la mˆ me p´ riode. Si celle-ci vaut 1, la classe est
´ e e e e
alors qualifi´ e de ap´ riodique.
e e
D´ monstration Soient i et j deux etats qui communiquent. Il suffit de montrer que d(j) divise d(i). En
e ´
effet, par sym´ trie, on aura egalement d(i) divise d(j), et donc d(j) = d(i). Comme i et j communiquent,
e ´
(l) (m)
il existe deux entiers l et m tels que pi,j > 0 et pj,i > 0. Consid´ rons maintenant un entier n tel que
e
(n)
pi,i > 0. Les in´ galit´ s
e e
(m+n+l) (m) (n) (l)
pj,j ≥ pj,i pi,i pi,j > 0
19
20. et
(m+l) (m) (l)
pj,j ≥ pj,i pi,j > 0
impliquent respectivement que d(j) divise les entiers m + n + l et m + l : il divise donc la diff´ rence, i.e.
e
(n)
n. Autrement dit, d(j) divise tous les entiers n tels que pi,i > 0. Il divise donc leur PGCD d(i).
1.3 Th´ or` mes limites
e e
´
Etant donn´ une chaˆne de Markov homog` ne (Xn )n∈N , l’objectif de cette derni` re partie est d’approximer
e ı e e
la loi de la v.a. Xn lorsque n tend vers l’infini.
1.3.1 Les mesures stationnaires
D´ finition 1.3.1 Une mesure stationnaire (ou invariante) d’une chaˆne de Markov de matrice de transition
e ı
P est une loi de probabilit´ sur E, disons π = (π(j))j∈E , v´ rifiant π = πP .
e e
Soit π une mesure stationnaire pour la chaˆne de Markov (Xn )n∈N de matrice de transition P . Rappelons
ı
que le vecteur ligne (µn (j))j∈E d´ signe la loi de la v.a. Xn . La formule µn+1 = µn P (Proposition 1.1.6)
e
implique que si la loi de Xn est π (i.e. µn = π) alors il en est de mˆ me pour la loi de Xn+1 (i.e. µn+1 = π).
e
Par cons´ quent, si la loi initiale µ0 (celle de X0 ) est π alors toutes les v.a. Xn seront distribu´ es selon π.
e e
C’est ce qui justifie le qualificatif de stationnaire. Cela signifie que la probabilit´ de se trouver dans un etat
e ´
donn´ reste constante au cours du temps, bien que la chaˆne saute constamment d’´ tat en etat. Une mesure
e ı e ´
stationnaire doit donc etre comprise comme un equilibre dynamique en loi.
ˆ ´
E XEMPLE :
Consid´ rons une chaˆne de Markov (Xn )n∈N a espace d’´ tats E = {a, b, c} dont la matrice et le graphe de
e ı ` e
transition sont donn´ s par :
e
a 1
0 1 0
1/2 b 1/2
P = 0 1/2 1/2
1/2 0 1/2
c 1/2
1/2
R´ solvons le syst` me lin´ aire π = πP o` les coordonn´ es du vecteur π sont not´ es (πa , πb , πc ). On obtient
e e e u e e
une droite vectorielle de solutions, engendr´ e par le vecteur (1/2, 1, 1). Par ailleurs, la mesure stationnaire
e
π est une mesure de probabilit´ . Elle doit donc satisfaire la condition πa + πb + πc = 1. Ceci d´ termine π
e e
de mani` re unique ; π = (1/5, 2/5, 2/5).
e
Attention, contrairement a l’exemple ci-dessus, une chaˆne de Markov peut ne pas admettre de mesure
` ı
stationnaire, ou mˆ me en admettre plusieurs...
e
20
21. Consid´ rons enfin une chaˆne de Markov (Xn )n∈N a espace d’´ tats E fini et de matrice de transition P .
e ı ` e
Supposons de plus que la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ sur E, not´ e ν :
e e
pour tout j ∈ E, lim µn (j) = ν(j) .
n→+∞
Puisque E est fini, l’application lin´ aire t P est continue donc t P t µn converge (coordonn´ e par coor-
e e
donn´ e) vers
e t P t ν, lorsque n tend vers l’infini. D’autre part, t P t µ = t µ
n n+1 converge egalement (coor-
´
donn´ e par coordonn´ e) vers la loi t ν. Celle-ci v´ rifie donc t P t ν = t ν, ou encore ν = νP . En conclusion,
e e e
si la suite (Xn )n∈N converge en loi vers une mesure de probabilit´ alors cette loi limite est n´ cessairement
e e
une mesure stationnaire pour la chaˆne de Markov correspondante.
ı
1.3.2 Lorsque l’espace d’´ tats E est fini
e
Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de matrice de transition
e ı e ` e
P . Comme la somme des coefficients sur chaque ligne de P vaut 1, tout vecteur a coordonn´ es constantes
` e
est vecteur propre de P associ´ a la valeur propre 1. Une matrice carr´ e et sa transpos´ e ayant les mˆ mes
e` e e e
valeurs propres, 1 est donc egalement valeur propre de t P . Notons E1 l’espace propre associ´ a la valeur
´ e`
propre 1 pour t P :
E1 = {v ∈ RCard(E) , tP v = v} .
On vient de montrer que dim E1 ≥ 1. D` s lors, tout vecteur (colonne) t π appartenant a E1 et dont la
e `
somme des coordonn´ es vaut 1, produit un vecteur ligne π, loi de probabilit´ sur E et v´ rifiant π = πP .
e e e
C’est donc une mesure stationnaire pour la chaˆne de Markov de matrice de transition P . En conclusion,
ı
l’existence d’au moins une mesure stationnaire est automatique lorsque l’espace d’´ tats E est fini.
e
Lorsque la chaˆne est irr´ ductible (dans ce cas, tous les etats sont r´ currents), l’espace propre E1 est de
ı e ´ e
dimension 1, ce qui implique l’unicit´ de la mesure stationnaire.
e
Proposition 1.3.2 Consid´ rons une chaˆne de Markov homog` ne a espace d’´ tats fini E et de matrice de
e ı e ` e
transition P . Elle admet au moins une mesure stationnaire. Si la chaˆne est irr´ ductible alors il y a unicit´
ı e e
de la mesure stationnaire (notons-la π). Dans ce cas, elle charge tous les etats
´
π(i) > 0, pour tout i ∈ E
et le temps moyen de retour en i est egal a l’inverse de π(i) :
´ `
1
IE[T (i) | X0 = i] = , pour tout i ∈ E.
π(i)
Cependant, l’existence et l’unicit´ de la mesure stationnaire π n’assure pas la convergence en loi de la suite
e
(Xn )n∈N vers π. Cette convergence repose en fait sur l’ap´ riodicit´ de la chaˆne.
e e ı
Le r´ sultat suivant est non trivial. Il ne sera pas d´ montr´ .
e e e
Th´ or` me 1.3.3 Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N a espace d’´ tats fini E et de
e e e ı e ` e
matrice de transition P . Supposons de plus que la chaˆne est irr´ ductible et ap´ riodique. Notons π sa
ı e e
mesure stationnaire.
(1) La matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont
egales a π.
´ `
21
22. (2) Quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers
π : pour tout etat i, IP(Xn = i) → π(i).
´
Les points (1) et (2) s’interpr` tent par de l’ind´ pendance asymptotique : en deux instants eloign´ s l’un de
e e ´ e
l’autre, la chaˆne se comporte de mani` re presque ind´ pendante. En effet, les quantit´ s IP(Xn = j|X0 = i)
ı e e e
et IP(Xn = j) tendent toutes les deux vers la mˆ me limite π(j). Elles sont donc proches asymptotiquement,
e
ce qui donne
IP(Xn = j , X0 = i) ≃ IP(Xn = j) IP(X0 = i) .
En utilisant l’invariance par translation dans le temps, la relation ci-dessus se g´ n´ ralise en
e e
IP(Xn+m = j , Xm = i) ≃ IP(Xn+m = j) IP(Xm = i) .
Consid´ rons une nouvelle fois l’exemple du bit informatique dont la matrice de transition est donn´ e par
e e
p 1−p
P = .
1−p p
La chaˆne de Markov correspondante est irr´ ductible si et seulement si p < 1. Dans ce cas, l’unique
ı e
mesure stationnaire est le vecteur ligne π = (1/2, 1/2). Si de plus p > 0, alors la chaˆne est ap´ riodique.
ı e
Le th´ or` me limite s’applique :
e e
1
∀i ∈ {0, 1}, lim IP(Xn = i) = .
n→+∞ 2
Autrement dit, quelque soit le bit initial X0 et quelle que soit la valeur de 0 < p < 1, au bout d’un certain
temps, le bit sortant suit une loi uniforme sur {0, 1}.
Lorque p = 0, la matrice de transition devient
0 1
P = .
1 0
La chaˆne est alors 2−p´ riodique. Puisque P 2 est egale a la matrice identit´ , il en va de mˆ me pour toutes
ı e ´ ` e e
les puissances paires de P , tandis que les puissances impaires sont egales a P . Par cons´ quent, le coefficient
´ ` e
(n) (n)
p0,0 prend alternativement les valeurs 0 et 1 : la suite (p0,0 )n∈N ne peut converger.
(n)
Terminons par une comparaison. La Th´ or` me 1.3.3 stipule que, sous les bonnes hypoth` ses, pi,j tend
e e e
vers une limite strictement positive (Proposition 1.3.2). Ceci concerne le cas o` j est r´ current. Lorsque
u e
(n)
j est transient, pi,j tend vers 0. En effet, l’esp´ rance conditionnelle IE[Nj |X0 = i] est finie (voir la
e
d´ monstration de la Proposition 1.2.10). Par cons´ quent, la s´ rie
e e e
(n)
pi,j = IP(Xn = j | X0 = i)
n≥1 n≥1
= IE[1 Xn =j | X0 = i]
1
n≥1
= IE[Nj | X0 = i]
(n)
est convergente. Son terme g´ n´ ral, i.e. pi,j , tend donc vers 0 quand n tend vers l’infini.
e e
22
23. 1.3.3 Lorsque l’espace d’´ tats E est infini
e
L’´ tude th´ orique de la convergence en loi d’une chaˆne de Markov devient plus d´ licate lorsque l’espace
e e ı e
e `
d’´ tats E est infini. A plus forte raison que dans la partie pr´ c´ dente, les r´ sultats qui suivent ne seront pas
e e e
d´ montr´ s.
e e
Consid´ rons une chaˆne de Markov homog` ne (Xn )n∈N irr´ ductible et r´ currente, a espace d’´ tats infini E
e ı e e e ` e
E , a coordonn´ es
et de matrice de transition P . On peut alors montrer qu’il existe un vecteur colonne v ∈ R ` e
strictement positives, v´ rifiant t P v = v. Si la somme des coordonn´ es de v est finie
e e
M := v(j) < +∞ , (1.2)
j∈E
alors il suffit de renormaliser le vecteur v par sa masse totale M pour obtenir une mesure stationnaire (qui
sera unique). Cependant la condition (1.2) n’est pas toujours v´ rifi´ e. Une hypoth` se suppl´ mentaire sur
e e e e
la chaˆne doit etre faite pour assurer l’existence (et l’unicit´ ) d’une mesure stationnaire.
ı ˆ e
D´ finition 1.3.4 Consid´ rons une chaˆne de Markov homog` ne irr´ ductible et r´ currente a espace d’´ tats
e e ı e e e ` e
infini E. Soit i ∈ E. Le temps de retour T (i) a i est fini presque sˆ rement (car i est r´ current). Si, de plus,
` u e
IE[T (i)|X0 = i] < +∞ ,
l’´ tat i est qualifi´ de r´ current positif. Dans le cas contraire, i est qualifi´ de r´ current nul.
e e e e e
ˆ
Etre r´ current nul signifie que l’on revient presque sˆ rement en temps fini en cet etat mais que le temps de
e u ´
retour est plutˆ t long. Si long que son esp´ rance est infinie.
o e
La marche al´ atoire simple et sym´ trique (i.e. avec p = 1/2) sur Z est un exemple de chaˆne de Markov
e e ı
pour laquelle tous les etats sont r´ currents nuls.
´ e
Le th´ or` me suivant etablit que la r´ currence positive est une propri´ t´ de classe (mˆ me chose pour la
e e ´ e ee e
r´ currence nulle) : c’est une condition n´ cessaire et suffisante pour l’existence d’une mesure stationnaire.
e e
Si c’est le cas, il y a unicit´ de la mesure stationnaire.
e
Th´ or` me 1.3.5 Soit (Xn )n∈N une chaˆne de Markov homog` ne irr´ ductible, a espace d’´ tats infini E.
e e ı e e ` e
Sont equivalentes :
´
(i) tous les etats sont r´ currents positifs ;
´ e
(ii) il existe au moins un etat r´ current positif ;
´ e
(iii) la chaˆne (Xn )n∈N admet (au moins) une mesure stationnaire.
ı
Lorsque ces conditions sont v´ rifi´ es, il y a unicit´ de la mesure statonnaire. Notons-la π. Elle est d´ finie
e e e e
par :
1
∀i ∈ E, = IE[T (i) | X0 = i] .
π(i)
Si de plus, la chaˆne (Xn )n∈N est ap´ riodique alors :
ı e
(1) la matrice P n converge quand n tend vers l’infini vers une matrice dont toutes les lignes sont egales
´
aπ;
`
(2) quelle que soit la loi de X0 , la suite (Xn )n∈N convergence en loi quand n tend vers l’infini vers π :
pour tout etat i, IP(Xn = i) → π(i).
´
23
24. 1.4 Exercices
Exercice 1 : Transmission d’un bit informatique
Un bit informatique valant 0 ou 1 est transmis d’un poste A vers un poste B en passant par N interm´ diaires.
e
Chacun de ces interm´ diaires transmet correctement le bit avec probabilit´ p et l’inverse avec probabilit´
e e e
1 − p, ind´ pendamment les uns des autres. Le bit (al´ atoire) d’entr´ e, disons X0 , est suppos´ ind´ pendent
e e e e e
des interm´ diaires. Pour n = 1, . . . , N , notons Xn le bit sortant du ne interm´ diaire.
e e
1. Il a et´ v´ rifi´ en cours que la suite de v.a. (Xn )0≤n≤N est une chaˆne de Markov homog` ne.
´e e e ı e
Rappeler sa matrice et son graphe de transition.
2. Calculer la probabilit´ que le bit arrive correct en B. Que vaut cette probabilit´ lorsque N tend vers
e e
l’infini ?
Commentaires : le th´ or` me limite 1.3.3 permet de retrouver rapidement ces r´ sultats.
e e e
Exercice 2 : Jeu de l’oie
Soit le petit jeu de l’oie suivant. Les cases sont 0, 1, 2, 3 et forment un cycle. Sur la case 3, il est ecrit “au
´
`
prochain tour, reculez de deux cases”. On part de la case 0 et on gagne d` s que l’on y retourne. A chaque
e
etape, on lance une pi` ce sym´ trique : on avance d’une case si c’est face et de deux si c’est pile. On note
´ e e
Xn la suite des etats (le joueur continue de jouer apr` s avoir gagn´ ).
´ e e
1. Montrer que la suite (Xn )n∈N est une chaˆne de Markov homog` ne issue de 0 et donner sa matrice
ı e
de transition.
´
2. Etudier la convergence en loi de la chaˆne.
ı
3. En d´ duire le nombre moyen de coups jou´ s pour gagner.
e e
Exercice 3 : Gestion de stock
Dans un magasin, on souhaite suivre l’´ volution au cours du temps du stock d’un article donn´ , i.e. le
e e
nombre d’exemplaires de cet article en r´ serve dans le magasin. Notons Xn ce nombre au matin du ne jour.
e
Ce jour-l` , Dn+1 exemplaires de cet article sont demand´ s. Le stock evolue comme suit. Si Xn −Dn+1 ≥ s
a e ´
alors on ne r´ approvisionne pas. Dans le cas contraire, on r´ approvisionne a hauteur de S. Les entiers s et
e e `
S sont les niveaux minimal et maximal du stock. La suite de v.a. (Dn )n≥1 est i.i.d. et le niveau initial du
stock X0 peut etre suppos´ ind´ pendant des (Dn )n≥1 .
ˆ e e
1. Montrer que la suite (Xn )n∈N est une chaˆne de Markov homog` ne et donner son graphe de tran-
ı e
sition (du moins, les arˆ tes issues d’un etat s ≤ x ≤ S).
e ´
2. Supposons d´ sormais que s = 1, S = 2 et que la loi commune des (Dn )n≥1 est uniforme sur
e
{0, 1, 2}. Donner la matrice et le graphe de transition. Quelle est la probabilit´ d’ˆ tre en rupture de stock a
e e `
long terme ?
Exercice 4 (Examen 2009) :
Consid´ rons la chaˆne de Markov (Xn )n∈N a valeurs dans E = {a, b, c, d} et dont la matrice de transition
e ı `
est donn´ e par :
e
1/2 1/4 1/4 0
1/2 1/2 0 0
P = 0
.
0 0 1
0 1/2 1/2 0
24
25. 1. Repr´ senter le graphe de transition de la chaˆne (Xn )n∈N et montrer qu’elle est irr´ ductible.
e ı e
(n)
2. Calculer le coefficient pd,d pour n = 1, 2, 3, 4.
(n)
3. La s´ rie pd,d est-elle convergente ou divergente ?
e
´
4. Etudier la convergence en loi de la chaˆne. En d´ duire le temps moyen de retour en l’´ tat d.
ı e e
Exercice 5 : Existence de plusieurs mesures stationnaires
Consid´ rons la chaˆne de Markov (Xn )0≤n≤N a valeurs dans E = {a, b, c, d} et dont la matrice de transi-
e ı `
tion est donn´ e par :
e
1/2 1/2 0 0
1/2 1/2 0 0
P = 1/4 1/4 1/4 1/4 .
0 0 0 1
1. D´ terminer les classes irr´ ductibles. Lesquelles sont transientes, r´ currentes ?
e e e
2. Montrer que la matrice P n converge (coefficient par coefficient) vers une matrice P ∞ que l’on
d´ terminera.
e
3. En d´ duire l’existence de plusieurs mesures stationnaires (associ´ es a P ).
e e `
Exercice 6 : La marche al´ atoire simple
e
Soient (Yn )n≥1 une suite de v.a. i.i.d., chacune valant 1 avec probabilit´ p et −1 avec probabilit´ 1− p. Soit
e e
Y0 ∈ Z une v.a. ind´ pendante des Yn , repr´ sentant le point de d´ part sur l’axe Z de la chaˆne. On d´ finit la
e e e ı e
marche al´ atoire simple par
e
Xn+1 = Xn + Yn+1
= Y0 + Y1 + . . . + Yn + Yn+1 ,
pour tout n ∈ N. Il a et´ v´ rifi´ que le processus stochastique (Xn )n≥1 est une chaˆne de Markov homog` ne
´e e e ı e
sur E = Z.
(2n+1) (2n) (2n)
1. Montrer que, pour tout n, p0,0 = 0 et p0,0 = C2n pn q n . Puis, donner un equivalent de p0,0 en
n ´
utilisant la formule de Stirling :
√ n n
∃A > 0, n! ∼ A n .
e
2. Conclure quant a la r´ currence ou la transience de la chaˆne en fonction du param` tre p. Interpr´ ter.
` e ı e e
25
