1.3.2 Chaînes de Markov
La théorie de chaines de Markov est couramment
utilisée dans plusieurs domaines à cause de sa rigueur
scientifique et sa simplicité dans la modélisation du monde
réel. Dans cette étude nous allons parler, de façon
brève, de chaines de Markov car ces dernières sont des processus
stochastiques particuliers.
Chaines de Markov à temps discret.
Supposons Pij est une probabilité fixée
indépendante du temps telle que
P(Xn+1 = i |
Xn = j, Xn-1 =
in-1, ··· , X0 =
i0) = Pij, n = 0
oïi,12 i, j, i0,
i1, · · · , in-1 ? espace d'état
.
Théorème 1.3.3.
(Propriétés de Markov forte)[Loustau,p.] Soit
(Xn)n>0 une chaine de Markov (ii,
P). Alors, quelque soit x ? E, conditionnellement à
{XT = x} (l{T <
8},(XT+p)p>0 est une chaine de
Markov (Sx, P) indépendante de
(X0, ..., XT). On peut s'écrire, quelque soit
A ? TT :
P(A
n XT+1 = x1, ..., XT+p =
xp|XT = x, T < 8) = P(A|XT =
x,T < 8)Px(X1 = x1, ...,
Xp = x Classification des
états. Les états d'une chaîne de Markov se
repar-
tissent en classes que l'on définit à partir de la
matrice de transition
Définition 1.3.5. On dit que
l'état j est accessible à partir de l'état i, on est
conséquent de l'état i, s'il existe un entier n > 0
tel que p(n)
i,j > 0. On
écrit : i j.
Proposition 1.3.3.1. (i) La relation
d'accessibilité entre états est réflexive et
transitive.
20
(ii) Soient i, j deux états ; les deux
propriétés suivantes sont équivalentes.
(a) l'état j est accessible à partir de
l'état i, soit i j.
(b) le processus, portant de i, passe par j avec une
probabilité strictement positive.
Définition 1.3.6. On dit deux
états i et j communiquent et on l'écrit i ,
si on a à la fois i j etj
i.
Proposition 1.3.3.2. La relation de
communication entre états est une relations d'équivalence. Pour
tout i, on a p(0)
i,i = 1, tout état communique avec
lui - même.
Un état est appelé état de
retour, s'il existe n > 1 tel que p(n)
i,i = 0. Il existe des états i tel
que pour tout n > 1 (donc 0 exclu ) on dit
p(n)
i,i = 0. De tels états sont
p(n)
i,i = 0appelés états de non - retour.
Pour la relation de communication l'ensemble E des états se
partitionne en classes d'équivalence, disjointes et non vides, dites
classes indécomposables. Certaines classes peuvent ne comporter qu'un
seul élément ; ce sont les singleton comme exemples, mentionnons
:
* un état de non - retour i
:p(0)i,i = 1, p(n)
i,i = 0 pour n > 1;
* un état absorbant i
:p(0)i,i = 1, p(n)
i,i = 1 pour n > 1.
Définition 1.3.7. S'il n'y a
qu'une seule classe pour la relation de communication, autrement dit, si tous
les états communiquent entre eux, la chaîne est dite
irréductible.
Définition 1.3.8. On dit que
l'état récurrent ou transient si pi,i < 1.
Théorème 1.3.4. (Critère de
récurrence) Un état j est récurrent ou transient selon
que
X
n>0
X
n>0
pi,i = +8 (n)
ou que
pi,i < +8 (n)
Proposition 1.3.4.1. On a les
identités
1
Pj,j(s) = 1 - Fj,j(s),
Pi,j(s) = Fi,j(s) (i =6
j),
que l'on peut réunir en une seule formule
Pj,j(s) = äi,j +
Fi,j(s)Fj,j(s)
21
Proposition 1.3.4.2.
|
X X
P(n)
j,j (s) = Si,j + fi,j
n0 n0
|
(s)f(n)
j,j (s)
|
X
n>0
1
pi,i =
(n)
1 - fj,j
ou que
X
n~0
(Z = ) J,7 (Z
~ j
p )
1 - fj,j
| 
