1.4 Chaàýnes de Markov
discrètes
Pour ce type de chaàýne de Markov, l'espace des
'etats S est un ensemble d'enombrable ou fini. On d'esignera par les lettres i,
j, ... les points de cet espace. Une chaàýne de Markov est
homogène (dans le temps) si la probabilit'e d'effectuer une transition
d'un 'etat dans un autre est ind'ependante de l'instant auquel a lieu cette
transition.
1.4.1 Classification des états d'une
chaàýne de Markov
Afin d'aborder le comportement a` long terme d'une
chaàýne de Markov, il nous faut introduire les diff'erents 'etats
d'un processus Markovien.
On peut aussi distinguer les 'etats d'une chaàýne
de Markov par une propri'et'e concernant le renouvellement des 'etats.
Un état j ? S est accessible a` partir d'un état i
si la probabilitéde transition de i en j en un certain nombre
d'étapes est positive, i.e. ?n > 0 tel que;
pij > 0.
(n)
Si j est accessible a` partir de i, et i a` partir de j, les
états i et j sont dits communicants. Par définition un
état est toujours communicant avec lui-même.
La communication de i et j sera notée i ? j, la
relation ? est une relation d'équivalence et les classes
d'équivalence forment une partition de S. Chaque classe est
composée d'états communicants.
Une classe est persistante si elle correspond a` un sommet sans
successeur de graphe réduit, dans le cas contraire la classe est
transitoire.
Un état persistant (ou récurrent) s'il appartient
a` une classe persistante.
Un état i est récurrent si :
Fii(+00) = 1.
o`u Fij(n) = Pn fij(k) représente la
probabilitépour que la chaàýne passant en i atteigne
i=1
j en moins de n + 1 transitions.
f(n)
ij la probabilit'e de premier passage.
f(n)
ij = P(Xn = j,Xk =6 j).
et le temps de premier passage
Tij = min{k > 0 : Xk = j,X0 = i}.
Les états récurrents eux-mêmes se divisent en
deux sous-catégories :
'Etats récurrents non nuls :
Un état i est récurrent non nul si, la
chaàýne partant de i repassera par i au bout d'un temps fini
.ie,
ui = X8 nfii(k) < 00.
n=1
'Etats récurrents nuls : un état i est
récurrent nul si,la chaàýne partant de i repassera par i
au bout d'un temps infini.i.e
ui = +00.
- Un état i est transitoire si, la chaàýne
partant de i peut ne pas repasser par i,
Fii(+8) < 1.
Plus précisément :
Il existe trois type d'états : transients (on n'y
revient pas toujours), récurrents nuls (on y revient toujours, au bout
d'un temps moyen infini), ou récurrents positifs (on y revient une
infinitéde fois, a` intervalle de temps finis, en moyenne),
- Périodicitéd'un état : un état i
est périodique de période d(i) si :
d(i) = PGCD{n,pii > 0},
si d(i)=1 , »i» est dit apériodique.
o`u PGCD est le Plus Grande Commun Diviseur .
Finalement, un état est dit ergodique s'il est
récurrent non nul et apériodique. - Un état est absorbant,
s'il fait a` lui seul une classe persistante;
- Un état i est absorbant, si seulement si pii = 0 et pij
= 1, ?j =6 i.
| 
