1.3 Exemples
1.3.1 File d'attente en temps discret
File d'attente en temps discret [35] : On considère une
file d'attente qui se forme a` un guichet. Dans ce cas, Xn
désigne le nombre de clients dans la file en attente ou le nombre de
clients entrain de se faire servir a` l'instant n. Entre les instants n et n+1
arrivent Yn+1 clients, et si Xn > 0 partent Zn+1
clients. On suppose que X0, Y1, Z1,Y2, Z2, ... sont
indépendantes, vérifiant 0 < P(Yn = 0) < 1, et
les Zn vérifient P(Zn = 1) = p = 1 -
P(Zn = 0). C'est a` dire que
Xn+1 = Xn + Yn+1 - 1{Xn>0}Zn+1.
1.3.2 La Gestion des stocks
Une entreprise doit g'erer le stock d'un article dont la demande,
a` chaque p'eriode n, est une variable al'eatoire Dn de
distribution
P[Dk = k] = ak k = 0,1,2,...
Supposons que ce stock soit g'er'e de la manière suivante
[4] :
Au d'ebut de la p'eriode n, le niveau Xn du stock
est observ'e et un r'eapprovisionnement, dont le d'elai de livraison est
suffisamment court pour qu'il puisse servir a` satisfaire la demande de la
p'eriode, est d'ecid'e selon la règle :
. Si Xn < s, commander S - Xn
unit'es;
. Si Xn = s, ne rien commander.
Une telle règle de gestion est connue sous le nom de
politique (s, S) o`u s et S sont deux paramètres donn'es .
Au d'ebut de la p'eriode n + 1, le niveau du stock est
{ S - Dn, si Xn < s;
Xn+1 = (1.1)
x - Dn, si Xn = s.
La suite des niveaux de stock {Xn,n = 0, 1,2, ...}
d'efinit donc une chaàýne de Markov dont l'espace des 'etats est
'egal a` S. De plus, pour tout n = 1, nous avons :
|
P[Xn = j/Xn_1 = i] =
|
|
ak, si i < s et j = S - k, k = 0,1,2,...
ak, si i = s et j = i - k, k = 0,1,2,...
0, autrement.
|
(1.2)
|
1.4 Chaàýnes de Markov
discrètes
Pour ce type de chaàýne de Markov, l'espace des
'etats S est un ensemble d'enombrable ou fini. On d'esignera par les lettres i,
j, ... les points de cet espace. Une chaàýne de Markov est
homogène (dans le temps) si la probabilit'e d'effectuer une transition
d'un 'etat dans un autre est ind'ependante de l'instant auquel a lieu cette
transition.
1.4.1 Classification des états d'une chaàýne
de Markov
Afin d'aborder le comportement a` long terme d'une
chaàýne de Markov, il nous faut introduire les diff'erents 'etats
d'un processus Markovien.
On peut aussi distinguer les 'etats d'une chaàýne
de Markov par une propri'et'e concernant le renouvellement des 'etats.
Un état j ? S est accessible a` partir d'un état i
si la probabilitéde transition de i en j en un certain nombre
d'étapes est positive, i.e. ?n > 0 tel que;
pij > 0.
(n)
Si j est accessible a` partir de i, et i a` partir de j, les
états i et j sont dits communicants. Par définition un
état est toujours communicant avec lui-même.
La communication de i et j sera notée i ? j, la
relation ? est une relation d'équivalence et les classes
d'équivalence forment une partition de S. Chaque classe est
composée d'états communicants.
Une classe est persistante si elle correspond a` un sommet sans
successeur de graphe réduit, dans le cas contraire la classe est
transitoire.
Un état persistant (ou récurrent) s'il appartient
a` une classe persistante.
Un état i est récurrent si :
Fii(+00) = 1.
o`u Fij(n) = Pn fij(k) représente la
probabilitépour que la chaàýne passant en i atteigne
i=1
j en moins de n + 1 transitions.
f(n)
ij la probabilit'e de premier passage.
f(n)
ij = P(Xn = j,Xk =6 j).
et le temps de premier passage
Tij = min{k > 0 : Xk = j,X0 = i}.
Les états récurrents eux-mêmes se divisent en
deux sous-catégories :
'Etats récurrents non nuls :
Un état i est récurrent non nul si, la
chaàýne partant de i repassera par i au bout d'un temps fini
.ie,
ui = X8 nfii(k) < 00.
n=1
'Etats récurrents nuls : un état i est
récurrent nul si,la chaàýne partant de i repassera par i
au bout d'un temps infini.i.e
ui = +00.
- Un état i est transitoire si, la chaàýne
partant de i peut ne pas repasser par i,
Fii(+8) < 1.
Plus précisément :
Il existe trois type d'états : transients (on n'y
revient pas toujours), récurrents nuls (on y revient toujours, au bout
d'un temps moyen infini), ou récurrents positifs (on y revient une
infinitéde fois, a` intervalle de temps finis, en moyenne),
- Périodicitéd'un état : un état i
est périodique de période d(i) si :
d(i) = PGCD{n,pii > 0},
si d(i)=1 , »i» est dit apériodique.
o`u PGCD est le Plus Grande Commun Diviseur .
Finalement, un état est dit ergodique s'il est
récurrent non nul et apériodique. - Un état est absorbant,
s'il fait a` lui seul une classe persistante;
- Un état i est absorbant, si seulement si pii = 0 et pij
= 1, ?j =6 i.
| 
