1
Généralités sur les
chaàýnes de Markov
Les chaàýnes de Markov sont un objet essentiel
des probabilités modernes. Elles apparaissent et sont utilisées
avec succès dans des domaines aussi divers que la physique, la biologie,
les sciences sociales ou l'informatique.
L'objet de ce chapitre est de présenter la théorie
des chaàýnes de Markov. Nous nous limiterons au cas particulier
(essentiel) o`u l'espace des états est un ensemble
dénombrable.
Ainsi, nous introduirons quelques concepts fondamentaux des
chaàýne de Markov. En particuliers, nous nous focaliserons sur le
problème d'existence d'une distribution stationnaire.
1.1 Processus stochastiques
Les processus stochastiques décrivent
l'évolution d'une grandeur aléatoire en fonction du temps. Les
processus stochastiques ont pris un énorme essor, non seulement en
finances, dans la fiabilitédes systèmes, en mécanique
statistique ou encore dans les sciences de la vie, mais également dans
des techniques appliquées a` des problèmes qui au départ
n'ont rien a` voir avec les probabilités ou le risque. Tel est le cas
des méthodes d'optimisation globale, ou du traitement de certains
problèmes de l'analyse numérique.
1.1.1 D'efinitions
Un processus stochastique {X(t)}t?T est une fonction
du temps dont la valeur a` chaque instant dépend de l'issue d'une
expérience aléatoire .
Un processus stochastique est donc une famille de variables
aléatoires (non indépendantes).
On appelle espace des
états l'ensemble S o`u les variables {Xt} prennent leurs valeurs[15].
L'espace peut être discret ou continu. Le temps peut
être discret, continu, temps continu o`u les évolutions n'ont lieu
qu'àdes instants discrets.
Une trajectoire d'un processus est décrit par un couple
(espace, temps). Par conséquent, on distingue quatre types de processus
(si l'ensemble S est fini ou dénombrable le processus est
appeléune chaàýne) :
- Suite stochastique a` espace d'états discret; - Suite
stochastique a` espace d'états continu; - Processus continu a` espace
d'états discret; - Processus continu a` espace d'états
continu.
Quelques exemples
- EC/TC : réaction chimique ou le mouvement de particules
en interaction;
- EC/TD : modèle journalier de remplissage d'un
barrage;
- ED/TC : nombre de particules au cours d'une réaction
chimique;
- ED/EvD : nombre de clients dans une file d'attente;
- ED/TD : gain d'un joueur a` chaque étape, somme de
variables aléatoires indépendantes.
On peut aussi caractériser un processus {Xt} par les
relations qui existent entre les variables Xt qui le compose.
1.1.2 Processus Markoviens
La notion de processus Markovien repose sur le principe de
processus sans post action, on entend un processus pour lequel la
probabilitéqu'il se trouve dans un état (ou un ensemble
d'états) a` l'instant t ne dépend que de son état au
dernier instant connu s < t. Plus précisément, il est
défini comme suit :
Un processus stochastique {Xt, t = 0} a` valeurs dans l'espace
d'états S est satisfait la propriétéde Markov si pour tout
instant t, et tout sous ensembles d'états I c S, il est vrai que
P[Xt+Ä E I/Xu, 0 = u = t] = P[Xt+Ä E I/Xt]
?Ä ? 0.
Un processus stochastique vérifiant la
propriétéprécédente est appeléprocessus de
Markov ou processus Markovien.
| 
