1.1.1 D'efinitions
Un processus stochastique {X(t)}t?T est une fonction
du temps dont la valeur a` chaque instant dépend de l'issue d'une
expérience aléatoire .
Un processus stochastique est donc une famille de variables
aléatoires (non indépendantes).
On appelle espace des
états l'ensemble S o`u les variables {Xt} prennent leurs valeurs[15].
L'espace peut être discret ou continu. Le temps peut
être discret, continu, temps continu o`u les évolutions n'ont lieu
qu'àdes instants discrets.
Une trajectoire d'un processus est décrit par un couple
(espace, temps). Par conséquent, on distingue quatre types de processus
(si l'ensemble S est fini ou dénombrable le processus est
appeléune chaàýne) :
- Suite stochastique a` espace d'états discret; - Suite
stochastique a` espace d'états continu; - Processus continu a` espace
d'états discret; - Processus continu a` espace d'états
continu.
Quelques exemples
- EC/TC : réaction chimique ou le mouvement de particules
en interaction;
- EC/TD : modèle journalier de remplissage d'un
barrage;
- ED/TC : nombre de particules au cours d'une réaction
chimique;
- ED/EvD : nombre de clients dans une file d'attente;
- ED/TD : gain d'un joueur a` chaque étape, somme de
variables aléatoires indépendantes.
On peut aussi caractériser un processus {Xt} par les
relations qui existent entre les variables Xt qui le compose.
1.1.2 Processus Markoviens
La notion de processus Markovien repose sur le principe de
processus sans post action, on entend un processus pour lequel la
probabilitéqu'il se trouve dans un état (ou un ensemble
d'états) a` l'instant t ne dépend que de son état au
dernier instant connu s < t. Plus précisément, il est
défini comme suit :
Un processus stochastique {Xt, t = 0} a` valeurs dans l'espace
d'états S est satisfait la propriétéde Markov si pour tout
instant t, et tout sous ensembles d'états I c S, il est vrai que
P[Xt+Ä E I/Xu, 0 = u = t] = P[Xt+Ä E I/Xt]
?Ä = 0.
Un processus stochastique vérifiant la
propriétéprécédente est appeléprocessus de
Markov ou processus Markovien.
1.2 Chaàýnes de Markov a` temps
discret
Les chaàýnes de Markov sont des processus
markoviens a` temps discrets.
1.2.1 Définitions et propriétés
Une chaàýne de Markov a` temps discret
{Xn, m = 0, 1, ...} définie sur un espace d'états S
satisfait la propriétéde Markov si pour tout m = 1 et pour tout i
E S, il est vrai que :
P[Xn = i/Xn_1 = in_1, ..., X0] = P[Xn =
i/Xn_1 = i - 1]. (*)
Une chaàýnes de Markov a` temps discret est un
processus stochastique {Xn, m = 0} satisfaisant les trois
restrictions suivantes :
1. le processus est a` temps discret;
2. l'espaces des états S est fini ou
dénombrable;
3. le processus satisfait la propriétéde Markov
(*).
| 
