CHAPITRE 2. FONDEMENTS THÉORIQUES
formules (2.3);
Xni =
j
Avec : oj désigne la valeur d'activation du
neurone i tel quen i = f (ni), où
f (ni) est la fonction d'activation. Nous avons
utilisé la fonction sigmoïde définie par :
1
f (ni) = (2.4)
1 +
e-ni
3. Évaluer l'erreur générer dans les
sorties du réseau en utilisant la formule (2.5);
äj = (dj - oj)oj (1 -
oj) (2.5)
avec djest la valeur désirée du neurone
j
4. Ajuster les poids en utilisant la formule (2.6);
Lwij = çäjoj (2.6)
Où ç est la valeur de la constante
d'apprentissage. En général: 0.1 < ç <
0.9
5. Évaluer l»erreur générer pour
chaque couche cachée en utilisant la formule (2.7);
äj = oj(1 - oj) X
wjkäk (2.7)
k
6. Adapterr les poids de la couche cachée en utilisant la
formule (2.6);
7. Répéter les étapes ( 2) et (6) pour
l'ensemble des vecteurs de caractéristiques de la base d'apprentissage
tant que le critère d'arrêt n'est pas encore atteint.
Pour accélérer la vitesse de convergence de
l'algorithme d'apprentissage, il est possible d'ajouter un momentum. La formule
(2.5) devient :
Awij(n + 1) = çäjoj +
áAwij(n) (2.8)
Où á est le momentum tel que
0.1 < á < 0.8 et
Awij(n) représente l'ajustement à
l'étape précédente.
Il existe plusieurs critères d'arrêts. Parmis les
critères les plus utilusés, nous citons :
- Fixer un seuil que l'erreur quadratique ne doit pas
dépasser. Ceci exige une connaissance
27
CHAPITRE 2. FONDEMENTS THÉORIQUES
préalable de la valeur minimale de l'erreur qui n'est
pas toujours disponible. Il suffit de s'arrêter lorsque tous les objets
sont correctement classés;
- Déterminer un nombre fixe de cycles à
atteindre;
- La méthode du cross-validation peut être
utilisée pour contrôler l'apprentissage du réseaux.
L'algorithme d'apprentissage s'arrête lorsqu'il n'y a pas
d'amélioration de la performance du système de reconnaissance. La
méthode de cross-validation fonctionne sur deux bases : la base
d'apprentissage et la base validation.
L'inconvénient des réseaux de neurones de type
perceptron multicouche est le manque d'une théoriques permettent de
déterminer le nombre de couches cachées et le nombre de neurones
par couche en prenant compte de la complexité du problème
à traiter. Certaines heuristiques permettent pour déterminer le
nombre de neurones dans une couche cachée. Pour définir le nombre
de couches cachées et de neurones par couches, le concepteur doit
effectuer un grand nombre d'expériences. Par exemple, nous varions la
taille du réseau, puis, nous effectuons un apprentissage complet pour
chaque taille. Enfin, nous choisissons la structure qui conduit aux meilleurs
résultats.
De nos jours, les PMCs sont les réseaux les plus
utilisés par les développeurs. Des résultats satisfaisants
ont été mis en valeur dans des domaines d'applications divers.
Dans la partie suivante, nous présenterons les algorithmes
génétiques. Puis, nous mettrons en évidence la relation
entre les algorithmes génétiques et les PMCs.
2.2 Les algorithmes génétiques
Les algorithmes génétiques ont été
mis au point par HOLLAND dans les années 60 [Gue09]. Ils ont
été ensuite raffinés par DEJHON. Les fondements
mathématiques ont été, enfin, exposés par GOLBDERG
[Gol89]. Les AGs4 sont des algorithmes d'optimisation
évo-lutionnaires inspirés de l'évolution Darwinienne des
populations. Ils sont des algorithmes d'optimisation s'appuyant sur des
techniques dérivées de la génétique et des
mécanismes d'évolution de la nature. L'idée fondatrice de
ces algorithmes est d'utiliser la théorie de l'évolution comme
modèle informatique pour trouver une solution optimale. Le but des AGs
est d'optimiser une fonction prédéfinie, appelée fonction
objectif, ou Fitness.
Dans un AG, chaque individu représente un point de
l'espace d'état auquel nous associons un vecteur de valeur de
critères à optimiser. Nous générons, ensuite, une
population d'indi-
4. Algorithme génétique
28
| 
