II.4.2Les méthodes d'apprentissage :
Dans les systèmes experts, les connaissances de
l'expert ont une forme énumérée : elles sont
exprimées sous forme de règles. Dans le cas des réseaux de
neurones, les connaissances ont une forme distribuée : elles sont
codées dans les poids des connexions, la topologie du réseau, les
fonctions de transfert de chaque neurone, le seuil de ces fonctions, la
méthode d'apprentissage utilisée. Il existe un certain nombre de
méthodes d'apprentissage [2]:
II.4.2.1. Règle de Hebb :
C'est la méthode d'apprentissage la plus ancienne
(1949), elle est inspirée de la biologie. Elle traduit le renforcement
des connexions liant deux neurones activés. Si un des deux neurones au
moins n'est pas activé, le poids de la connexion n'est pas
modifié.
II.4.2.2. Rétro-propagation du gradient de
l'erreur :
Cet algorithme est utilisé dans les réseaux de
type feedforward, ce sont des réseaux de neurones à couche, ayant
une couche d'entrée, une couche de sortie, et au moins une couche
cachée. Il n'y a pas de récursivité dans les connexions,
et pas de connexions entre neurones de la même couche. Le principe de la
rétro-propagation consiste à présenter au réseau un
vecteur d'entrées, de procéder au calcul de la sortie par
propagation à travers les couches, de la couche d'entrées vers la
couche de sortie n passant par les couches. Cette sortie obtenue est
comparée à la sortie désirée, une erreur est alors
obtenue. A partir de cette erreur, est calculé le gradient de l'erreur
qui est à son tour propagé de la couche de sortie vers la couche
d'entrée, d'où le terme de rétro-propagation. Cela permet
la modification des poids du réseau et donc l'apprentissage.
L'opération est réitérée pour chaque vecteur
d'entrée et cela jusqu'à ce que le critère d'arr~t soit
vérifié [2].
II.4.2.2.1Avantages et inconvénients de retro
propagation du gradient de l'erreur : > Les Avantages :
Ce f~t un des premiers algorithmes développés
pour l'apprentissage des réseaux de neurones multicouches de types
feedforward. Il permet de pallier une carence de l'algorithme du perceptron qui
est incapable de modifier les poids des couches cachées ,
l'implémentation informatique ne présente pas de
difficultés [2].
> Les Inconvénients :
En ce qui concerne l'algorithme :
L'algorithme de rétro-propagation du gradient de l'erreur
suit la descente du gradient
de
L'erreur [2] : un minimum local peut rapidement bloquer la
recherche des optima globaux :
> L'algorithme de rétro-propagation
est gourmand en temps de calcul.
> Importance du choix du coefficient
d'apprentissage, si le coefficient est trop grand la dynamique du réseau
va osciller autour de l'optimum, s'il est trop petit la convergence est
lente.
| 
