Scoring crédit: une application comparative de la régression logistique et des réseaux de neurones

3.3. Modes et règles d'apprentissage du réseau de neurones (R. Ladjadj, 2002)17(*)

Nous l'avons dit, les RNA sont des algorithmes, ou un ensemble d'équations mathématiques, dont le principe de fonctionnement est schématiquement inspiré du neurone humain. Ce principe est l'apprentissage par l'expérience. Pour qu'un réseau fonctionne, on lui fournit des données en entrée qu'il doit « apprendre » à reconnaître, soit pour les classer en sous groupes homogènes (apprentissage non supervisé à des fins descriptives), soit pour les associer à une variable indicatrice de sortie (apprentissage supervisé à des fins prédictives, conformément aux objectifs du présent mémoire).

a) Modes d'apprentissage

· Le mode supervisé et le renforcement:

Dans ce type d'apprentissage, le réseau s'adapte par comparaison entre le résultat qu'il a calculé, en fonction des entrées fournies, et la réponse attendue en sortie. Ainsi, le réseau va se modifier jusqu'a ce qu'il trouve la bonne sortie, c'est-à-dire celle attendue, correspondant à une entrée donnée.

Le renforcement est en fait une sorte d'apprentissage supervisé et certains auteurs le classe d'ailleurs, dans la catégorie des modes supervisés. Dans cette approche le réseau doit apprendre la corrélation entrée/sortie via une estimation de son erreur, c'est-à-dire du rapport échec/succès. Le réseau va donc tendre à maximiser un index de performance qui lui est fourni, appelé signal de renforcement. Le système étant capable ici, de savoir si la réponse qu'il fournit est correcte ou non, mais il ne connait pas la bonne réponse.

· Le mode non-supervisé (ou auto-organisationnel) :

Dans ce cas, l'apprentissage est basé sur des probabilités. Le réseau va se modifier en fonction des régularités statistiques de l'entrée et établir des catégories, en attribuant et en optimisant une valeur de qualité, aux catégories reconnues.

b) Règles d'apprentissage

· Règle de correction d'erreurs :

Cette règle s'inscrit dans le paradigme de la retropropagation du radient. Si on considère y comme étant la sortie calculée par le réseau, et d la sortie désirée, le principe de cette règle est d'utiliser l'erreur (d-y), afin de modifier les connexions et de diminuer ainsi l'erreur globale du système. Le réseau ajuste ensuite les poids des différents noeuds. Il s'agit, comme dans une régression classique, de résoudre un problème de moindres carrés.

· Règles de Hebb

Selon Hebb « si des neurones, de part et d'autre d'une synapse, sont activés de manière synchrone et répétée, la force de la connexion synaptique va aller croissant ». Il est à noter ici que l'apprentissage est localisé, c'est-à-dire que la modification d'un poids synaptique wij ne dépend que de l'activation d'un neurone i et d'un autre neurone j.

· Règle d'apprentissage par compétitions :

La particularité de cette règle, c'est qu'ici l'apprentissage ne concerne qu'un seul neurone. Le principe de cet apprentissage est de regrouper les données en catégories.

3.4. Les principaux réseaux de neurone

Selon une classification en deux grands groupes (modèles à apprentissage supervisé et non supervisé), on peut généralement retenir 6 principaux réseaux de neurones.

Dans le groupe des RNA à apprentissage supervisé, encore dits non bouclés on distingue :

· Le perceptron monocouche

· Le perceptron multicouches (PMC)

· Les réseaux à fonction radiale de base (Radial basis fonction RBF)

Dans le groupe des RNA à apprentissage non supervisé, encore dits récurrents ou bouclés, on distingue

· Le réseau de Kohonen (ou réseau à compétition, SOM,..)

· Le réseau de Hopfield

· Les réseaux ART (Adaptative Resonance Theory)

Une description schématique de la représentation des différents réseaux de neurone est proposée ci-dessous.

Figure 3: Les principaux modèles de réseaux de neurones

Source : http://www-igm.univ-mlv.fr/~dr/XPOSE2002/Neurones/index.php?rubrique=Apprentissage

* ¹⁷ http://www-igm.univ-mlv.fr/~dr/XPOSE2002/Neurones/index.php?rubrique=Apprentissage