2.6.1 Historique
Les premiers à proposer un modèle sont deux
biophysiciens de Chicago, McCulloch et Pitts, qui inventent en 1943 [60] le
premier neurone formel qui portera leurs noms (neurone de McCulloch-Pitts).
Quelques années plus tard, en 1949, Hebb propose une formulation du
mécanisme d'apprentissage, sous la forme d'une règle de
modification des connexions synaptiques (règle de Hebb) [61]. Cette
règle, basée sur des données biologiques, modélise
le fait que si des neurones, de part et d'autre d'une synapse, sont
activés de façon synchrone et répétée, la
force de la connexion synaptique va aller croissant.
Le premier réseau de neurones artificiels apparait en
1958 [62], grâce aux travaux de Rosenblatt qui conçoit le fameux
Perceptron. Le Perceptron est inspiré du système visuel (en
termes d'architecture neurobiologique) et possède une couche de neurones
d'entrée ("perceptive") ainsi qu'une couche de neurones de sortie
("décisionnelle"). Ce réseau parvient à apprendre à
identifier des formes simples et à calculer certaines fonctions
logiques. Il constitue donc le premier système artificiel
présentant une faculté jusque-là réservée
aux êtres vivants : la capacité d'apprendre par
l'expérience.
Malgré tout l'enthousiasme que soulève le
travail de Rosenblatt dans le début des années 60, la fin de
cette décennie sera marquée en 1969, par une critique violente du
Perceptron par Minsky et Papert [63]. Ils montrent dans un livre («
Perceptrons ») toutes les limites de ce modèle, et soulèvent
particulièrement l'incapacité du Perceptron à
résoudre les problèmes non linéairement séparables,
tels que le célèbre problème du XOR (OU
exclusif). Il s'en suivra alors, face à la déception, une
période noire d'une quinzaine d'années dans le domaine des
réseaux de neurones artificiels. Il faudra attendre le début des
années 80 et le génie de Hopfield pour que
Mémoire de Master en EEA, par NKAPKOP Jean De
Dieu.
Cryptage chaotique des images basé sur le
modèle du perceptron
Chapitre 2 : Le chaos et les réseaux de neurones
37
l'intérêt pour ce domaine soit de nouveau
présent. En effet, Hopfield démontre en 1982 tout
l'intérêt d'utiliser des réseaux récurrents (dits
"feed-back") pour la compréhension et la modélisation des
processus mnésiques [64]. Les réseaux récurrents
constituent alors la deuxième grande classe de réseaux de
neurones, avec les réseaux type perceptron (dits "feed-forward"). En
parallèle des travaux de Hopfield, Werbos conçoit son algorithme
de rétropropagation de l'erreur, qui offre un mécanisme
d'apprentissage pour les réseaux multicouches de type Perceptron
(appelés MLP pour Multi-layer Perceptron), fournissant ainsi un
moyen simple d'entraîner les neurones des couches cachées. Cet
algorithme de "back-propagation" ne sera pourtant popularisé qu'en 1986
par Rumelhart [65].
Il est difficile de résumer en quelques lignes plus de
60 années de recherche sur les réseaux de neurones, dont les
étapes décisives sont jalonnées par des publications
clés. Un historique plus détaillé est proposé
à la référence [66].
| 
