Scoring crédit: une application comparative de la régression logistique et des réseaux de neurones

III/ Généralités sur les réseaux de neurones

3.1. Définition et historique des réseaux de neurone

Pour appréhender la définition d'un réseau de neurones, nous commencerons par définir le neurone « formel ».

Le neurone formel est une modélisation mathématique visant à reprendre le fonctionnement d'un neurone biologique. Le fonctionnement de ce neurone formel est basé sur une règle de calcul assez simple : on cherche à évaluer la valeur d'une sortie y, à partir de plusieurs entrées x, qui elles mêmes sont pondérées par des coefficients appelés synapses ou poids synaptiques w. Selon cette description, chaque neurone est relié à d'autres par des connexions.

L'activation du neurone se produit lorsque celui-ci atteint un certain seuil (degré) d'activation. Cette activation est générée par les connexions qui ont pour propriété d'être excitatrices ou inhibitrices. La sommation des données reçues à l'entrée du neurone est transformée par une fonction d'activation ou fonction de sortie ö non linéaire. Ainsi, selon une définition proposée par A. Nigrin (1993)^14(*), un réseau de neurones est un circuit composé d'un nombre très important d'unités de calcul simples basées sur des neurones.

Pour faire un bref historique, les réseaux de neurone ont connu leurs débuts dans les années 1943 avec les travaux de Warren Mc Culloch & Walter Pitt sur le « neurone formel ». En 1949, D. Hebb présente dans son ouvrage « The Organization of Behavior » une règle d'apprentissage. De nombreux modèles de réseaux aujourd'hui s'inspirent encore de la règle de Hebb En 1958 les travaux de Franck Rosenblatt sur « le perceptron »^15(*) proposent au Cornell Aeronautical Laboratory le premier algorithme d'apprentissage permettant d'ajuster les paramètres d'un neurone. Il est à présent communément admis que le perceptron, comme classifieur linéaire, est le réseau de neurones le plus simple.

En 1969, Minsky et Papert publient le livre Perceptrons dans lequel ils utilisent une solide argumentation mathématique pour démontrer les limitations des réseaux de neurones à une seule couche. Ce livre aura une influence telle que la plupart des chercheurs quitteront le champ de recherche sur les réseaux de neurones. En 1982, Hopfield propose des réseaux de neurones associatifs et l'intérêt pour les réseaux de neurones renaît chez les scientifiques. En 1986, Rumelhart, Hinton et Williams publient l'algorithme de la rétropropagation de l'erreur, qui permet d'optimiser les paramètres d'un réseau de neurones à plusieurs couches. À partir de ce moment, la recherche sur les réseaux de neurones connaît un essor fulgurant et les applications commerciales de ce succès académique suivent au cours des années 90.

* ¹⁴ A. Nigrin, (1993), «Neural Networks for Pattern Recognition», Cambridge, MA: The MIT Press, p. 11

* ¹⁵ ROSENBLATT, Frank. «The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain» In, Psychological Review, Vol. 65, No. 6, pp. 386-408, Novembre, 1958