Scoring crédit: une application comparative de la régression logistique et des réseaux de neurones

3.2. Principes et propriétés mathématiques des réseaux de neurones

Au plan mathématique, le calcul de la valeur prédite par un réseau de neurones se compose en deux principales étapes :

m

Ó w_j x_j

1ere étape : le calcul d'une série de combinaisons linéaires des variables explicatives, que F. Robert (1995) appelle l'entrée totale E, ou « total input » :

_j=1

E = w₁ x₁ + w₂ x₂ + ... + w_m x_m = ( 1 )

m

Ó w_j x_j

Le seuil d'entrée w ₀ est ensuite ajouté à la grandeur E, ce qui permet de noter :

_j=1

E = w₀ + ( 2 )

2^e étape : Le calcul d'une sortie (le seuillage) par transformation^16(*) non linéaire : un seuil w₀ étant donné, la fonction à seuil ou fonction d'activation s'écrit :

f (x) = 1 si E > w ₀

= 0 sinon

m

Ó w_j x_j - w₀

Donc la sortie du neurone formel à prédire y = f (x) = f (x₁, x₂, ..., x_m ) s'écrit :

_j=1

y = f (x) = ö ( ) ( 3)

Où ö est la fonction d'activation non linéaire

y est la sortie du neurone (la valeur à prédire)

x_j représente les valeurs d'entrée

m

Ó w_j x_j - w ₀

w_j représente les poids synaptiques (ou coeficients)

_j=1

si > w_0, alors y =1

m

Ó w_j x_j - w ₀

_j=1

si < w_0, alors y = 0

Le neurone formel applique par conséquent {0, 1}^m dans {0, 1}. D'où son nom de classifieur avec seuil d'entrées x_j, coefficients synaptiques w_j, et seuil w_0.

Figure 2: Schéma d'un neurone formel

Variables explicatives

(Couches d'entrée)

Fonction de sortie (couche de sortie)

Fonction de sommation (couche cachée)

Poids synaptiques

x₁

w₁

m

Ó w_j x_j - w₀

m

Ó w_j x_j

y = ö ( )

x₂

w₂

_j=1

_j=1

x_m

w_m

Source : Recherche de Fred Ntoutoume, Crefdes, 2007

Les réseaux de neurones présentent les propriétés suivantes :

· ils sont universels (capables de résoudre des problèmes simples ou complexes) ;

· ils se comportent plus d'une façon adaptative que programmée ;

· Ils sont capables de fonctionner même en présence d'une information partielle ou d'une information brouillée ;

· Ils fonctionnent comme une machine de classification qui extrait les traits caractéristiques des objets  présentés lors de l'apprentissage, pour réorganiser sa connaissance en conséquence.

* ¹⁶Plusieurs autres fonctions d'activation existent pour la transformation des données d'entrée du neurone, on peut citer la fonction logistique Y = F(X) = 1/(1 + exp(-d*X) dont nous allons nous servir, la tangente hyperbolique Y = 2 /(1+ exp(-2* X) -1), la fonction gaussienne Y = exp(-(X^2) /2), ou la fonction sigmoïde Y= (1 + e ^{- âx}) ^{- 1}