Memoire Online - La formation réticulée médiane : un substrat pour la sélection de l'action ? modélisation via réseaux de neurones et algorithmes évolutionnistes.

Dans ce chapitre, nous allons présenter la première expérience pour évaluer notre modèle de la mRF. Dans un premier temps, nous détaillerons l'expérience réalisée, et dans un second temps nous analyserons les résultats.

La tàache d'esincarn'ee correspond a` une tàache abstraite de s'election. Le principe est simple : nous donnons en entr'ee de la mRF un vecteur de dimension 3, toutes les valeurs 'etant comprises entre 0 et 1. Ce vecteur d'entr'ee repr'esente un ensemble de valeurs issues de diverses sources de donn'ees.

L'objectif de la mRF est de s'electionner une action. Pour cela, nous avons d'ecid'e en nous inspirant de [Humphries et al., 2007] que pour que la mRF choississe la bonne action, son vecteur de sortie, 'egalement de dimension 3, doit avoir sa valeur maximum dans la même dimension que celle contenant la valeur maximum du vecteur d'entr'ee. Par exemple, si le vecteur d'entr'ee est (0.3, 0.5, 0.1), la mRF s'electionnera la bonne action si et seulement si son vecteur de sortie est de la forme (a, b, c), o`u b > a et b > c, comme le montre la figure 3.1.

Afin que l''evolution ne sur-apprenne pas un ensemble restreint de vecteurs, ce qui empêcherait une bonne g'en'eralisation, la mRF sera 'evalu'ee sur sa capacit'e a` s'electionner une action sur l'ensemble de vecteurs de dimension 3 o`u nous faisons varier chaque 'el'ement d'un entre 0 et 1 d'un pas de 0.1, et en supprimant les vecteurs ayant plusieurs composantes au maximum, afin d''eliminer les cas ambigus. Voici

FIGURE 3.1: Ce schéma montre les deux premiers objectifs de la tâche désincarnée : le réseau recoit en entrée un vecteur de dimensions 3 dont les valeurs sont entre 0 et 1, et il doit a` la fois prendre la bonne décision (c'est-à-dire sélectionner la bonne dimension) et maximiser le contraste.

cet ensemble de vecteurs 'ecrit formellement, ensemble qui contient en tout 1155 { 'el'ements : }

X = (x1, x2, x3) | (x1, x2, x3) E S³ A (k = arg max xi, -+ ((i =6 k A i E 1, 3K) -+ x > xi)

N'eanmoins, ce premier objectif admet des solutions inint'eressantes, comme par exemple un r'eseau de neurones qui copieraient simplement les entr'ees en sortie. Afin d'op'erer une r'eelle s'election de l'action, nous avons d'efini un second objectif forçant la mRF a` maximiser le contraste entre la valeur maximum du vecteur de sortie et ses autres valeurs. La formule g'en'erale pour calculer le contraste est la suivante, en notant xi le i^ème 'el'ement du vecteur X et n sa dimension :

Le troisième et dernier objectif sera de respecter les contraintes anatomiques, pour que l'évolution produise des réseaux se rapprochant le plus possible d'une structure de réseau de type mRF. Le score de cet objectif de plausibilitéanatomiques correspond a` une combinaison linéaire de scores de sous-objectifs, ces derniers représentant chacun une des contraintes anatomique suivante (nous reprenons les notations du chapitre 1.3) :

- p doit être égal a` 80%, la formule du score est score_p = (-1) × (0.8 - p)² ;

- P(c) doit être égal a` 25%, la formule du score est score_pc = (-1) × (0.25 - pc)² ; - les synapses des neurones de projection sont a` 45% GABAergic, la formule du score

- les interneurones ne peuvent pas projeter en dehors de leur cluster, nous notons nb interneuron not within chip le nombre d'interneurones ne respectant pas cette contrainte;

- les neurones de projection ne peuvent pas projetter dans leur cluster, nous no-tons nb projection within chip le nombre de projection ne respectant pas cette contrainte.

Nous n'avons pas mis de contraintes sur P(p) et P(l) car les données anatomiques connues a` leur sujet sont assez imprécises. Comme nous l'avons soulignédans le chapitre 2.2, les algorithmes évolutionnistes maximisent les objectifs, d'o`u les scores négatifs puisque se rapprocher des contraintes équivaut a` un score se rapprochant de la valeur 0.

score_anat = 8×(scorep+scorepc+scoregabaergic)-1×nb interneuron not within chip- 0.5 × nb projection within chip

Les pondérations 8, 1 et 0.5 ont étéchoisies arbitrairement, le seul critère étant que chacun des scores pondérés ait une valeur très approximativement du même ordre de grandeur, afin de maximiser les chances que l'évolution optimise chacun d'entre eux, et non juste de certains potentiellement aux dépens des autres.

- Objectif 1 : nombre de bonnes décisions. Minimum : 0, maximum : nombre de vecteurs testés;

- Objectif 2 : importance du contraste. Minimum : 0, maximum : 1 (car toutes les valeurs des vecteurs sont comprises entre 0 et 1);

En plus de ces trois objectifs situ'es en aval, nous avons 'egalement pos'e des contraintes anatomiques en amont, c'est-à-dire au coeur de la d'efinition des op'erateurs de mutation, afin de pousser l''evolution a` respecter le plus possible les donn'ees anatomiques. Nous avions d'ejàmentionn'e dans le chapitre 2.2.2 cette double application des contraintes. Voici les contraintes que nous avons mises dans les op'erateurs de mutation :

- impossibilit'e pour un internerneurone de projeter en dehors de leur cluster; - P(c) doit être proche 25%;

Comme nous le voyons, ces contraintes ne contiennent qu'une partie des donn'ees anatomiques connues : l'int'erêt de les ajouter dans les op'erateurs de mutation est que l''evolution g'enère moins d'individus manifestement non plausibles d'un point de vue anatomique. Mettre trop de contraintes dans les op'erateurs des mutations serait n'eanmoins risqu'e car, outre son coit computationnel, restreindre excessivement l'espace de recherche peut rendre plus difficile l'obtention d'une bonne solution.

Nonobstant sa simplicit'e apparente, cette tàache d'esincarn'ee permet de valider ou d'invalider la possibilit'e pour une structure anatomiquement proche de la mRF d'effectuer des s'elections. Nous allons analyser les r'esultats obtenus dans la section suivante.

Tout d'abord, voici les paramètres que nous utiliserons tout au long des exp'eriences, sauf indication contraire :

- nombre de neurones initial par cluster (en plus des neurones d'entr'ee et de sortie) : tirage al'etoire uniforme entre 3 et 10, les clusters pouvant avoir un nombre de neurones diff'erents au sein de la même mRF;

- probabilit'e d'ajouter/supprimer un neurone/une connexion (inter ou intra-cluster) : 0.05;

- probabilit'e de modifier le poids d'une connexion (inter ou intra-cluster) : 0.1; - nombre d'it'erations pour propager une entr'ee dans le r'eseau : 100.

Les 'evolutions calcul'ees nous donnent des individus pr'esentant au bout de 300 g'en'e-
rations plus de 95% de bonnes d'ecisions, voire dans certains cas 100%, respectant
presque parfaitement les contraintes anatomiques et dont les vecteurs de sortie ont

un contraste supérieur a` 0.6. Le graphique 3.2 montre un front de Pareto 2D obtenu typiquement lorsque l'on représente les scores des objectifs de bonnes décisions et de contaste obtenus par chaque individu. Le graphique 3.3 montre un front de Pareto 3D montrant les scores des 3 objectifs.

FIGURE 3.2: Front de Pareto de dimension 2 repr'esentant les scores des objectifs de contaste en abscisse et de bonnes d'ecisions en ordonn'ee obtenus par chaque individu de chaque g'en'eration au cours de l''evolution.

Prenons les 5 meilleurs individus présentant 1155 de bonnes décisions et regardons la moyenne de leurs résultats :

- score de nombre de bonnes décisions : 1155 (ce qui correspond au maximum théorique);

- score de plausibilitéanatomique : -1.20792e-15 (le maximum théorique est 0).

Le tableau suivant résuméles statistiques anatomiques moyennes de ces 5 individus.

FIGURE 3.3: Front de Pareto de dimension 3 repr'esentant les scores des objectifs de bonnes d'ecisions, de contaste ainsi que de plausibilit'e anatomique obtenus par chaque individu de chaque g'en'eration au cours de l''evolution.

	Statistiques sur les 5 meilleurs individus	Contrainte dans op'erateurs de mutation	Contrainte dans objectif	Données anatomiques connues
nombre total de neurones	57	Aucune	Aucune	NA
nombre total de connexions	117	Aucune	Aucune	NA
p	80%	80%	80%	80%
percentgabaergic	45%	Aucune	45%	45%
P(c)	25%	25%	25%	25%
P(p)	8.73626%	Aucune	Aucune	< 10%
P(l)	8.61552%	Aucune	Aucune	< 10%
Nombre de interneurones projettant en dehors de leur cluster	0	0	0	0
Nombre de neurones de projection projettant dans leur cluster	0	0	0	0

Ce résultat montre qu'en respectant les données anatomiques connues de la mRF, cette dernière peut effectuer une tàache de sélection de l'action. Pour comparaison, [Humphries et al., 2007] dont cette tàache est inspirée obtient environ 75% de bonnes décisions, sans se pencher sur le contraste, et considère que cela suffit pour montrer la possibilitéd'une sélection de l'action.

Nous avons également fait tourner le programme en enlevant les contraintes situées dans les opérateurs de mutation. Comme le montre le graphique 3.4, cela a pour effet d'augmenter le nombre d'individus ayant une faible plausibilitéanatomique, car nous voyons que le front 2D représentant les scores des objectifs de bonnes décisions et de contaste obtenus par chaque individu est beaucoup moins nette que celui obtenu dans l'expérience initiale dont nous venons de présenter les résultats. Cette observation correspond a` l'intuition que nous avions. Néanmoins l'évolution présente toujours des individus, certes plus rares que dans l'expérience initiale, presque parfaitement plausibles anatomiquement, de contraste supérieur a` 0.5 et dont le taux de bonnes décisions est supérieur a` 95%.

FIGURE 3.4: Front de Pareto 2D sans contraintes anatomiques lors des mutations. Le front represente les scores des objectifs de bonnes decisions et de contaste obtenus par chaque individu.

Une autre variante que nous avons essayée est d'enlever les contraintes des opérateurs
des mutations et d'éliminer en plus l'objectif de plausibilitéanatomique. Autrement
dit, nous avons cherchéa` voir comment évoluerait un réseau sans contrainte anato-

Les résultats montrent que d'une part les réseaux obtenus ont des performances similaires a` celles obtenues avec les réseaux contraints, voire légèrement meilleures (cf graphique 3.5) si nous considèrons le contraste, et que d'autre part en faisant des analyses statistiques sur la structure de ces réseaux, ils ne tendent pas vers des structures de type mRF. Cela signifie que les données anatomiques connues sur la mRF ne représentent ni un avantage (car il existe d'autres structures de réseau tout aussi performantes) ni un inconvénient pour la sélection.

FIGURE 3.5: Front de Pareto 2D de l''evolution sans aucune contrainte anatomique (ni dans les mutations, ni dans un objectif). Le front repr'esente les scores des objectifs de contaste en abscisse et de bonnes d'ecisions en ordonn'ee obtenus par chaque individu de chaque g'en'eration au cours de l''evolution.

Cette première série d'expériences basées sur une tàache désincarnée a montréla
capacitécomputationnelle de la mRF a` effectuer une tàache de sélection. Notre modèle

est plus performant que celui de Humphries dans cette tàache et nous y avons ^ajoutécomme contrainte supplémentaire le contraste. Nous allons a` présent effectuer une

seconde série d'expériences pour analyser les performances de la mRF sur une tàache incarnée de simulation robotique.

La formation réticulée médiane : un substrat pour la sélection de l'action ? modélisation via réseaux de neurones et algorithmes évolutionnistes.

Chapitre 3