Chapitre 1
Introduction
Ce chapitre présente une vue d'ensemble de la formation
réticulée médiane : après quelques remarques
préliminaires, nous résumerons des études qui tendent a`
montrer que la mRF est un proto-système de sélection de l'action.
Dans un second temps, nous présenterons de façon synoptique
l'ensemble des données anatomiques connues de la mRF permettant de la
modéliser. Enfin, nous étudierons les deux et uniques
modèles existants de la formation réticulée médiane
afin de voir leurs lacunes, tout en tirant parti de leurs points forts pour
construire le nôtre.
1.1 Remarques liminaires
La formation r'eticul'ee, dont fait partie la formation
r'eticul'ee m'ediane, est un composant du système nerveux central qui
doit son nom (tir'e du latin reticulum signifiant filet) a` sa pr'esentation
anatomique en r'eseau dense et intriqu'e. Situ'ee sur le plancher du tronc
c'er'ebral entre la moelle allong'ee et le m'esenc'ephale, elle projette et
reçoit des fibres nerveuses de toute la moelle spinale ainsi que de
nombreux autres composants du n'evraxe tels que le cortex c'er'ebral,
l'hypothalamus ou le cervelet (cf figures 1.1, 1.2 et 1.3).
Nous nous int'eresserons dans ce rapport a` une partie de la
formation r'eticul'ee appel'ee formation r'eticul'ee m'ediane (ou m'ediale),
que nous abrègerons par mRF dans la suite d'après la traduction
anglaise medial Reticular Formation.
FIGURE 1.1: Tronc c'er'ebral chez un cerveau humain (partie en
rouge)
FIGURE 1.2: Localisation de la mRF (zone en noir) dans le
cerveau d'un chat. RF : reticular formation. CPu : caudate-putamen. SC :
superior colliculus. SN : substantia nigra. Source : [Humphries et al.,
2006]
La phylog'enèse du système nerveux montre que la
mRF est l'une des plus anciennes structures nerveuses du tronc c'er'ebral,
lui-même 'etant ce qu'on peut consid'erer comme un des centres les plus
anciens du système nerveux central. Ainsi, parmi les diff'erentes
espèces animales, la mRF est très comparable, comme le montre par
exemple [Ramón-Moliner and Nauta, 1966] entre les requins et les
humains, ce qui nous permettra d'agr'eger directement les donn'ees issues
d''etudes sur des animaux diff'erents.
1.2 S'election de l'action
La s'election de l'action d'esigne le problème crucial
que rencontre tout agent autonome, qu'il soit de nature animale ou robotique,
qui consiste a` choisir et coordonner continuellement ses comportements dans
l'optique de mener a` bien ses objectifs au long terme, tels que la survie, la
reproduction, ou tout autre tàache d'efinie par le concepteur dans le
cas d'un robot. Les animaux doivent donc n'ecessairement mettre en oeuvre des
solutions efficaces de s'election de l'action, d'o`u notre recherche au sein du
système nerveux d'un tel m'ecanisme.
Plusieurs donn'ees tendent a` montrer que la mRF est impliqu'ee
dans la s'election de l'action, nous allons les r'esumer succinctement dans
cette section.
Tout d'abord, la mRF semble disposer de toutes les
informations auxquelles ont accès les systèmes de monitoring et
sensoriels aussi bien externe qu'interne d'un animal : elle reçoit ainsi
une quantit'e consid'erable d'entr'ees sensorielles, comme le synth'etise
[Humphries et al., 2007], provenant notamment des sytèmes sensoriel,
respiratoire, visc'eral, vestibulaire, proprioceptif, nociceptif ou encore
cardio-vasculaire. Ces donn'ees sont corrobor'ees par les divers
enregistrements effectu'es sur la mRF montrant que cette dernière
r'eagit a` des stimuli très vari'es [Segundo et al., 1967, Bowsher,
1970, Langhorst et al., 1983].
De façon compl'ementaire, la mRF projette en masse sur
tous les niveaux de la moelle spinale ainsi que sur les nerfs cràaniens
[Torvik and Brodal, 1957, Eccles et al., 1976, Jones, 1995], ce qui lui donne
la capacit'e de contrôler aussi bien la musculature axiale que la face.
Par cons'equent, la mRF dispose des entr'ees et des sorties n'ecessaires a`
tout candidat de système de s'election de l'action.
Exp'erimentalement, il a 'et'e montr'e que des rats qui
avaient subi une coupe complète au niveau post'erieur du tronc
c'er'ebral, plus pr'ecis'ement post'erieur au thalamus et a` l'hypothalamus, en
enlevant toute la partie rostrale du cerveau par rapport a` cet axe de coupe
(cf les 3 axes de coupe sur la figure 1.4), pr'esentaient un comportement
surprenamment coh'erent [Woods, 1964], hormis les erreurs
engendr'ees par la perte de la vision, de l'odorat ainsi que des troubles de la
r'egulation hormonale. Les rats de l'exp'erience 'etaient toujours capable
d'effectuer des s'elections de l'action de bas niveau, tel manger, se mouvoir,
boire ou dormir en fonction des stimuli. Les r'esultats très importants
de cette exp'erience furent plus tard confirm'es par [Lovick, 1972, Berntson
and Micco, 1976, Berridge, 1989], mettant l'accent sur le fait que ces rats
peuvent effectuer des combinaisons d'actions coordonn'ees, tel tenir, ronger et
màacher de la nourriture, combinaisons plus complexes que de simples
r'eflexes qui pourraient 'emaner de la moelle spinale.
FIGURE 1.4: Coupes du cerveau au niveau post'erieur du tronc
c'er'ebral. Les lignes en pointill'es montrent 3 coupes, toute la partie du
cerveau situ'ee du côt'e rostral des lignes a 'et'e enlev'ee. GP : globus
pallidus. RF : reticular formation. SN : substantia nigra. STN : subthalamic
nucleus. SC : superior colliculus. Source : [Humphries et al., 2007]
Pour v'erifier le role de la mRF, des stimulations locales
'electriques et chimiques ont 'et'e faites sur des animaux normaux,
stimulations qui eurent pour r'eaction de les faire changer de comportement,
par exemple manger, dormir, boire, s'enfuir, chercher ou encore se laver
[Magoun and Rhines, 1946, Glickman and Schiff, 1967]. Ces r'esultats montrent
l'ampleur des diff'erents comportements que controle au moins en partie la
mRF.
A contrario, des 'etudes ont port'e sur l'impact de l'esions
a` la mRF. Elles t'emoignent de troubles s'evères du comportement,
notamment des troubles du sommeil, les sujets 'etudi'es montrant d'un
d'ephasage entre le sommeil c'er'ebral et le reste du corps [Birkmayer and
Pilleri, 1966], ou aussi des alternances fr'equentes entre sommeil pro-fond et
rage extreme [Jouvet, 1967]. [Parvizi and Damasio, 2003] ont meme montr'e
que des l'esions de certaines parties de la mRF peuvent provoquer
le coma, voire la mort chez un être humain.
Enfin, contrairement a` la plupart des structures neuronales,
les cellules de la mRF existent d`es la naissance [Hammer Jr et al., 1981], ce
qui peut repr'esenter une indication de l'importance de leur pr'esence pour la
survie de l'individu.
A` la lueur de ces diff'erentes 'etudes, il semble raisonnable
de supposer que la mRF constitue un proto-syst`eme de s'election de l'action,
proto car les actions en question semblent être d'un niveau assez
rudimentaire et en raison de l'anciennet'e phylog'en'etique.
1.3 Données anatomiques internes
Dans cette section, nous allons rassembler toutes les donn'ees
anatomiques qui seront utiles pour construire un mod`ele de la mRF.
Premi`ere remarque d'ordre g'en'eral, la litt'erature
neuroscientifique montre que les m'ecanismes de s'election de l'action sont
impl'ement'es suivant deux architectures diff'erentes dans le cerveau des
mammif`eres :
- une architecture de type centralis'ee, o`u chaque module
neuronal projette sur un syst`eme de d'ecision central. Les ganglions de la
base auraient ce type d'architecture [Redgrave et al., 1999, Prescott et al.,
1999].
- une architecture de type modulaire, o`u chaque module
neuronal est en comp'etition, inhibant ou excitant les autres modules. La mRF
aurait ce type d'architecture [Humphries et al., 2007].
Une des particularit'es de la mRF est son organisation en
clusters ('egalement appel'es stacks ou chips selon les articles) [Scheibel and
Scheibel, 1967], comme le montre la coupe sagitalle de la mRF pr'esent'ee sur
la figure 1.5.
La mRF d'un rat mesure environ 7 mm sur l'axe rostral-caudal
et contient entre 35 et 75 clusters [Humphries et al., 2006]. La mRF d'une
grenouille contient approximativement 0.75 million de neurones, tandis que
celle d'un être humain en contient 2 millions [Kilmer et al., 1969]. Les
clusters sont de la même taille en terme de dimension et de nombre de
neurones [Humphries et al., 2007]. Ils reçoivent tous les mêmes
entr'ees et projettent vers les mêmes zones [Humphries and Prescott,
2006].
Il existe deux cat'egories principales de neurones dans la mRF
:
- Les interneurones : de taille petite ou
moyenne, ils sont tous inhibiteurs (quelques exceptions
existent cependant) et projettent quasi exclusivement dans leur propre
FIGURE 1.5: Coupe sagittale de la mRF sur un rat, montrant son
organisation en clusters. Source : [Scheibel and Scheibel, 1967]
cluster, aussi bien sur des neurones de projection que sur des
interneurones. Ils représentent environ 20% des neurones de la mRF
[Humphries et al., 2006].
- Les neurones de projection : de taille
moyenne a` très grande, ils sont tous excitateurs
(quelques exceptions existent cependant) et ils projettent quasi
exclusivement en dehors de leur propre cluster, vers d'autres clusters ou bien
en dehors de la mRF [Humphries et al., 2006]. Environ 45% des synapses en
entrée des neurones de projection sont GABAergiques, c'est-à-dire
inhibiteurs, donc provenant d'interneurones [Humphries et al., 2007]. Les
neurones de projection représentent environ 80% des neurones de la
mRF.
La probabiliténotée P(c) qu'un neurone de
projection projette sur un cluster donnéest l'objet de deux
modèles différents dans la littérature. Selon [Grantyn et
al., 1987],
P(c) = 0.25 quel que soit le cluster source (o`u se trouve le
noyau du neurone de projection) et le cluster destination (vers lequel projette
le neurone de projection). Selon [Kilmer et al., 1969], la
probabilitéP(c) dépend de la distance entre le cluster source et
le cluster destination : P(c) = d-a, o`u d est la distance et a un
paramètre supérieur ou égal a` 1.
La probabiliténotée P(p) qu'un neurone de
projection projette sur un neurone donné, sachant qu'il projette dans le
cluster de ce dernier, ainsi que la probabiliténotée P(l) qu'un
interneurone forme une connexion avec un neurone donnéde son cluster
sont toutes les deux faibles, probablement inférieures a` 0.1
d'après [Schuz, 1998, Albert and Barabási, 2002].
entièrement la structure du r'eseau :
- c : le nombre de clusters (entre 35 et 75);
- n : le nombre de neurones dans un cluster (environ 1500000/55
30000);
- p : le pourcentage de neurones de projection (environ 80%). Le
pourcentage d'interneurones est donc de 1 - p;
- P(c) : la probabilit'e qu'un neurone de projection projette
sur un cluster donn'e
(P(c) = 0.25 ou bien P(c) = d--a avec d la distance et
a un paramètre);
- P(p) : la probabilit'e qu'un neurone de projection projette sur
neurone donn'e,
sachant qu'il projette dans le cluster de ce dernier (P(p) <
0.1);
- P(l) : la probabilit'e qu'un interneurone forme une connexion
avec un neurone donn'e de son cluster (P(l) < 0.1).
Après avoir pr'esent'e les donn'ees anatomiques connues
sur la mRF, nous allons main-tenant pr'esenter une d'emonstration que nous
avons r'ealis'e au cours des recherches anatomiques montrant que P(l) > 45
× P(p).
1.4 D'emonstration de P(l) > 45 ×
P(p)
Soient, en plus des notations vues dans la section pr'ec'edente
:
- P(I ? I) la probabilit'e qu'un interneurone forme une
connexion avec un inter-neurone donn'e du même cluster (le signe ?
symbolise une connexion dans le graphe);
- P(I ? P) la probabilit'e qu'un interneurone forme une connexion
avec un neurone de projection donn'e du même cluster;
- nbI le nombre d'interneurones dans un cluster de la mRF;
- nbP le nombre de neurones de projection dans un cluster de la
mRF.
Supposons :
- qu'un interneurone ne projette que dans son propre cluster (le
nombre de projections d'interneurones en dehors de leur cluster est
n'egligeable);
- que P(c) = 0.25. C'est un des deux modèles
anatomiques connus pour P(c). Le second modèle, faisant d'ependre P(c)
de la distance entre le cluster source et le cluster destination, favorise une
structure de type small-world par rapport a` 0.25 comme le montre la figure
1.6. Par cons'equent, l'hypothèse prise ici permettra de g'en'eraliser
le r'esultat de la d'emonstration au second modèle, 'etant donn'e que
pour obtenir une structure small-world, intuitivement et comme le montre aussi
la figure 1.6, il faut un nombre 'elev'e de connexions dans un même
cluster (d'efini par P(l)) par comparaison au nombre de connexions
inter-cluster (d'efini par P(p)), ce que favorise le second modèle par
rapport au premier oiP(c) = 0.25.
Par construction :
- nous avons P(l) = P(I ? I) + P(I ? P) (car nous consid'erons
qu'un interneurone ne projette que dans son propre cluster);
- nous avons nbP/(nbP +nbI) = 80% (c'est la proportion de
neurones de projection, connue dans la litt'erature), donc nbP = 4 ×
nbI.
Comme nous l'avons vu pr'ec'edemment, 45% des synapses de
neurones de projection sont GABAergiques. Autrement dit, 45% des connexions
entrantes sur un neurone de projection proviennent d'un interneurone, car les
interneurones sont tous inhibiteurs et GABAergiques (il se peut qu'il y ait des
exceptions, mais n'egligeables).
nbI xP(I-+P)
Formellement, cela signifie que = 45%
nbIxP (I-+P )+nbP xP (p)xP (c)xc
ce qui est 'equivalent a` nbI × P(I ? P) = (45%/55%)
× (nbP × P(p) × P(c) × c) ce qui peut s''ecrire 'egalement
P(I ? P) = 4 × (45%/55%) × (P(p) × P(c) × c) (car nbP = 4
× nbI).
Remplaçons par les valeurs par P(c) = 0.25 et c = 55
(moyenne entre 35 et 75) : Cela donne donc P(I ? P) = 45 × P(p)
Or P(l) = P(I ? I) + P(I ? P)
D'o`u P(l) > 45 × P(p)
Ce r'esultat 'etaie fortement la thèse selon laquelle la
mRF a une structure de type small-world [Humphries et al., 2006], comme le
montre la figure 1.6.
Après avoir pr'esent'e la structure de la mRF, nous allons
maintenant analyser les deux uniques modèles publi'es de la mRF.
1.5 Modèles existants
1.5.1 Le modèle de Kilmer-McCulloch -
1969
Au cours des ann'ees 1960, W.L. Kilmer, W.S. McCulloch, and J.
Blum ont publi'e plusieurs articles proposant un premier modèle de la
mRF en se basant sur les 'etudes anatomiques de Scheibel & Scheibel. En
1969, ils ont synth'etis'e l'ensemble de leurs recherches dans un seul article,
qui devint un article de r'ef'erence sur le sujet [Kilmer et al., 1969].
Le fil conducteur de leur modèle est le concept de mode
de fonctionnement : un animal a` un instant donn'e suit un et un seul mode de
fonctionnement, comme par exemple manger ou dormir. La mRF a pour fonction de
passer d'un mode a` un autre. Pour appuyer cette hypothèse, lorsque la
RF est endommag'ee il est constat'e des changements de mode de fonctionnement
pathologique [Jouvet, 1967]. Il est pos'e comme hypothèse qu'àun
cluster est associ'e a` un et un seul mode de fonctionnement.
FIGURE 1.6: Cette figure montre a` quel degréla mRF
peut être considérée comme étant un réseau de
type small-world selon les valeurs de P(l), (P(p) et p. En hauteur, la valeur
Smax montre le degréde small-world : si elle est
supérieure a` 1, alors le réseau est considérécomme
étant small-world. Nous voyons clairement que la démonstration de
P(l) > 45 × P(p) accroàýt fortement les chances que la
mRF ait une structure de type small-world. Source : [Humphries et al., 2006]
Trois variantes du modèle sont propos'ees :
1. S-RETIC (S pour Simple, Retic pour Reticular) : Comme le
nom l'indique, ce premier modèle se veut simple et directement issu des
donn'ees anatomiques. Ce modèle est compos'e d'une douzaine de modules
recevant des stimuli et devant d'eterminer le mode a` choisir, un module
correspondant a` un cluster de la mRF. Ces modules reçoivent des
informations leur permettrant d'êtrea` la fois les g'en'eralistes, afin
de pallier toute d'efaillance de modules, et sp'ecialis'es afin d'être a`
même de prendre une d'ecision. Les modules sont plus ou moins li'es entre
eux en fonction de la distance qui les s'epare. Chaque module prend une
d'ecision et lui donne une probabilit'e, et la d'ecision finale prend en compte
l'ensemble des modules. Si le consensus pour un mode est assez grand, il y a
alors convergence vers ce mode. Ce modèle peut facilement être
'etendu a` davantage de modes et modules. Ce modèle donne des r'esultats
corrects, cependant il souffre de plusieurs manques, que la seconde variante va
essayer de combler.
discrimination, habituation et conditionnement. Pour
introduire ses propriétés, il faut fournir des informations
supplémentaires permettant d'indiquer si un stimuli ou un choix de mode
de fonctionnement est bon, neutre ou mauvais, a` l'instar de l'apprentissage
par renforcement. Cet apprentissage se fait au niveau de chaque module et de
façon coopérative entre les différents modules. Les
résultats pour ce modèle ne sont pas détaillés.
L'article souligne que STCRETIC a plusieurs caractéristiques peu
attrayantes : ses connexions ne respectent pas strictement le modèle
anatomique de la RF et il ne peut changer de mode que si un nouveau stimulus
arrive.
3. H-RETIC (H pour Hardware) : c'est une version hardware du
modèle, mais en cours d'élaboration au moment de
l'écriture de l'article, et jamais achevée par
la suite, STC-RETIC étant implémentéen un
software devenu trop compliquéa` maintenir et développer
efficacement avec les outils de l'époque.
Néanmoins, les résultats obtenus par les auteurs
avec ce modèle ne sont jamais vraiment exposés, et les
imprécisions concernant sa description font qu'il est difficile
d'implémenter le modèle pour l'analyser concrètement. En
outre, beaucoup de considérations de l'article sont certes
intéressantes, mais nullement explorées : ainsi exposé, le
modèle ne satisferait pas les exigences de publications scientifiques
actuelles. Il en résulte que ce premier modèle permet davantage
d'avoir une vue d'ensemble sur le mRF tout en donnant des pistes
intéressantes, a` défaut d'être précisément
décrit et réellement utilisable.
Pendant presque 40 ans, aucun nouveau modèle de la mRF
ne fut proposé. En 2005, Mark Humphries [Humphries et al., 2005] tenta
de reproduire le modèle de Kilmer-McCulloch et, afin d'évaluer
ses performances, il implémenta le modèle dans un robot
simuléainsi que dans un robot réel. Ce dernier fut
placédans le cadre une tàache de survie minimale inspirée
de [Girard et al., 2003] que nous détaillerons plus tard dans le
chapitre 4.1 : dans cette expérience, le robot a accès a` 4
variables (inputs de la mRF), a` partir desquelles il doit choisir une action
(output de la mRF) parmi 5 a` sa disposition, étant donnéque le
but pour le robot est de survivre le plus longtemps possible et que le temps de
survie reflète la qualitédu choix des actions.
Les résultats obtenus furent plutôt
décevants : certes le modèle de la mRF obtient des
résultat souvent meilleurs qu'un modèle purement aléatoire
(c'est-à-dire dans lequel les décisions sont prises
aléatoirement sans prendre en compte les variables en entrée),
néanmoins le modèle de la mRF est bien inférieur a` un
simple modèle de type Winner-Takes-All (WTA) dont la décision
prise correspond simplement a` la plus élevée des variables en
entrée.
1.5.2 Le modèle de Humphries - 2006
En 2006, Mark Humphries et ses collègues
présentèrent leur propre modèle de la mRF dans [Humphries
and Prescott, 2006], le second donc dans la littérature de la mRF. Ils
adoptèrent le formalisme classique des réseaux de neurones et
choisirent d'utiliser un modèle de population, o`u chaque neurone du
modèle représente un ensemble de neurones réels de la mRF,
comme le montre le schéma 1.7. Ils reprirent l'hypothèse de
Kilmer-McCulloch qui suppose qu'àun cluster est associée une et
une seule action.
Chaque cluster est composéde 2 neurones, modélisant
chacun l'activitémoyenne des neurones de chaque type de ce cluster :
- 1 neurone excitateur, projetant sur tous les autres neurones
hormis ceux de son cluster;
- 1 neurone inhibiteur, ne projetant que sur lui-même et
sur le neurone excitateur de son cluster.
FIGURE 1.7: Modèle de Humphries. Ce schema montre deux
clusters, les entrees qu'il recoit ainsi que les connexions des
neurones du cluster de gauche. Chaque cluster contient un neurone inhibiteur
notei et un neuron excitateur notec. Source : [Humphries and Prescott, 2006]
Les poids des connexions reflètent d'une part les
probabilités des connexions issues des données anatomiques et
d'autre part le poids des connexions réelles dans la mRF, inconnues dans
la littérature.
[Girard et al., 2003] et certains paramètres ont 'et'e
optimis'es avec des algorithmes 'evolutionnistes, dont nous parlerons plus en
d'etail dans le chapitre 2.2. Les r'esultats s'av'erèrent 'egalement
plutôt d'ecevants en terme de dur'ee de survie, la plupart des
simulations de ce modèle ne furent que l'egèrement meilleures par
rapport au modèle purement al'eatoire.
1.6 Démarche et objectifs de ce
rapport
Bien que leurs r'esultats n'eurent pas de très bonnes
performances sur la tàache de survie en comparaison avec un
contrôleur al'eatoire, les deux modèles de la mRF ont eu le
m'erite de proposer des pistes de r'eflexion int'eressantes ainsi que, dans le
cas du second, des m'ethodes d''evaluation du modèle.
Notre d'emarche sera de construire un nouveau modèle de
la mRF, en observant strictement le formalisme des r'eseaux de neurones et en
respectant les donn'ees anatomiques, tout en diminuant le niveau d'abstraction
en augmentant le nombre de neurones par cluster. Nous avons d'ecid'e de
supprimer l'hypothèse pos'ee par les concepteurs des deux pr'ec'edents
modèles qu'un cluster correspond a` une et une seule action, car aucune
donn'ee anatomique n'appuie cette hypothèse et au vu de la diversit'e
des actions, il semble raisonnable de ne pas garder une telle contrainte.
Afin de ne pas avoir a` d'efinir tous les paramètres du
r'eseau a` la main et trouver les meilleurs r'eseaux, meilleur en terme de
tàaches de s'election de l'action et de respect des contraintes
anatomiques, nous utiliserons des algorithmes 'evolutionnistes a` l'instar de
Humphries. A` la diff'erence de ce dernier qui ne fixait qu'un seul objectif
dans ses 'evolutions, nous utiliserons un algorithme 'evolutionniste
multi-objectifs, ce qui nous permettra de mieux optimiser et 'etudier nos
r'eseaux.
Nous 'evaluerons notre modèle sur deux tàaches
de s'election de l'action : une tàache désincarnée
montrant de façon statique la capacit'e d'un r'eseau a` s'electionner
des actions, et une tàache incarnée mettant le modèle de
la mRF en situation r'eelle en s'inspirant de la tàache de survie
minimale qu'utilise 'egalement Humphries pour ses 'evaluations.
Le chapitre suivant expliquera en d'etail notre d'emarche et les
outils que nous avons utilis'es pour mener a` bien ce travail.
| 
