Administration d'un big data sous mongodb et extraction de connaissance par réseau de neurones.

III.3. RESEAUX DE NEURONES

III.3.1.Historique

Depuis plusieurs années, certains scientifiques ont cherché à comprendre le rôle du cerveau humain et le comportement de l'homme. On croyait jadis communément que l'activité mentale avait son siège au centre du corps humain, dans le coeur. Aristote défendait ce point de vue contre Hippocrate, par exemple, pour qui déjà pensées, sentiments et émotions étaient gouvernés par le cerveau. Après les travaux expérimentaux de Galien, il n'était déjà plus possible de douter que le siège de l'âme dirigeante était le cerveau.

Une étape cruciale fut franchie avec la mise en évidence des cellules du système nerveux que l'on appellera neurones par Golgi et Cajal, Grâce à une nouvelle technique de coloration qui permit également des études successives sur la forme, les propriétés, les fonctions et les connections des neurones. Sherrington décrit le fonctionnement des systèmes réflexes, Sperry montre que les parties droite et gauche du cerveau sont impliquées différemment dans ses fonctions et Penfield établit une carte des localisations de sensibilité somatique dans le cortex cérébral.

Grâce aux avancés de la science (médecine, psychologie, informatique, physique, etc...), que le réseau des neurones artificiels a vu le jour. L'histoire des réseaux de neurones est donc tissée à travers des découvertes conceptuelles et des développements technologiques survenus à diverses époques.

Brièvement, les premières recherches remontent à la fin du 19^ième et au début du 20^ième siècle. Elles consistent en de travaux multidisciplinaires en physique, en psychologie et en neurophysiologie par des scientifiques tels Hermann Von Helmholtz, Ernst Mach et Ivan Pavlov. À cette époque, il s'agissait de théories plutôt générales sans modèle mathématique précis d'un neurone. On s'entend pour dire que la naissance du domaine des réseaux de neurones artificiels remonte aux années 1940 avec les travaux de Warren McCulloch et Walter Pitts qui ont montré qu'avec de tels réseaux, on pouvait, en principe, calculer n'importe quelle fonction arithmétique ou logique. Vers la fin des années 1940, Donald Hebb a ensuite propose une théorie fondamentale pour l'apprentissage.

La première application concrète des réseaux de neurones artificiels est survenue vers la fin des années 1950 avec l'invention du réseau dit « perceptron » par un dénommé Frank Rosenblatt. Rosenblatt et ses collègues ont construit un réseau et démontré ses habilités à reconnaître des formes. Malheureusement, il a été démontrépar la suite que ce perceptron simple ne pouvait résoudre qu'une classe limitée de problème. Environ au même moment, Bernard Widrow et Ted Hoff ont proposé un nouvel algorithme d'apprentissage pour entraýner un réseau adaptatif de neurones linéaires, dont la structure et les capacités sont similaires au perceptron.

Vers la fin des années 1960, un livre publié par Marvin Minsky et Seymour Papert est venu jeter beaucoup d'ombre sur le domaine des réseaux de neurones. Entre autres choses, ces deux auteurs ont démontré les limitations des réseaux développés par Rosenblatt et Widrow-Hoff. Beaucoup de gens ont été influencés par cette démonstration qu'ils ont généralement mal interprétée. Ils ont conclu à tort que le domaine des réseaux de neurones était un cul de sac et qu'il fallait cesser de s'y intéresser (et de financer la recherche dans ce domaine), d'autant plus qu'on ne disposait pas à l'époque d'ordinateurs suffisamment puissants pour effectuer des calculs complexes.

Heureusement, certains chercheurs ont persévéré en développant de nouvelles architectures et de nouveaux algorithmes plus puissants. En 1972, TeuvoKohonen et James Anderson ont développé dépendamment et simultanément de nouveaux réseaux pouvant servir de mémoires associatives. Egalement, Stephen Grossberg a investigué ce qu'on appelle les réseaux' auto-organises.

Dans les années 1980, une pierre d'achoppement a été levée par l'invention de l'algorithme de retro-propagation des erreurs. Cet algorithme est la réponse aux critiques de Minsky et Papert, formulées à la fin des années 1960. C'est ce nouveau développement, généralement attribué à David Rumelhart et James McClelland, mais aussi découvert plus ou moins en même temps par Paul Werbos et par Yann LeCun, qui a littéralement ressuscité le domaine des réseaux de neurones. Depuis ce temps, c'est un domaine ou bouillonne constamment de nouvelles théories, de nouvelles structures et de nouveaux algorithmes.