3.1.3. Méthode de Newton et quasi -Newton
D'origine, cette méthode itérative est
utilisée pour résoudre un system d'équation
non linéaire, elle a été utilisée
pour rechercher un extremum d'une fonction objective.
Elle permet, à partir d'un point initial quelque,
d'approcher un optimum local d'aussi
prés que nous le désirons .Cependant, il s'agit
d'une méthode du second ordre, car nous
utilisons, pour déterminer la direction et le pas de
déplacement, non seulement la valeur
du gradient, mais aussi celle du hessien de la fonction
.l'Inconvénient major de
Cette méthode qui appartient aussi aux méthodes
de descente, c'est sa convergence
locale. Une autre difficulté peut apparaitre lorsque le
hessien n'est pas défini positive.
Dans ce cas en effet, la direction de déplacement peut
ne pas être une direction de
descente, et la convergence n'est pas assurée.
Actuellement, des méthodes dites quasi -
newton ont été développées, Ces
derniers apportent une légère modification à la
méthode de Newton .Elles évitent le calcul
coûteux en terme de temps de calcul de la
matrice hessien nécessaire a chaque itération et
qui peut se faire par une approximation
par différent finies .On trouve plusieurs variantes,
telles que les méthodes Dites de BFGS
(Broyden-Fletcher-Goldfarb-Shannon), de DFP
(Davidon-Fletcher-Powell) Et de
Levenberg-Marqquard.
1.12. METHODE ENUMERATIVE
Ces méthodes consistent à évaluer la valeur
de la fonction à optimiser en chaque
point des solutions faisables .Elles peuvent s'appliquer dans
un espace de recherche
infinie mais Discrétisé .Bien que ces
méthode soient très simples à mettre en ouvre et
très proches du Raisonnement humain (lorsque le nombre
de possibilité est faible), elles
sont inapplicables En pratique car les espace de recherche sont
beaucoup trop vaste et
le nombre d'évaluation de la fonction objectif devient
rapidement prohibitif .Même la
méthode énumérative de programmation
dynamique .développée par Bellman, est
impuissante devant les problèmes de taille et devient
rapidement inapplicable. Parmi les
méthodes énumératives on peut citer : les
méthodes de Branche, la méthode du
simplexe, la programmation dynamique,...
3.1.4. Méthodes stochastiques
Ces méthodes ont connu un essor considérable
lorsque la communauté
scientifique a mis en évidence les limitations des
méthodes analytiques et énumératives
.Contrairement aux méthodes analytiques, elles sont
bases sur un processus
stochastique, utilisant un choix aléatoire comme outil
pour guider une exploration
hautement intelligente dans l'espace de recherche.
Ces méthodes sont semblables au niveau de leur
utilisation des mécanismes de
recherche Probabiliste, mais procèdent néo moins
différemment .Elles ont une grande
probabilité pour localiser un optimum globale d'une
fonction objectif. Parmi les
méthodes stochastiques, on distingue les techniques de
recherches purement aléatoires
(souvent regroupées dans la classe des méthodes
de type Monte-Carlo), la Recherche
Tabou, le recuit simulé et les méthodes
évolutionnistes.
| 
