Télédétection du manteau neigeux et modélisation de la contribution des eaux de fonte des neiges aux débits des oueds du haut atlas de Marrakech

I.2.4 Critères d'évaluation d'un modèle

Pour analyser la performance d'un modèle, plusieurs critères d'évaluation ont été développés. Ils peuvent être utilisés aussi bien en calibration qu'en validation.

Une simple analyse visuelle des résultats d'une simulation n'est pas une évaluation objective du modèle. En effet, l'oeil humain n'est pas capable de voir toutes les différences qui peuvent exister entre deux courbes d'allure générale similaire. Ainsi, nous avons besoin de nous doter de critères objectifs (dénommés aussi fonctions objectives) pour comparer les simulations aux observations et pour hiérarchiser des simulations qui « ont l'air » équivalentes. Plusieurs critères objectifs mathématiques existent pour quantifier la distance entre les observations et la simulation.

Les principaux critères objectifs utilisés en hydrologie sont :

- le critère de Nash-Sutcliffe (Nash et Sutcliffe, 1970) ou efficience E ( Équation ýI ):

Équation ýI-

Où sim_i est la variable simulée, obs_i est la variable observée, est la moyenne des observations et n le nombre d'observations. Ce critère quantifie la fraction de la variance observée qui est prise en compte par le modèle. Il prend des valeurs entre-8 et 1. Plus l'efficience est proche de 1, plus l'accord est meilleur entre la modélisation et l'observation. Notons qu'une efficience négative signifie que les valeurs simulées conduisent à de moins bons résultats.

Ce critère présente tout de même l'inconvénient de donner beaucoup de poids aux valeurs moyennes. Nous pourrons alors utiliser la même formulation sur le logarithme de la variable (si celle-ci ne prend pas de valeur nulle) ou sur la racine de la variable afin d'augmenter le poids des valeurs faibles. Par exemple, dans le cas d'une application sur le débit, pour représenter correctement les pics de crues, on utilise l'efficience classique. Dans le cas où on s'intéresse plutôt au débit d'étiage, on utilisera de préférence l'efficience sur les logarithmes ou sur les racines afin de diminuer le poids des fortes valeurs de débit.

La mesure de l'erreur quadratique moyenne (RMSE) est aussi un critère souvent utilisé pour mesurer l'écart entre la simulation et l'observation, en donnant notamment une idée de la dispersion entre les deux ( Équation ýI ). Plus elle sera faible et plus l'écart entre la simulation et les observations sera faible.

Équation ýI-

De la même façon qu'avec l'efficience, ce critère peut être utilisé sur les logarithmes ou les racines des variables puisque ce critère a tendance à donner beaucoup de poids à la bonne représentation des fortes valeurs et donc à biaiser par exemple la simulation des récessions de crues (Boyle et al., 2000).

En s'appuyant sur la corrélation entre la série simulée et la série observée, nous pourrons aussi chercher à maximiser le coefficient de détermination R² ( Équation ýI ):

Équation ýI-

Des bonnes valeurs d'efficience ou d'erreur quadratique n'attestent pas de l'absence d'une erreur systématique. Pour s'affranchir de cela, il est possible d'utiliser le critère de biais « B » qui permet de mesurer la tendance du modèle à sous-estimer ou surestimer les observations ( Équation ýI ). Comme pour l'erreur quadratique ce critère devra être minimisé.

Équation ýI-

Pour les mêmes raisons, Anderton et al. (2002a) proposent d'utiliser le rapport V des volumes écoulés simulés et observés pour estimer l'erreur sur le débit que l'on cherchera à rendre le plus proche de 1 possible ( Équation ýI ) :

Équation ýI-

Où est le débit simulé à un temps t et est le débit observé pour ce même temps t.

Tous ces critères sont utilisables à différents pas de temps. Aussi une validation multi-critères peut-elle être faite par exemple sur les débits horaires, journaliers et décadaires, à l'aide du même critère mais utilisé pour chaque pas de temps. A priori, plus le temps d'intégration est long, meilleure est la simulation. L'efficience sur les débits décadaires devrait donc être meilleure que l'efficience sur les débits horaires.

L'utilisation de plusieurs critères objectifs ne résout pas complètement le problème de détermination des jeux de paramètres optimum. En premier lieu, même si nous utilisons plusieurs critères, il va être difficile de définir lequel est le plus important. Avec une détermination fine des paramètres, il vient toujours un moment où l'un des critères est amélioré au détriment d'un autre. Comment choisir ? Ensuite, les paramètres peuvent varier quelquefois dans des gammes importantes.

En phase de calage, des méthodes automatiques ont été développées pour explorer plus largement les gammes de valeur des paramètres. L'avantage principal de ces méthodes automatiques est de pouvoir considérer l'ensemble des critères et donc de trouver un équilibre entre les différents objectifs de représentation des composantes hydrologiques du bassin versant. Par contre, dans un contexte d'équifinalité (Ce phénomène peut être engendré lorsque des jeux de paramètres significativement différents conduisent aux mêmes résultats de simulation), elles ne permettent pas d'accéder à la modélisation optimale, mais à un ensemble de jeux de paramètres conduisant à des simulations équivalentes. Les deux méthodes les plus connues sont la méthode multi-objectifs (Yapo et al., 1998) et la méthode GLUE (Generalised Likelihood Uncertainty Estimation) (Beven et Binley, 1992).