3.3.3.2 Évaluation de la performance
prévisionnelle
La particularité de cette étude est qu'elle
évalue les modèles sur chacune des 29 années de
l'échantillon de prévision, de l'horizon 1 à 12 pour la
fréquence mensuelle (horizon 1 à 4 pour la fréquence
trimestrielle). L'échantillon de prévision est de 1986 à
2014. L'évaluation de la performance de prévision se fait hors
échantillon d'estimation.
Nous évaluons la performance prévisionnelle des
modèles empiriques de variation de taux de change (POTI, PPA, MF, PE)
par rapport au modèle de référence qui est la marche
aléatoire. Trois critères statistiques d'évaluation sont
utilisés pour comparer la performance prévisionnelle des
modèles à la celle de la marche aléatoire. Le premier
31
critère est le U de Theil. Le second est la variation
de la racine de l'erreur quadratique moyenne (ÄREQM) suivant l'approche de
Welch et Goyal (2008). Le troisième est la
statistique de Campbell et Thompson (2008). Ensuite les
modèles sont comparés
entre eux pour en déterminer le
plus performant. Les statistiques utilisées pour cela sont deux scores
que nous nommons « Indicateur de Performance par Approche» (IPA) et
« Indicateur de Performance par Modèle» (IPM).
Pour évaluer la précision des modèles
pendant la crise financière, la principale statistique que nous
analysons est la racine de l'erreur quadratique moyenne (REQM)
Les statistiques utilisées sont définies comme
suit: U de Theil =
: variation du taux de change réalisée, :
prévision de la variation du
taux de change par les modèles empiriques (POTI, PPA, MF,
PE), : prévision
de la variation du taux de change par le modèle de
marche aléatoire, h : horizons de prévision, 1,2,....,12. M est
le nombre d'obervations utilisées pour l'estimation des modèles.
N est le nombre d'observations pour les prévisions hors
échantillon.
Une valeur de U de Theil inférieure à 1 signifie
que le modèle empirique de prévision performe mieux que la marche
aléatoire.
.
Plus un modèle est performant, plus les valeurs de la
statistique calculées
lors des prévisions sont faibles. Ainsi après un
choc, les performances prévisionnelles
d'un modèle baissent lorsque les valeurs de la statistique
augmentent.
32
Une valeur positive de la variation de la racine de l'erreur
quadratique moyenne (ÄREQM) signifie que le modèle empirique
étudié performe mieux que la marche aléatoire. Cela est
dû au fait que la racine de l'erreur quadratique moyenne du modèle
empirique étudié est plus faible que celle de la marche
aléatoire.
Une valeur positive de la statistique R E
de Campbell et Thompson (2008) signifie que le modèle empirique
étudié, qui a une plus faible erreur quadratique moyenne,
performe mieux que la marche aléatoire. Plus le modèle empirique
est performant plus la statistique tend vers 1.
IPA : c'est l'Indicateur de Performance par Approche, pour un
modèle donné. Il permet de déterminer la meilleure
approche de prévision pour chaque modèle. Précisons que
pour chaque modèle, il y a trois approches de prévision
(récursive, roulante 5 ans, roulante 10 ans). Cet indicateur est obtenu
à partir des valeurs de U de Theil, dans notre étude. Pour
déterminer cet indicateur, on considère uniquement chaque
modèle (soit POTI, soit PPA, soit MF, soit PE), ses trois approches de
prévision et tous les douze horizons à la fois. Ainsi prenons
comme exemple uniquement le modèle POTI. On applique au modèle
POTI les trois approches de prévision (récursive, roulante 5 ans
et roulante 10 ans). On a alors trois binômes (modèle-approche)
à comparer. Ce sont les binômes (modèle-approche)
POTI-recursive, POTI-roulante 5ans, POTI-roulante 10ans. Par la suite, pour
chaque année,
4 Ces 29 moyennes annuelles de U de Theil serviront
aussi pour le calcul du score IPM du paragraphe suivant.
33
on évalue avec chaque binôme
(modèle-approche), les prévisions de 12 horizons (4 horizons pour
les fréquences trimestrielles). On obtient 12 valeurs de U de Theil par
année, pour chaque binôme (modèle-approche). On calcule
alors la moyenne annuelle de ces 12 valeurs de U de Theil (moyenne de 4 valeurs
pour les fréquences trimestrielles). Puisque l'échantillon de
prévision total comporte 29 années, on doit alors calculer 29
moyennes annuelles de U de Theil4, pour chacun des trois
binômes c'est-à-dire pour chacune des trois approches de
prévision du modèle POTI. Par la suite, on compare, année
par année, les moyennes annuelles de U de theil des trois approches du
modèle POTI. On dénombre enfin sur les 29 années, le
nombre d'années durant lesquelles chaque approche du modèle POTI
obtient la moyenne annuelle de U de Theil la plus petite. Chaque approche du
modèle POTI obtient ainsi son score pour l'Indicateur de Performance par
Approche (IPA). Puisqu'il y a trois approches de prévision pour le
modèle POTI, alors on obtient trois scores IPA. On compare alors ces
trois scores IPA. La meilleure approche de prévision pour le
modèle POTI est celle qui obtient la plus grande valeur de IPA. Cette
plus grande valeur de IPA est donc de fait le meilleur score IPA du modele
POTI.
On reprend la même démarche pour les trois autres
modèles (PPA, MF et PE). Pour chaque modèle on déterminera
la meilleure approche de prévision. On déterminera donc trois
autres meilleurs score IPA.
IPM : c'est l'Indicateur de Performance de Modèle. Il
permet de déterminer le meilleur modèle. Il est aussi obtenu
à partir des valeurs de U de Theil, dans notre étude. Cet
indicateur est plus général car il compare à la fois tous
les quatre modèles empiriques (POTI, PPA, MF et PE) auxquels sont
appliqués les trois approches de prévision (récursive,
roulante 5 ans, roulante 10ans). On a donc douze éléments ou
binômes à comparer à la fois. Chaque binôme est
constitué d'un modèle auquel est
34
appliqué une approche de prévision. On calcule
les moyennes annuelles de U de Theil5 des douze binômes
(modèles-approche de prévision). Ensuite on les compare entre
elles. On dénombre ainsi pour chaque modèle et l'approche qui lui
est appliquée, le nombre d'années durant lesquelles ce
modèle et cette approche ont la plus petite moyenne annuelle de U de
Theil. C'est leur score IPM. On aura au total douze scores IPM à
déterminer. Le modèle-approche le plus performant de
manière générale est celui qui détient la plus
grande valeur IPM. C'est aussi de fait le meilleur modèle.
5 Pour le calcul des moyennes, on procède
comme avec l'indicateur IPA de la section précédente. Ces
moyennes annuelles de U de Theil sont en fait identiques à celles
calculées dans le cas du score IPA.
Figure 4.1 Graphiques des variables de l'étude
| 
