La régression PLS

V. Le critère de la régression PLS

Le critère de la régression PLS se distingue du critère de la régression linéaire classique.

En régression linéaire classique, on se contente de minimiser les erreurs d'estimations sur variables actives, entendues aux sens des carrés des résidus. On minimise la somme du carré des résidus. On a ainsi un modèle qui colle « au plus près » du « nuage de points ».

La régression PLS n'a pas le même objectif, et l'approche n'est pas la même non plus. On crée pour chaque étape, une composante qui est fonction des variables explicatives étudiées*, en lui imposant la contrainte selon laquelle la somme des carrés des coefficients de la composante (par rapport aux variables explicatives) doit être égale à 1. Cette contrainte étant prise en compte, on maximise la covariance élevée au carré (ce qui revient au même que de maximiser la covariance en valeur absolue) de la variable Y par rapport à ti.

*(qui changent à chaque étape, sachant qu'à la première étape il s'agit des variables initiales centrées-réduites, qu'à la seconde il s'agit des résidus des régressions des variables explicatives sur ti, et ainsi de suite, comme expliqué en première partie)

Ce programme d'optimisation, à l'étape 1, peut donc s'écrire de la manière suivante : Max Cov²(Y,ti)

~

2

s.c. W i ~

i ~

~

t, X_i W_i

i

~

Sachant que Cov²(Y,ti) = R²(Y,ti)*Var(ti), Var(Y) étant égal à 1 puisque Y est une variable centrée-réduite.

Notons qu'aux étapes suivantes, on peut remplacer ti par tj et Y par les résidus de la régression de Y sur tj-1.

Il s'agit donc de maximiser à la fois la variance de ti (plus la variance de ti est importante, et plus l'inertie de l'ensemble formé par les variables explicatives est expliquée, la variable ti ne pouvant pas comporter de fraction de variance expliquant autre chose que l'inertie des variables explicatives) et le coefficient de détermination de Y avec ti, c'est-à-dire l'explication de Y par tM.

En d'autres termes, on cherche à trouver une variable qui représente au mieux « l'ensemble X », tout en étant capable d'expliquer au mieux les variations de Y.

Il ne s'agit donc pas simplement de trouver des coefficients qui expliquent au mieux la variance de Y (il ne s'agit là que d'un seul des deux critères), il faut également que les variables explicatives soient « bien représentées ».

C'est là toute la différence avec la régression linéaire simple ou multiple, qui ne considère que le critère d'explication de la variance de Y, et néglige à priori complètement la représentation des variables explicatives.

La régression PLS n'est, bien entendu, pas insensible à l'explication de la variance de Y, mais est obligée de trouver un compromis puisqu'elle doit aussi prendre en compte la représentation de l'ensemble X. Si la variance de ti est trop faible, la covariance de Y et ti le sera également, et le critère ne sera pas maximisé.