2.4.2 Les différents classements existants
Les pouvoirs publics s'intéressent de plus en plus aux
analyses comparatives nationales et internationales de l'éducation.
Elles leur permettent d'identifier des politiques d'éducation efficaces
qui contribuent à la fois à améliorer les perspectives
économiques et sociales des individus, à promouvoir une gestion
efficace des systèmes scolaires et à mobiliser des ressources
supplémentaires pour répondre à une demande croissante. Un
classement des universités et centres privés d'enseignement
supérieur va éclairer les différents acteurs sur le
bon fonctionnement de ces établissements, la
qualité de l'enseignement de leur formation ainsi que l'évolution
du système éducatif privé du supérieur.
La raison d'être des
classements
L'évaluation des programmes d'études et des
établissements n'est pas chose nouvelle. Depuis 1983, U.S. News and
World Report publie un palmarès des meilleures universités
américaines. C'est plutôt la comparaison, à
l'échelle mondiale, de la performance des universités, qui est
récente. En effet, la position qu'occupe une université dans
l'univers de la recherche, au plan national ou international, est souvent
perçue comme le gage de qualité de l'enseignement par excellence,
à l'époque où la connaissance, l'innovation, la recherche
et le développement sont essentiels au progrès des pays. Dans
notre pays le Bénin, un tel travail n'a jamais été
abordé, du moins à notre connaissance.
A quel besoin ces classements
répondent-ils?
D'abord, ils satisfont un besoin d'information au sein de la
clientèle étudiante, quant aux programmes d'études
proposés par ces universités. Ensuite, la comparaison nationale
de ces établissements d'enseignement supérieur, notamment sous la
forme des classements, vient satisfaire la demande d'information quant aux
forces et faiblesses de ces institutions. Enfin, elle comble un déficit
de transparence, alors que ni les institutions, ni les gouvernements ne sont en
mesure de fournir toutes les informations que requièrent leurs
clientèles (Usher & Savino, 2006). Selon le rapport Bourdin (2008),
les classements viendraient, en effet, pallier l'opacité qui plane sur
les performances des établissements. Toutefois, malgré leur
première utilité, les classements sont loin d'être des
outils servant à mesurer l'« assurance-qualité ».
Il s'avère essentiel d'étudier les classements
universitaires puisque de plus en plus d'institutions d'enseignement
supérieur s'y réfèrent pour orienter leurs actions et que
plusieurs gouvernements s'en servent pour formuler leurs politiques publiques
dans le domaine de l'éducation. Les classements ont un impact
réel sur les politiques. Devant la nécessité de fonder ces
politiques sur de solides données, on peut s'interroger sur la
qualité de cette source d'information. Les renseignements sur lesquels
s'appuient les décideurs publics et les gestionnaires
d'établissements sont-ils exacts, fiables, objectifs? Ces
classements permettent-ils d'évaluer la valeur
réelle des établissements en matière d'enseignement, de
recherche, missions premières des universités?
Les experts répondent que la meilleure façon de
tirer profit des informations que fournissent les classements est encore de
bien les connaître et les comprendre afin de correctement les
interpréter. Actuellement, il existe deux sortes de palmarès
à savoir :
· les palmarès nationaux qui présentent la
liste des meilleurs établissements d'enseignement supérieur
à l'échelle nationale et ;
· les palmarès internationaux qui présentent
la liste des meilleurs établissements d'enseignement supérieur
à l'échelle mondiale.
2.4.2.1 Les classements internationaux
Les principaux classements internationaux évaluent
à peu près les mêmes établissements d'enseignement
universitaire et leurs appréciations se fondent sur des principes et
approches assez similaires (Dyke, 2005). Au-delà de ces aspects, les
classements diffèrent considérablement dans les objectifs qu'ils
poursuivent, les données qu'ils collectent et les champs qu'ils
couvrent. Pour la seule notion de « qualité » d'un
établissement, que tous les classements se targuent d'évaluer,
les définitions peuvent grandement varier (Dyke, 2005; Usher &
Savino, 2006).
Aujourd'hui, il existe dans le monde au moins dix
palmarès en concurrence, que sont : le Shanghai Academic Ranking of
World Universities de l'université chinoise Jiao Tong (le classement de
Shanghai), le Times Higher Education World University Rankings (classement de
Times), le Webometrics Ranking of World Universities (classement Webometrics)
du Conseil supérieur de la recherche scientifique espagnol, le Leiden
World Ranking du Centre d'études sur les sciences et les technologies de
l'université de Leiden aux Pays-Bas, le classement des programmes de MBA
du Financial Times, le classement de l'École des Mines de Paris, le
Higher Education Evaluation and Accreditation Council of Taiwan (HEEACT), le
classement Newsweek du magazine américain Newsweek, le classement
Scimago proposé par un laboratoire espagnol et le classement
d'excellence du Centrum für Hochschulentwicklung, un think tank
allemand.
Parmi tous ces classements, trois d'entre eux, le Shanghai
Academic Ranking of World Universities de l'université chinoise Jiao
Tong, le World University Ranking du Times Higher Education Supplement et le
Webometrics Ranking of World Universities sont mieux connus, attendus et
même parfois redoutés. Ils sont compulsés par les chefs
d'établissements, les autorités gouvernementales, les
étudiants à la recherche de l'université où
poursuivre leurs études et même par les dirigeants d'entreprises
en recrutement. Cette section présente un tour d'horizon de ces trois
classements internationaux.
Le classement de Shanghai
Le classement de Shanghai est apparu la première fois
en 2003, et a été créé par 4 professeurs de
l'université de Jiao Tong en Chine. Le succès de leur classement
une fois publié a été tel qu'il a fini par faire le tour
du monde seulement en quelques mois, ce qui a conduit les enseignants à
continuer l'expérience face à ce succès, et le remettre
à jour tous les ans au mois d'août.
À l'origine, les initiateurs du projet avaient pour
objectif de situer, sur l'échiquier mondial, les établissements
d'enseignement supérieur chinois en les comparant à leurs
homologues à travers le monde (Pech, 2009; Bourdin, 2008). Le
succès retentissant de ce classement, principalement auprès des
médias, les incita à répéter annuellement cette
comparaison. Le classement de Shanghai compare 1200 institutions d'enseignement
supérieur sur la pondération de 6 indicateurs, tous liés
à la recherche. Cinq de ces indicateurs ont un effet de taille :
à qualité égale, plus le nombre de chercheurs est grand
dans une institution, plus sa note sera élevée.
Tableau N°1: Les indicateurs du classement de
Shanghai et leur pondération
|
Critères
|
|
Indicateurs
|
Pondération
|
|
Qualité formation
|
de
|
la
|
Nombre de prix Nobel et de médailles Fields parmi les
anciens élèves
|
10 %
|
|
Nombre de prix Nobel et de médailles Fields parmi les
chercheurs
|
20 %
|
|
|
|
Nombre de chercheurs largement cités dans les
disciplines des sciences du vivant, de la médecine, de
|
|
|
|
|
la physique, des sciences de l'ingénieur et des
sciences
|
20 %
|
|
Qualité personnel
|
|
du
|
sociales
|
|
|
|
|
Nombre d'articles publiés dans Nature et Science entre
|
20 %
|
|
|
|
2004 et 2009
|
|
|
|
|
Nombre d'articles répertoriés dans le Science
Citation
|
|
|
|
|
Index-expanded (SCI Expanded) et dans le Social
|
|
|
Output
|
de
|
la
|
|
20 %
|
|
recherche
|
|
|
Science Citation Index (SSCI) en 2009. Les articles du
|
|
|
|
|
SSCI comptent double. (Le SSCI entre dans le
décompte des articles depuis 2006).
|
|
|
Grandeur institutions
|
|
des
|
Performance académique au regard de la taille de
l'institution
|
10 %
|
Source : ARWU, 2008.
Basé sur des critères que ces créateurs
ont jugés représentatifs du niveau d'une université, ce
classement est néanmoins critiqué de par le fait qu'il met en
avant la recherche menée au sein des universités au
détriment de la qualité de l'enseignement. Ainsi, la logique fait
que plus l'université a de moyens, plus elle se retrouve proche du haut
du classement. Le classement de Shanghai nous donne donc une indication sur la
taille et la renommée d'une université, mais en aucun cas de la
qualité de l'enseignement qui y est dispensé. Aussi, dans ces
critères n'apparaissent malheureusement pas certaines orientations
jugées prioritaires en France comme la formation supérieure des
cadres, des ingénieurs et des gestionnaires pour les milieux
socio-économiques ou les sciences humaines et sociales. Les secteurs de
l'ingénierie et du management, l'ouverture sociale et l'innovation
technologique sont peu pris en compte dans les critères de ce
classement.
Le Times Higher Education World University Rankings
Un an après la publication du premier palmarès
de Shanghai, flairant la bonne affaire, le magazine britannique Times Higher
Education Supplement (THES) publie le World University Ranking, classement
devenu lui aussi l'un des plus connus à travers le monde. En tenant
compte des critiques émises à l'égard du classement de
Shanghai et cherchant à élargir les bases de l'évaluation
des établissements, le Times prend en considération non seulement
la recherche, mais aussi l'enseignement dispensé par
l'université. Cinq critères, qualitatifs et quantitatifs,
permettent au Times d'ordonner les 200 « meilleures »
universités du monde.
Tableau N°2: Les critères du THE (Times Higher
Education)
|
Critères
|
|
Indicateurs
|
Pondération
|
|
Évaluation par les pairs
|
|
Points obtenus lors de
l'enquête auprès des pairs (divisée en cinq
domaines)
|
40 %
|
|
Évaluation par
employeurs
|
les
|
Réponses à l'enquête
auprès des employeurs
|
10 %
|
|
Taux d'encadrement
|
|
Rapport entre les effectifs d'étudiants et
d'enseignants
|
20 %
|
|
Citation par Facultés
|
|
Nombre de citation divisé par le nombre de
chercheurs
|
20 %
|
|
Internationalisation corps enseignant
|
du
|
Proportion d'enseignants
étrangers
|
5 %
|
|
Internationalisation étudiants
|
des
|
Proportion d'étudiants
étrangers
|
5 %
|
Source: Times Higher Education, 2008.
Ce que certains reprochent au classement du Times, c'est
l'importance qu'il accorde à la réputation de
l'établissement : on y récompense davantage les efforts de
marketing plutôt que les chercheurs de l'institution (Marginson &
Wende, 2007). Cette mesure est obtenue, depuis 2005, grâce à
l'évaluation de l'établissement par les pairs (40% de la
pondération totale), de même que par les employeurs (10%). Cet
aspect, qui démarque grandement le classement du Times par rapport
à celui de Shanghai, repose sur le jugement de milliers de professeurs
et chercheurs des cinq continents qui portent un verdict sur les
universités dans les disciplines de recherche pour lesquelles ils sont
eux-mêmes spécialisés. Cette façon de
procéder a toutefois connu quelques ratés.
Le Webometrics Ranking of World Universities
Ce classement est réalisé par le laboratoire de
recherche Cybermetric du CSIC (Consejo Superior de Investigaciones cientificas)
en Espagne. Il rassemble plus de 4000 universités et centres de
recherche dans le monde, répartis par grandes régions
géographiques. Ce classement veut surtout promouvoir les publications
sur le web et les initiatives en Archives Ouvertes, comme ressort du texte sur
les pratiques conseillées pour le positionnement des sites et de la
méthode employée. Le classement Webometrics propose une approche
différente des autres classements mondiaux. En effet, celui-ci a pour
but d'évaluer la présence des universités sur internet, et
non leur niveau d'enseignement ou de recherche. Ils se basent avant tout sur la
quantité du contenu présent sur le net, et l'accessibilité
du site de l'université en question.
Le classement se base sur plusieurs critères en lien avec
le référencement dans les principaux moteurs de recherche, que
sont :
- Le Nombre de pages du site : Nombre de pages
récupérées par 4 moteurs Google, Yahoo, Live Search et
Exalead
- La Visibilité : Nombre de liens extérieurs
(backlinks) pour le site que l'on peut obtenir en interrogeant Yahoo Search,
Live Search et Exalead
- Les Fichiers téléchargés : Les formats
suivants ont été sélectionnés : Adobe Acrobat
(.pdf), Adobe PostScript (.ps), Microsoft Word (.doc) et Microsoft Powerpoint
(.ppt).
Il faut alimenter les moteurs en fichiers. On compte aussi le
nombre de fois que les fichiers sont téléchargés
- Les publications Académique : Google scholar donne le
nombre d'articles et des citations par domaine des articles publiés dans
le site.
Malgré sa renommée internationale, ce classement
n'est pas resté sans critiques :
Si le classement semble intéressant à consulter,
il faut savoir interpréter sa réelle utilité. La
présence d'une université sur internet dépend en grande
partie de sa renommée pour les internautes, plus le site d'une
université a de liens pointant vers elle sur le net, plus elle semble
populaire. Le nombre de pages du site indique aussi la quantité de
contenu mis à disposition des internautes, idem pour les fichiers
disponibles au téléchargement. Cependant ces indicateurs ne
doivent pas être pris comme un indice de renommée sur le net, et
pour plusieurs raisons.
Premièrement, un internaute mécontent parle plus
qu'un internaute satisfait. Le résultat de cette règle
déjà démontrée par le passé par Google remet
en cause l'indice des backlinks. En effet, les avis négatifs des
internautes avec un lien vers le site de l'université en question
comptent en tant que vote positif pour le classement.
Deuxièmement, si le nombre de pages du site et de
fichiers mis à disposition indiquent que le contenu sur le site est
important, il ne juge en rien sa qualité, mais uniquement sa
quantité. Seul l'indice Google Scholar semble prendre en compte la
qualité du contenu.
Critique des classements
universitaires
Le rapport Bourdin (2008) distingue des critiques sur la
légitimité de la mesure et sur la méthode.
- Critique de leur légitimité
Les classements comparent souvent des institutions
difficilement comparables. Ainsi, ces classements mettent sur un même
pied des universités généralistes, des grandes
écoles, ou encore Harvard, alors que cette dernière dispose d'un
budget annuel de 3 milliards de dollars pour vingt mille étudiants.
Les classements agrègent des indicateurs difficilement
comparables. Le choix d'indicateur pour chacune des missions de
l'université (enseignement, recherche, services à la
cité,...) et leur agrégation pour obtenir un score unique conduit
généralement à « additionner des pommes et des poires
». Pour prendre un exemple, le nombre d'articles publiés dans des
revues prestigieuses a probablement moins d'importance que le taux
d'encadrement des étudiants si vous cherchez une université
où étudier, mais elle en aura plus si vous êtes une
entreprise désireuse de débuter un partenariat de recherche. Et
l'addition entre ce nombre d'articles et le taux d'encadrement n'a pas grande
signification. Ceci explique les grandes variations que l'on peut observer,
pour la même université, d'un classement à l'autre et
même d'une année à l'autre dans le même
classement.
Par construction, les classements privilégient le monde
anglophone et les grandes universités spécialisées telles
que les écoles polytechniques. Pour les raisons évoquées
cidessus, les classements sont conçus avec un modèle
d'université idéale. Implicitement, ce modèle est bien
souvent celui des grandes universités anglo-saxonnes. Il n'est donc pas
étonnant de voir que les universités nord-américaines
occupent les premiers rangs, suivis des universités anglaises. De
même, les universités qui se spécialisent dans un petit
nombre de domaines porteurs grimpent plus facilement dans ces classements. Les
universités européennes généralistes de service
public ne cadrent donc pas forcément avec les critères
utilisés pour ces classements.
- Critique de leur méthode
Gingras (2008) souligne le manque de fiabilité du
classement de Shanghai, qui fait varier de 100 rangs la position de
l'université Humboldt de Berlin, en 2008, en raison de la publication en
1922 du Prix Nobel d'Einstein.
Le rapport Bourdin soulève plusieurs limites
méthodologiques :
Les mesures et pondérations choisies ne font l'objet
d'aucune justification théorique. Les utilisateurs des classements sont
invités à partager des choix dont ils ne sont pas toujours bien
informés. De façon générale, la
légitimité des indicateurs synthétiques est incertaine,
d'une part parce qu'ils agrègent des données disparates, et
d'autre part, parce qu'ils résultent de choix qui placent en fait
l'observateur supposé en situation d'acteur.
La source des indicateurs est problématique, dans le
cas de données déclarées par les universités
elles-mêmes. Des études menées aux États-Unis ont
montré que ces données étaient l'objet de manipulations,
ou que certaines règles étaient modifiées par les
universités en sorte d'améliorer artificiellement leur place dans
les classements.
Les indicateurs choisis ont parfois un caractère
indirect (utilisation de << proxies >>). Ainsi par exemple, que
mesurent, en réalité, les enquêtes de réputation
telles que celles effectuées dans le cadre du classement du Times
(TH-QS) ? Mesurent-elles la sélectivité de
l'établissement, la qualité de sa recherche, son prestige
historique ? Ces mesures créent des effets de rémanence, car la
réputation d'un établissement dépend en partie des
classements passés.
Les indicateurs retenus sont liés entre eux, en sorte
que la dimension << multicritères >> du classement est en
partie superficielle. Dans le cas du classement de Shanghai, les
critères bibliométriques se chevauchent (<< nombre
d'articles référencés au niveau international >> et
<< nombre d'articles publiés dans les revues << Science
>> et << Nature >> >> par exemple) ou recoupent
indirectement d'autres critères comme l'obtention de distinctions
académiques (prix Nobel, médailles Fields). Dans le cas du
classement du TH-QS, la réputation dépend aussi de ce qui est
mesuré par les autres indicateurs employés, en sorte que les
mêmes éléments sont pris en compte plusieurs fois pour la
réalisation d'un classement, dans une mesure qu'il est difficile
d'évaluer.
Enfin, les écarts statistiques ne sont pas toujours
suffisamment significatifs pour qu'un classement établissement par
établissement, par ordre décroissant de performance soit
réellement pertinent.
| 
