Action 3.2 : Proposition d un document type d
évaluation à froid et d une aide à destination des
formateurs
a/ Etat des lieux des pratiques dévaluation des
formations en entreprise
Nous nous baserons ici sur l étude nationale INFFOLOR
de 2006 : La formation est elle réellement au service du
développement des compétences ?
Il était, entre autre, question de savoir dans cette
étude, si, à l issue de la formation, les collaborateurs des
entreprises bénéficiaient d un plan de mise en uvre
planifié des connaissances acquises. A l issue de l enquête, on
peut conclure que si l envoi en stage de formation reste l
élément rendant le salarié « plus compétent
», il n y a pas de « gestion post formation » formalisée.
Les entreprises disent « ne pas planifier de temps pour la mise en uvre
des acquis de la formation dans le champ professionnel » (p 4).
63% des entreprises reconnaissent que l encadrement a rarement
une mission formalisée, dans l accompagnement des collaborateurs,
à l issue de la formation. « Cette problématique reste donc
fondamentale dans le sens où elle démontre que pour les
entreprises, aller en formation, est suffisant pour développer les
compétences. » (p6)
Ce constat est appuyé par l analyse des
résultats sur l évaluation. Si la moitié des entreprises
annonce une volonté de mesurer les résultats en formation, elles
semblent peu équipées sur les critères à mesurer et
les outils à disposition.
Lorsque l évaluation est pratiquée, elle se
résume essentiellement à la demande
d évaluation à chaud, remise par l organisme de
formation ou à un entretien avec le stagiaire, à son retour de
stage, pour savoir comment il sest déroulé. Latteinte des
objectifs pédagogiques ne fait pas l objet de vérifications plus
poussées. En conclusion, on s aperçoit que l évaluation
est peu formalisée et centrée uniquement sur l entretien avec le
collaborateur mais aussi qu il persiste une confusion entre la satisfaction (60
% des entreprises la demande systématiquement) et l efficacité
(30 % des entreprises s interroge sur l atteinte des objectifs). Les TPE
représentent 51 % des entreprises qui évaluent à moyen
terme les résultats opérationnels de la formation.
b/ Un apport théorique apporté sur l
évaluation aux formateurs Comundi
Lévaluation ne porte pas de façon
générale sur la session de formation mais doit se
décomposer en trois cibles :
1. Les effets de la formation (ce sont les acquis et le
transfert des connaissances)
2. Les bénéficiaires (les ressentis)
3. Laction de formation (l organisation de la session et l
ingénierie de formation)
Si l évaluation porte sur les effets, cest qu on a une
vision opérationnelle et que l on pourra rendre compte auprès du
management : « Qu est-ce que cette action de formation a rapporté ?
»
Si l évaluation est centrée sur les
bénéficiaires, elle suppose une logique de Ressources Humaines.
On apprécie des aptitudes, des satisfactions, des potentiels, des
acquisitions, on certifie, on valide des parcours.
Enfin, si l évaluation porte sur l action de formation, on
est dans une démarche qualité, on recherche la conformité
avec le cahier des charges.
Les opérationnels, les financiers, la DRH, le Comex
(Comité exécutif), les IRP (Instances Représentatives du
Personnel), les salariés ; tout le monde veut savoir à quoi sert
la formation.
Chaque corps de métier dans l entreprise se pose des
questions sur la mesure de la portée de la formation.
Pour les opérationnels : « Quel est le rapport entre
le temps investi et les nouvelles compétences acquises ? »
Pour les financiers : « Quel est le retour sur
investissement de l action ? »
Pour la DRH : « Quelles sont les compétences acquises
en lien avec la gestion prévisionnelle et l évolution des
métiers ? »
Pour le Comex : « Quel est l apport de cette formation avec
la mise en uvre de la stratégie de l entreprise ?
Pour les IRP : « Quelle est la plus-value de cette action
dans la sécurisation du parcours professionnel des
bénéficiaires ? »
Et enfin, pour les bénéficiaires eux-mêmes :
« Quel sera le lien entre cette action et leur développement
professionnel ou le maintien de leur employabilité ? »
Nous partirons, pour cette étude, du principe qu
évaluer, cest mettre en relation des éléments issus d un
observable ou référé et un référent pour
produire de l information éclairante sur l'observable, afin de prendre
des décisions (Hadji, 1990). Un référent est ce à
quoi se rapporte pour devenir plus intelligible un matériel donné
(Ardoino & Berger 1989). Il comporte l'objectif de l'action (les
compétences visées) et les critères sur lesquels on
sappuiera pour évaluer l observable. Si on
évalue un produit fini, il sagit des qualités attendues de ce
produit ; sil on évalue un processus, il s agit des opérations
invariantes à réaliser pour fabriquer ce produit et qui mettent
en jeu les compétences visées.
Le référé, cest l observable et les
indicateurs qui permettront de se prononcer en fonction des critères.
La compétence peut être définie comme un
ensemble de savoir-faire conceptualisés dont la maîtrise implique
la mise en uvre combinée de savoirs formalisés (connaissances
scientifiques et techniques), de savoirs pratiques et comportementaux, d
opérations mentales (Vergnaud, 1995). La compétence se
développe et s évalue à travers la réalisation de
tâches et des effets qui en résultent (i.e. la
performance). Campanale (1997) précise que l on peut distinguer
compétences générales ou transversales (dégager l
essentiel, problématiser, travailler en équipe ) et des
compétences spécifiques à une discipline (savoir-faire
métier).
Dans le cas particulier de la formation d adultes, plusieurs
modalités sont envisageables pour mesurer les acquis :
Tests de connaissances auto et hétéro
évalués
Evaluation des dernières mises en situation
Cartes conceptuelles
Questionnaires sur les pratiques donnés à remplir
avant, à la fin et plus tard. Evaluat ion de projets.
Parmi ces modalités, l autoévaluation nous
semble intéressante en formation pour adulte. Il sagit dune
évaluation interne, conduite par le sujet sur sa propre action et sur ?
ce qu elle produit.
Cest un processus d'altération de son
référentiel d action au cours de confrontations entre son propre
référentiel et celui ou ceux d autrui (Campanale, 1997). Elle se
traduit par un dialogue de soi à soi, une réflexion
métacognitive (Allal, 1999). Lautoévaluation
délibérée, qui amène le sujet à interroger,
réguler, transformer son action (produit, démarche, conceptions
implicites sous-jacentes) ne peut être imposée. Elle favoriserait
le transfert d un apprentissage (Jorro, 1999).
Allal (1999) distingue trois types de modalités d
organisation de situations d autoévaluation :
1. Lautoévaluation au sens strict, où le sujet
contrôle sa production avec une grille de référence.
2. Les évaluations mutuelles réciproques
(faites sur des productions émanant des stagiaires-évaluateurs)
et non réciproques (faites sur des productions externes aux
stagiaires-évaluateu rs).
3. Les co-évaluations, évaluations conjointes du
stagiaire et du formateur, à partir d une grille de critères.
c/ Le modèle de Kirkpatrick
1. Une évaluation du ressenti et des effets
Nous distinguerons aussi ici 4 niveaux des effets de l action
de formation selon le modèle de Kirkpatrick (1998). Ces quatre niveaux d
évaluation permettent de balayer les effets de la session de formation
du ressenti à la rentabilité.
Niveau 1 : Evaluer les réactions (Vécu de la
formation, ressenti, utilité pour les participants en fin de stage)
Niveau 2 : Evaluer les apprentissages (savoirs et savoir-faire
durant le stage sous les formes d évaluation cités plus haut)
Niveau 3 : Evaluer les applications/transferts des acquis sur le
terrain (Observation, entretiens téléphoniques impromptus
à postériori du stage)
Niveau 4 : Evaluer les résultats (Rentabilité,
retours sur investissements pour l entreprise)
Tous ces niveaux donnent des indices d efficacité de la
formation (de la satisfaction à la rentabilité pour le client).
Le Boterf, (1998) propose une carte conceptuelle afin de
représenter graphiquement la satisfaction des stagiaires
suivant certains critères (cf annexe 10 Exemple d une carte de
satisfaction des apprenants).
Quelques critères de satisfaction (niveau 1) :
Prestation du formateur
Accueil des participants
Qualité de la salle de formation Matériel de
formation
Supports pédagogiques
Contenu de la formation par rapport aux objectifs initiaux
Qualité des repas
Quelques critères d impacts ou de transfert de la
formation en situation de travail (Niveau 3) :
Atteinte des objectifs opérationnels énoncés
en amont de la formation
Utilisation de la formation en cours d emploi (comment ce qui a
été transmis pendant la formation est applicable en situation de
travail)
Impacts sur le travail des formés
Satisfaction avec du recul
Les évolutions de poste (polyvalence, nouvelles
responsabilités, évolution de poste )
2. Des critiques déterministes
Ce modèle à quatre niveaux présente des
limitations. Bates (2004) propose trois limitations du modèle de
Kirkpatrick qui ont des implications sur la capacité des
évaluateurs à produire de l information au client sur les
avantages et les intérêts de la formation pour les stagiaires et l
entreprise.
Il s'agit notamment du caractère incomplet du
modèle, de l hypothèse de causalité, et de la croissance
de l importance des informations au fur et à mesure que les 4 niveaux
progressent.
Ce modèle quaternaire présente une vue trop
simplifiée de l'efficacité de la formation qui ne tient pas
compte de l influence individuelle ou du contexte dans l'évaluation de
la formation. Bates (ibid.) précise qu un courant de la
recherche au cours des deux dernières décennies a
documenté la présence d'un grand éventail de facteurs qui
peut influencer l'efficacité de la formation avant, pendant ou
après le stage. Ces facteurs peuvent provenir des organisations, des
individus, de la conception ou de l'exécution du stage.
L'hypothèse de liens de causalité du
modèle de Kirkpatrick suppose que les 4 niveaux de critères
représentent une chaîne de causalité telle que des
réactions positives à la suite de la formation produisent plus de
transfert et donc plus d apprentissages et par là même, plus de
résultats positifs dans l organisation de l entreprise.
Limportance croissante de l'information donnée par le
modèle de Kirkpatrick suppose que chaque niveau de l'évaluation
fournit des données plus informatives que la précédente.
Cette hypothèse a généré la perception chez les
évaluateurs que la mise en place au niveau quatre du modèle
résultats donnera les informations les plus utiles sur
l'efficacité du programme de formation.
Ces trois reproches formulés sur le modèle
détaillé au-dessus ont tous en commun le caractère
déterministe sous-jacent à ce type d évaluation. Les
critiques sont donc d ordre éthique car l évaluation porte
majoritairement sur les stagiaires eux-mêmes sans considération
des facteurs extérieurs.
d/ L évaluation du processus de formation
Le troisième type d évaluation possible est celui
de l évaluation du processus de formation (vs effets et
satisfaction).
En ingénierie de formation d adultes, cette
évaluation du processus comprend (Campanal, 1997) :
L évaluation de l action par le formateur
(critères : Conformité au cahier des charges,
Pertinence à la situation réelle, Cohérence,
Efficacité de l action de formation)
L évaluation du dispositif global par le responsable
Formation d une entreprise pour les actions qu il a commanditées.
Dès lors que l on parle d évaluation de la
conduite de la séquence, plusieurs types de critères de
réussite seront identifiés (ibid.).
Les critères d évaluations sont des dimensions
abstraites, qualitatives d un objet sur lesquelles on s appuie pour se
prononcer sur l objet. On distinguera alors des critères de
réussite et critères de réalisation. Ces critères
sont faiblement inclus dans le modèle de Kirkpatrick. Nous nous
proposons ici de les développer et d en soumettre quelques uns.
Les critères de réussite sont des
caractéristiques du produit attendu, retenues pour l estimer et l
apprécier, en fonction d un référent
préétabli (conformité à la consigne, exactitude,
complétude, cohérence, pertinence, rigueur, communicabi
lité, originalité, efficacité...)
Les critères de réalisation ou opérations
invariantes impliquées par la réalisation de la tâche
découlent d une analyse de la tâche. Ils servent aux stagiaires
pour se guider dans la réalisation et améliorer leur action,
autrement dit pour la réguler, et aux formateurs pour repérer
où se situent les erreurs et produire un feedback en cours d
apprentissage.
Ces critères sont déclinés en indicateurs
mesurables. Un indicateur est la version ou conversion concrète d un
critère, un indice pris dans l observable qui permet de dire si l objet
répond au critère (ex. les idées présentes dans le
résumé, l enchaînement de ces idées ; le pourcentage
de réussite des étudiants aux tests de contrôle ...). A un
même critère, correspondent, en général, plusieurs
indicateurs qui se combinent.
Critères de réussite d une situation de formation
:
Présentation des objectifs, du déroulement,
Prise en compte des attentes et des questions des apprenants
Interventions orales pertinentes, précises et concises,
Maintien de l attention
Feed-back et Régulations
pertinents
Gestion souple mais maîtrisée du temps en fonction
des aléas Gestion ferme des comportements / des règles de vie
Temps ménagés pour la structuration des
connaissances
Utilisation pertinente de supports de communication
Alternance pertinente apports et situations de production
Modalités d évaluation formative pertinentes,
différenciées et « économiques »
Modalités d évaluation sommative adaptées
Critères des conditions de travail :
Conditions matérielles Informations préalables sur
le contexte
Accueil
Déjeuner
Relation avec les autres personnels
Critères de réussite de la préparation d une
séquence :
Conformité de l objectif général aux
I.O.
Degré de généralité de l objectif
adapté au niveau réel des stagiaires
Cohérence objectifs spécifiques- objectif
général
Pertinence des contenus et des situations d apprentissage / l
objectif et aux stagiaires
Variété des activités
Organisation temporelle
pertinente et équilibrée
Clarté et pertinence des supports Clarté et
précision des consignes de travail prévues
Prévision de modalités
dévaluation formative et
som mative
A la suite de ces observations, une note de synthèse
est rédigée à l intention des formateurs. Elle doit
permettre de niveler vers le haut les pratiques en matière d
évaluation à chaud et donc d améliorer la qualité
des formations Comundi. Cette « note
d accompagnement des formateurs dans les modalités d
évaluation des formations Comundi. » est proposée en annexe
12.
e/ Les 9 étapes d un système
dévaluation
|
AMONT
|
EN COURS
|
AVAL
|
|
EFFETS
|
A. Objectifs Opérationnels
|
D. Mobilisation
|
G. Ecarts
|
|
BENEFICIAIRES
|
B. Ciblage
|
E. Appropriation
|
H. Validation
|
|
FORMATION
|
C. Cahier des
charges
|
F. Qualité
|
I .Mise en uvre
|
Définitions à partir du tableau :
A. Objectifs opérationnels : Ce sont les
bénéfices attendus et mesurables (référents)
B. Ciblage : Le positionnement, la sélection des
stagiaires
C. Cahier des Charges : Description de l action de formation
D. Mobilisation : Leffet d entraînement en cours de
formation ainsi que la satisfaction
E. Appropriation : les acquis des stagiaires (évaluation
durant le stage)
F. Qualité : la conformité au cahier des
charges
G. Ecarts : le bilan opérationnel de la formation
(référé)
H. Validation : La constatation de la valeur ajoutée aux
participants
I. Mise en uvre : La transposition de la formation à l
exploitation
| 
