Elaboration d'un outil d'appréciation de l'implication des acteurs locaux dans le cadre du programme national nutrition santé ( PNNS ): expérimentation en milieu scolaire

1.3.2. Rôle et méthode de l'évaluation

On peut évaluer beaucoup de choses mais on ne peut pas tout évaluer. Il faut donc préciser les questions les plus importantes qu'on se pose sur le programme, et l'utilisation qui sera faite des résultats de l'évaluation (les décisions à instruire). Autrement dit, répondre aux questions : Pourquoi évaluer ? Evaluer pour faire quoi ?

1.3.2.1. Pourquoi évalue-t-on ?

Avant de lancer une évaluation, il faut préciser pourquoi on veut évaluer. On évalue pour :

- Vérifier la qualité de l'action ?

- Faire le point, prendre un temps de réflexion ?

- Expliciter les objectifs, redéfinir le projet associatif ?

- Prendre des décisions sur l'orientation de la structure ou de l'action ?

- Lancer ou renouveler des débats au sein de la structure ?

- Informer ou renforcer la crédibilité des actions et la confiance des partenaires ?

- Mobiliser les acteurs (participation, responsabilisation...) ?

- Donner du sens (= relier les actions à des orientations politiques) ?

- Mieux communiquer sur ce qu'on fait ?

- Mesurer l'efficacité des actions ?

1.3.2.2. Comment évaluer?

Pour évaluer il faut :

- définir des critères d'évaluations : angles de vue retenus pour apprécier la qualité d'une action ou une situation ;

- définir des indicateurs associés aux critères ;

Les critères et indicateurs d'évaluation sont nécessaires car on ne peut pas tout recueillir, tout observer. Le choix de critères et d'indicateurs permet donc de centrer son attention sur certains éléments qui nous semblent importants. Pour les élaborer, il est indispensable d'avoir défini au départ, les objectifs spécifiques de l'action.

- rechercher des sources d'information (terrain, entretiens individuels ou collectifs, questionnaires, rapports d'activité) ;

- établir les conditions de mise en oeuvre : prévoir l'évaluation au plus tôt, la concevoir comme un exercice participatif, se donner le temps de la restitution, s'approprier les résultats.

1.3.2.3. Les méthodes et outils de recueil de l'information

En matière d'évaluation, plusieurs méthodes et outils permettent de recueillir les données :

- Utilisation de la documentation

Premières sources de documentation à exploiter par l'évaluateur, ce sont les travaux antérieurs existants : statistiques officielles, études existantes dans les différents services officiels, travaux d'étudiants, ...

- Observations directes

Importance d'observer sur le terrain non seulement ce qui se retrouve le plus souvent mais aussi les cas «aberrants» qui peuvent être riches d'enseignement.

- Analyse des indicateurs

Intérêt de l'analyse des indicateurs de type «tableau de bord» si ce dispositif a été mis en place au début du projet... ou au moins choix de quelques indicateurs à la fois simples et pertinents pour le suivi des actions et l'appréciation de leurs effets.

- Enquêtes/Entretiens

Les entretiens avec une grille ouverte de questions ont un triple objet : recueillir des informations pour comprendre une situation, étudier des cas sortant de la moyenne mais pouvant donner des idées sur le «champ du possible», et décortiquer des problèmes pour apprécier la faisabilité de certaines hypothèses de solution.... Les enquêtes permettent de faire le point à un moment donné et de comparer avec une situation antérieure pour mesurer des évolutions.... Attention d ne pas se lancer dans des enquêtes trop lourdes dont le traitement risquerait d'être difficile.

- Avis des bénéficiaires

C'est normalement le b.a. ba de la démarche d'évaluation, mais encore faut-il s'en donner les moyens sous forme de réunions, entretiens et éventuellement avec des réunions séparées (par exemple pour permettre aux femmes de mieux s'exprimer) dans certains milieux.

Le tableau ci-après présente de manière succincte et en les différenciant quelques méthodes et outils.

Tableau 1 : Exemples de méthodes et outils d'évaluation

METHODES	OUTILS
Observation	Grille (critériée)
Enquête	Questionnaire Guide d'entretien
Revue de littérature	Méta-analyse Analyse du contenu
Audit	Grille d'observation Guide d'entretien
Etc.

L'évaluation n'est pas, comme on l'a longtemps soutenu, une étape d'un programme ou d'un projet. L'évaluation est un processus continu qui intervient à chaque étape et parfois plusieurs fois par étape, chaque fois qu'une décision doit être prise. Il est donc à la fois plus adéquat et plus prudent de parler d'évaluations et surtout de bien spécifier le type d'évaluation dont il est question.

D'une manière générale concevoir une évaluation suppose la connaissance d'éléments indispensables tels que :

- une décision à prendre (que devons-nous décider ? Quels sont les choix possibles ?)

- un "objet" à évaluer (qu'est-ce que nous évaluons ?)

- des objectifs d'évaluation (pourquoi évaluons-nous ?)

- des critères (avec quoi allons-nous comparer les informations ?)

- des informations à collecter (qu'avons-nous besoin de savoir ?)^14(*)

* ¹⁴ Cf. Deccache A. Pour mieux choisir son évaluation... Définition et rôles des évaluations en éducation pour la santé In : Méthodes au service de l'éducation pour la santé. Liège : APES, 1989, p.2