Analyse critique des méthodes de planification, de suivi, et d'évaluation des interventions dans le secteur agricole en RDC, cas du Programme de Relance de l'Agriculture dans la Province Orientale(PRAPO )

Implication des communautés aux activités de suivi et d'évaluation

A.1. La raison de l'implication des membres de communauté dans les activités d'évaluation

La participation des communautés à l'évaluation des programmes de santé et de développement est importante pour plusieurs raisons.

Tout d'abord, leur participation devrait assurer que le point de vue subjective, des membres de la communauté, soit reflétée dans les résultats et les recommandations de l'évaluation.

En deuxième lieu, la participation des membres de la communauté dans les activités de suivi et d'évaluation (S&E), peuvent progressivement développer leurs compétences dans ce domaine. Dans n'importe quel effort visant à renforcer la capacité d'une communauté à gérer des programmes locaux de santé et de développement, des compétences en S&E en sont un élément important.

Troisièmement, les activités d'évaluation peuvent stimuler l'acquisition de connaissances de la part des membres de la communauté relatives à l'exécution d'un programme communautaire. De la même façon que la participation des exécutants de programme dans les activités d'évaluation peut stimuler l'apprentissage organisationnel, de même la participation de la communauté dans l'évaluation de programmes communautaires peut stimuler l'apprentissage communautaire. Grâce aux activités d'évaluation, les communautés peuvent systématiquement analyser leur expérience avec les programmes communautaires et formuler des leçons pour l'avenir.

A.2. Participation de la communauté à l'évaluation

· Assure que la vision subjective de la communauté est reflétée dans les résultats de l'évaluation · Développe les compétences des membres de la communauté en S&E

· Stimule l'apprentissage de la communauté dans le cadre de la mise en exécution de programmes communautaires

4.2.6. Le rôle que peut jouer les membres de la communauté dans l'évaluation participative

Dans la méthodologie de l'évaluation participative à sept phases, le rôle des membres de la communauté en tant qu'interviewés est très important bien que limité. Au moyen des interviews approfondies, les différentes catégories de membres de la communauté sont priées de donner leur opinion à propos :

· des points forts et des points faibles des activités du programme

· les rôles joués par les membres de la communauté et le personnel de développement

· les enseignements tirés basés sur la réalisation des activités antérieures

· les suggestions sur la façon de développer des activités futures au niveau communautaire

Dans les évaluations participatives réalisées dans le passé, ce type d'information recueillie à travers les interviews des membres de la communauté, s'est avéré très important. Dans les évaluations futures, l'implication des membres de la communauté en tant qu'interviewés continuera à être un élément important. Mais au-delà de leur rôle d'interviewé, «Comment les membres de la communauté peuvent-ils être plus actifs dans le suivi et l'évaluation de programmes communautaires ?»

Dans ce point-ci nous allons tout d'abord aborder les obstacles à une plus grande participation communautaire dans la méthode d'évaluation présentée dans ce manuel, et ensuite je vais décrire d'autres façons dont la communauté peut participer dans les activités de S&E de façon continue lors de l'exécution d'un programme.

Etant donné la façon dont la méthodologie d'évaluation participative est élaborée, il y a quatre raisons principales pour lesquelles il ne me semble pas faisable d'inclure les membres de la communauté dans l'ensemble du processus compris dans les sept phases.

Le manque de temps : Le processus d'évaluation en sept phases prend entre trois et quatre semaines à réaliser. Pour les membres de la communauté, le plus souvent c'est trop de temps pour eux à passer loin de leurs responsabilités communautaires et familiales.

La nécessité de savoir lire et écrire : Le processus d'évaluation dépend en grande partie de la capacité des participants à lire et à écrire. Y faire participer des personnes illettrées ou semi-lettrées, serait sans doute très frustrant pour elles.

Une tâche d'analyse intense : Le processus d'évaluation de trois ou quatre semaines implique un travail d'analyse intense. Même le personnel de développement trouve le processus d'évaluation mentalement fatigant. Il ne serait pas réaliste d'attendre la participation active des membres de la communauté dans l'ensemble du processus, d'intense activité cérébrale.

Thèmes de l'évaluation : Dans l'approche systémique proposée dans la méthodologie de l'évaluation, tous les aspects de la mise en application du programme sont examinés, y compris les questions administratives, logistiques et de gestion. Beaucoup de ces questions n'ont pas de pertinence directe pour les membres de la communauté et leur participation ne serait pas appropriée.

Pour plusieurs raisons, à mon avis, il n'est pas recommandé d'essayer d'impliquer les membres de la communauté en tant que partenaires à part entière dans ce processus d'évaluation en 20 étapes. Je recommande plutôt, d'identifier des moyens par lesquels les communautés peuvent participer aux activités de S&E d'une manière plus continue.

La discussion qui suit traite de trois questions concernant la participation de la communauté dans le suivi et l'évaluation (S&E) :

· Qui devrait être impliqué dans les activités de suivi et d'évaluation?

· Quand est-ce que les membres de la communauté doivent-ils être impliqués dans les activités de suivi et d'évaluation?

· Quelles méthodes peuvent être utilisées par et avec les membres de la communauté dans les activités de suivi et d'évaluation?

A. Ceux qui devraient participer aux activités de suivi et d'évaluation au niveau communautaire

Dans les programmes de santé et développement, les différentes catégories de membres de la communauté devraient être impliquées à la fois dans les études préliminaires et dans l'organisation des activités du programme. De même, divers groupes d'exécutant du programme de la communauté devraient participer à l'évaluation des activités au niveau de la communauté. Selon les activités à évaluer, les différentes catégories d'intéressés qui pourraient être impliqués dans les activités de suivi et d'évaluation (S&E) peuvent comprendre :

· des chefs et notables communautaires

· des leaders informels de la communauté (ce sont souvent des femmes)

· des hommes

· des femmes

· des jeunes

· des membres de groupes différenciés selon le sexe, l'ethnie et la caste.

Les activités de suivi et d'évaluation devraient assurer que les voix de tous les groupes de la communauté soient entendues.

B. A quel moment les membres des communautés devraient-ils participer aux activités de suivi et d'évaluation?

Les programmes de santé communautaire doivent chercher à engager les membres de la communauté à participer aux activités d'évaluation de façon continue. Ils peuvent être impliqués :

· Dans le recueil de données préliminaires

· Pendant la mise en application du programme

· Lorsque le soutien extérieur à un projet/programme se termine

Au cours de chacune de ces étapes, des approches différentes peuvent être utilisées pour encourager la participation de la communauté aux activités de suivi et d'évaluation.

C. Quelles approches et méthodes peuvent être utilisées par et avec les membres de la communauté dans les activités de suivi et d'évaluation?

Quatre approches assez différentes sont utilisées pour impliquer les membres de la communauté dans les activités de suivi et d'évaluation. Dans chaque approche, le degré de responsabilité assumé par le personnel de développement et les membres de la communauté varie. Les quatre approches sont décrites dans le texte qui suit et sont résumées dans le tableau 6.

Les communautés peuvent jouer plusieurs rôles différents dans le suivi et l'évaluation des programmes communautaires :

C.1. Les membres de la communauté collectent des données

L'approche utilisée le plus fréquemment pour engager les communautés dans les activités de suivi et d'évaluation est celle où le personnel de développement décide quelles données recueillir, il crée des outils simples de recueil d'information et il forme les membres de la communauté sur la façon d'utiliser ces outils. Des exemples d'outils sont :

Un tableau dans lequel les accoucheuses traditionnelles enregistrent les naissances et les morts

Un tableau sur lequel les agents de santé communautaire inscrivent les cas de diarrhées, les traitements utilisés et les résultats

Généralement, une fois que les membres de la communauté ont recueilli ces données, les techniciens de développement ont la responsabilité de les analyser et de formuler des conclusions. Dans quelques cas, les membres de la communauté analysent les données eux-mêmes et tirent leurs propres conclusions. Dans beaucoup de cas, ce type de participation n'est plutôt superficiel et pas particulièrement utile ou significatif pour les membres de la communauté eux-mêmes. Bien que le rôle de la communauté soit limité dans cette approche, leur participation au recueil de données aide les exécutants de programme à suivre les activités communautaires.

C.2. Les membres de la communauté en tant qu'interviewés

Une deuxième approche à la participation de la communauté dans le suivi et l'évaluation est celle où des personnes extérieures interviewent les membres de la communauté pour comprendre leurs opinions. Cela est fait à travers des interviews individuelles ou de groupe ou à travers des discussions. De telles interviews peuvent avoir lieu soit au début, soit au milieu, soit à la fin des activités d'un projet. Quelques exemples comment cette approche peut être utilisée sont :

· Les interviews de groupe pourraient-être menées avec des femmes qui font partie de la communauté pour recueillir leurs avis sur des activités d'un projet de santé maternelle.

· Les interviews individuelles pourraient-être menées avec des chefs communautaires pour connaître leur avis un projet de santé enfantine et la mesure dans laquelle ils y ont participé.

Tableau 6 : Quatre approches pour impliquer les communautés dans le suivi et l'évaluation
Approche	Responsabilité	Formation et Suivi nécessaires des membres de la communauté
Les membres de la communauté collectent des données : Les agents de développement élaborent des instruments simples de recueil de données. Les membres de la communauté recueillent-les données. Les agents de développement ou les membres de la communauté analysent les données.	Les agents de développement avec l'aide des membres de la communauté	Formation initiale et suivi continu.
Les membres de la communauté en tant qu'interviewés Les agents de développement recueillent les informations des membres de la communauté sur leurs avis, leurs priorités et leur feedback sur les activités du programme.	Les techniciens extérieurs à la communauté coordonnent-le recueil de données, les analysent et formulent leurs propres conclusions	Aucun
Les membres de la communauté analysent et tirent des conclusions eux même en utilisant les instruments de RAP et d'APA Les agents de développement animent les activités de Recherche et Action Participatives (RAP) et d'Apprentissage Participatifs et d'Action (APA). Les groupes communautaires analysent l'information qu'ils ont fournie eux-mêmes et tirent leurs propres conclusions à propos des situations présentes et des stratégies et solutions futures.	Les agents de développement animent-le processus. Les communautés analysent leurs propres données et formulent leurs propres conclusions	Aucun
Les communautés s'auto évaluent Les membres de la communauté définissent eux-mêmes des critères pour évaluer les activités du programme. Ils recueillent les données, les analysent et formulent leurs propres conclusions.	Les agents de développement leur donnent de l'appui. Les membres de la communauté ont la responsabilité principale pour le recueil et l'analyse de données	Formation et suivi Intensifs

C.3. Les communautés analysent et tirent leurs propres conclusions en utilisant les instruments RAP et APA

Une troisième approche comprend l'utilisation d'exercices et d'outils visuels simples par les agents de développement avec les groupes des membres de la communauté pour les encourager à analyser leur propre situation, leurs priorités, etc.... Ces techniques, RAP et APA sont des méthodes de Recherche et d'Action Participatives (RAP) ou d'Apprentissage Participatives et d'Action (APA). Elles sont utilisées pour stimuler l'apprentissage à la fois des membres de la communauté et des agents de développement.

Objectifs des instruments de RAP et d'APA

Permettre aux membres de la communauté d'exprimer leurs avis et leurs priorités pour l'avenir

Permettre aux agents de développement d'écouter et de dialoguer avec les membres de la communauté pour mieux comprendre leur vie, leurs perceptions, leurs problèmes et leurs priorités.

Une variété d'activités de RAP/APA ont été développé à des fins différents. Ils peuvent être utilisés pour les activités de suivi et d'évaluation à des moments différents : au début de la réalisation du projet, pendant et à la fin. En comparaison avec la deuxième approche (voir ci-dessus), la participation des membres de la communauté est plus grande lorsque les activités de RAP/APA sont utilisées. Ces instruments exigent que les membres de la communauté prennent davantage de responsabilité pour analyser leurs propres idées et tirer leurs propres conclusions pour l'avenir.

Quelques-unes des activités de RAP/APA, qui peuvent être utilisées avec les groupes communautaires pour suivre et évaluer les activités à ce niveau-là, sont énumérées ci-dessous. Quelques-unes peuvent être utilisées comme des activités de pré- et de post- recueil de données, avant et après que les interventions du programme aient été réalisées.

Carte communautaire : pour comprendre les perceptions de la communauté à propos de leur environnement, de leurs ressources naturelles et humaines, des problèmes et des ressources dont ils disposent.

Répartition graphique (courbe ou secteur) des tâches et du temps journalier par genre : pour comprendre les tâches et l'emploi du temps journalier des femmes et des hommes.

Classification des problèmes de santé : pour comprendre comment les membres de la communauté classifient les problèmes de santé communautaire en termes de fréquence, gravité, etc.

Arbre de problèmes : pour comprendre les idées des communautés sur les causes et les conséquences de problèmes prioritaires de santé.

Schéma du corps : pour comprendre la perception de la communauté sur les différentes parties du corps et leur fonctionnement.

Calendrier des aliments : pour comprendre la disponibilité des aliments pendant les différentes saisons de l'année

Etude de cas cliniques : pour connaître les stratégies adoptées par les membres de la communauté face aux différents problèmes de santé décrits dans de courtes études de cas

Jeux de rôle et histoires : pour stimuler l'analyse de groupe de situations problématiques liées à la santé, décrits dans des sketchs ou des histoires.

Visites d'observation guidées/commentées : pour comprendre comment les membres de la communauté perçoivent les ressources et les problèmes de leur environnement.

Les techniques RAP/APA sont utiles non seulement pour recueillir des informations et comprendre les réalités et les avis d'une communauté, mais aussi pour stimuler une discussion sur l'action qui devrait être prise. Une étape finale importante dans l'utilisation des techniques RAP/APA est de discuter des actions que les communautés elles-mêmes et les agents de développement peuvent entreprendre pour résoudre les problèmes et les besoins révélés par ces exercices.

C.4. Les communautés s'auto évaluent :

Une dernière approche à la participation des communautés au suivi et à l'évaluation est celle où les communautés définissent leurs propres critères pour évaluer les activités et les programmes communautaires et utilisent ces éléments pour réaliser leurs propres évaluations des activités communautaires. Eventuellement les groupes communautaires peuvent définir eux même les critères pour évaluer les différents aspects des programmes tels que :

· Le degré de réalisation des buts et des objectifs prévus

· L'efficacité des leaders

· L'efficacité dans la mobilisation des ressources

· L'efficacité dans la gestion des activités organisées.

Dans cette approche, l'objectif à long terme est de permettre aux communautés d'être capables de développer et de mener des activités de suivi et d'évaluation elles-mêmes. Au départ, un appui considérable est demandé de la part des agents de développement pour aider les membres de la communauté à développer leurs compétences en matière de suivi et d'évaluation.

Deux exemples des types de critères que les communautés pourraient définir elles-mêmes pour évaluer les activités communautaires menées.

Comité de Santé Villageois (CSV) : Les agents de développement pourraient facilement demander aux membres du comité de santé de définir les critères pour évaluer l'efficacité de leur propre comité. Sans parler de «critères» en soi, les membres du comité pourraient être priés de définir les caractéristiques d'un «comité de santé qui fonctionne bien» et d'un «comité de santé qui ne fonctionne pas bien». Pour déterminer dans quelle mesure leur comité fonctionne bien ou non, ils pourraient se rencontrer régulièrement pour discuter des caractéristiques de leur comité comparées à leur définition d'un comité efficace.

Exemples de critères définis par la communauté pour évaluer l'efficacité des CSV (Comités de Santé Villageois) :

a) présence régulière aux réunions du comité

b) réalisation de toutes les tâches prévues

c) travail coopératif avec d'autres membres de la communauté

Agents de Santé Communautaire (ASC) Les membres de la communauté pourraient être priés de définir leurs attentes vis à vis des ASC, c'est à dire ce qu'ils voudraient qu'ils fassent. Ils pourraient décider eux-mêmes comment ils vont évaluer le travail des ASC et avec quelle fréquence.

Exemples de critères définis par la communauté pour évaluer la performance des ASC :

a) informer 100% des femmes ayant des enfants de 0-23 mois, des jours de vaccination dans le village

b) mener une démonstration de cuisine chaque mois avec les femmes

c) mener une séance de santé chaque mois avec les hommes

Exemple d'exercice de groupe : Définir et juger de l'efficacité du groupe

Définir l'efficacité d'un groupe : Un groupe communautaire peut décider que deux caractéristiques-clés du «fonctionnement efficace d'un groupe» sont :

· Participation à la prise de décision

· Engagement actif de tous les groupes pour réaliser les activités prévues

Juger de l'efficacité d'un groupe : Pour juger de la «participation aux prises de décision», les membres de la communauté pourraient estimer leur propre efficacité sur une échelle de un à cinq :

· jamais

· rarement

· quelques fois

· souvent

· toujours

Dessiner une échelle de cinq points, soit par terre soit sur une feuille de papier flipchart, chaque membre du groupe indique son appréciation, soit en utilisant un petit caillou (mis par terre) soit un stylo-feutre (sur le papier flipchart). Une fois que tous les membres ont inscrit leur opinion, les résultats de l'évaluation sont discutés et le groupe décide comment travailler ensemble de façon plus efficacement à l'avenir Si les leaders de la communauté sont suffisamment encadrés, s'ils peuvent apprendre à faciliter ces types d'exercices d'évaluation eux-mêmes.

4.2.7. Conclusions et conseils liés à la participation de la communauté aux activités de Suivi et d'évaluation :

Tous les projets/programmes devraient viser à augmenter progressivement la capacité des leaders et des membres de la communauté pour qu'ils puissent développer et animer des activités d'évaluation eux-mêmes.

Une plus grande participation des membres de la communauté aux activités de suivi et d'évaluation exige davantage d'efforts de la part des agents de développement pour développer la capacité des membres de la communauté.

L'efficacité de pratiquement toutes les activités de suivi et d'évaluation, réalisées soit avec, soit par les communautés dépend en grande partie des compétences d'animation de groupe des agents de développement ou des membres de la communauté.

Les programmes peuvent envisager une série de différentes activités de suivi et d'évaluation portant sur les différents aspects de la mise en application du programme et réalisées à des moments différents. Les membres de la communauté n'ont pas nécessairement besoin d'être impliqués dans toutes les activités d'évaluation.

Les méthodes et les instruments de suivi et d'évaluation développés pour être utilisés avec les communautés doivent être simples. En même temps, ils devraient stimuler l'analyse en critique chez les membres de la communauté.

Il n'y a pas de recette précise sur la façon de développer des activités de suivi et d'évaluation et de les utiliser auprès des communautés. La créativité et l'expérimentation continue sont nécessaires pour développer des approches et des instruments qui sont utiles à la fois pour les communautés elles-mêmes et pour les exécutants de programme.

Avant une évaluation compréhensive de programme (décrite au Chapitre III), des activités d'évaluation complémentaires peuvent être menées avec les communautés, et les résultats de ces activités peuvent être incorporés aux efforts d'évaluation globale.

· Les méthodes et les instruments pour mener le suivi et l'évaluation devraient produire des informations qui non seulement contribuent à l'apprentissage organisationnel mais aussi encouragent l'apprentissage communautaire.

4.2.8. Conclusions à propos de la Méthodologie Participative

Dans plusieurs pays, l'expérience nous a montré que certaines contraintes associées aux méthodes d'évaluation traditionnelles peuvent être surmontées grâce à la méthodologie participative décrite dans ce manuel. Il y a certaines caractéristiques-clés de la méthodologie qui semble contribuer à son efficacité.

A. Participation des exécutants de programme

En encourageant la participation des exécutants de programme (les utilisateurs de l'information et ceux qui prennent des décisions) dans toutes les phases de planification et de réalisation de l'évaluation, ils peuvent se sentir plus à l'aise lors de l'évaluation et s'en approprier les résultats.

B. Techniques simples de recueil de données

Grâce à l'usage de techniques simples de recueil et d'analyse de données, toutes les catégories d'exécutants de programme peuvent participer et développer des compétences de base dans la collecte des données.

C. Accent mis sur les enseignements tirés

L'évaluation met l'accent sur l'élaboration des enseignements tirés à partir de l'exécution du programme, les membres de l'équipe d'évaluation peuvent analyser plus ouvertement les réalisations et les contraintes rencontrées.

D. Renforcer la collaboration au sein de l'équipe

La participation des exécutants de programme de différents niveaux comme membres de l'équipe d'évaluation peut contribuer au développement de relations plus ouvertes au sein de l'équipe pendant l'évaluation, et ce sentiment accru de collaboration peut continuer au-delà de l'évaluation.

E. Impliquer des évaluateurs internes et externes

Le coordinateur externe apporte de l'objectivité et des compétences dans les méthodes de recueil de données et dans la facilitation de groupe. Il/elle dirige le processus et également participe comme un membre de l'équipe. Les évaluateurs internes apportent à l'évaluation leur connaissance approfondie du programme et leur désir de découvrir comment améliorer leur programme.

F. Recommandations pratiques pour l'avenir

Basées sur les résultats de l'évaluation, les membres de l'équipe élaborent des recommandations pratiques et concises liées à chacun des composants du programme. La participation des exécutants de programme dans cette tâche, aide à s'assurer que les recommandations sont réalistes et faisables.

G. Plan d'action révisé

L'évaluation ne prend pas fin avec la formulation des enseignements. Une dernière étape dans le processus est le développement d'un plan d'action révisé qui incorpore les enseignements tirés au cours de l'évaluation.

H. Expérience formatrice pour les exécutants de programme

Ceux qui ont fait partie des équipes dans les évaluations précédentes partagent l'avis que leur participation au processus entier d'évaluation a augmenté à la fois leur compréhension des composants et stratégies du programme et leurs compétences en matière d'évaluation de programme.

I. Expérience formatrice pour le coordinateur de l'évaluation

Chaque évaluation participative est l'occasion pour le coordinateur d'explorer des façons alternatives de structurer le processus et de renforcer les compétences des participants.

4.2.9. Limites de la méthodologie d'évaluation participative

Dans le feedback reçu de ceux qui ont utilisé la méthodologie d'évaluation participative décrite dans les chapitres précédents, certains ont regretté que les membres de la communauté ne fussent pas pleinement impliqués dans le processus d'évaluation. Plusieurs ont demandé comment leur participation pourrait être accrue. Il est vrai que dans la méthodologie d'évaluation présentée dans ce manuel, le rôle des membres de la communauté est relativement limité. Dans la méthodologie l'accent est mis sur la façon dont les exécutants de programme peuvent être impliqués dans les activités d'évaluation qu'ils élaborent et mettent en application.