La mise en place d'un système d'évaluation en continu: sur les politiques de l'agenda 21 du SICOVAL

2. Le background d'un indicateur

Le tableau de bord du système d'évaluation regroupe plus de 140 indicateurs répartis à travers les 25 politiques du Sicoval. L'objectif à terme est de renseigner annuellement tous les indicateurs avec un logiciel informatique (qui est en cours de constitution). Pour arriver à cette actualisation, de nombreuses informations sur un indicateur doivent être intégrées : Comment aller chercher l'indicateur ? Qui contacter ? Comment calculer l'indicateur ?

L'ARPE propose par exemple une grille de lecture type pour renseigner de façon générale un indicateur (la définition, les principes de calcul et de collecte des données). Le MEEDDAT a repris cet outil en y rajoutant une deuxième grille pour récolter les commentaires et les difficultés opérationnelles à récolter l'indicateur pendant la phase expérimentale du référentiel (accessibilité, la pertinence, lisibilité,...)³³.

Dans la démarche du Sicoval, un tableau a été effectué pour chaque indicateur pour obtenir les informations suivantes³⁴ :

- la temporalité de l'indicateur :

Tous les indicateurs ne peuvent pas avoir la même année de référence. Les procédés de recensement des services internes et organismes extérieurs diffèrent sur plusieurs années. Par exemple, les modes de déplacements des ménages ne sont connus que tous les 4 ans au travers une enquête lourde mise en place par l'INSEE et l'Agence Urbaine de l'Agglomération Toulousaine (AUAT) alors que les données sur les demandeurs d'emploi sont établies mensuellement par l'INSEE. Au niveau des services internes la temporalité est plus homogène car les rapports d'activités imposés en fin d'année obligent les services à actualiser leurs données. Mais les années de référence d'un indicateur sont fréquemment à n-2. Il est en effet très difficile d'avoir une information récente sur un objet étudié.

- l'échelle d'exploitation :

La couverture territoriale d'une donnée peut également différer selon les indicateurs. Ainsi pour mesurer les gaz à effet de serre, l'Observatoire Régional de l'Energie Midi-Pyrénées (OREMIP) ne donne des informations qu'au niveau régional (voir départemental dans les années à venir). A contrario les données du recensement de la population de l'INSEE sont elles exploitables pour certaines communes jusqu'au quartier (IRIS - Les îlots regroupés pour l'information statistique)

- la source :

La multiplicité des indicateurs engendre une multiplicité de sources. Il est donc très important de mesurer la traçabilité d'une donnée. Evaluer la source permet d'avoir des informations sur le mode de collecte mais aussi de savoir dans quel but la donnée a été recherchée. En interne, le recensement des chiffres auprès des services s'appuie parfois sur une évaluation « personnelle » ou une collecte expérimentale ce qui peut faire varier la crédibilité de certaines données.

³³ La grille de l'ARPE figure en annexes

³⁴ Le tableau qui renseigne chaque indicateur figure en annexe

52

Pour établir une partie des indicateurs, l'information a dû être recherchée auprès d'organismes extérieurs. Plusieurs réunions ont été organisées avec des partenaires importants comme l'AUAT ou encore la Direction Régionale de l'Environnement, de l'Aménagement et du Logement Midi-Pyrénées (DREAL) pour échanger de l'information. D'autres informations ont été récoltées à partir de base de données en ligne exploitable pour la plupart gratuitement.³⁵

Mais le lancement du système d'évaluation intervient également au moment où l'INSEE modifie la méthodologie de collecte du recensement général de la population et publie ses premiers résultats.

En effet, afin de mesurer les nouveaux enjeux sociodémographiques de la population (accroissement de la mobilité, recomposition familiale,...), l'INSEE a mis en place une nouvelle méthode de recensement plus adaptée à l'évolution de la société. Concrètement deux dénombrements ont lieu sur cinq ans : l'un sur les communes de moins de 10 000 habitants où une commune sur cinq est enquêtée exhaustivement chaque année (soit 100 % des habitants au bout de cinq ans) et l'autre sur les communes de plus de 10 000 habitants où un échantillon est choisi chaque année pour recenser 8 % de la population « urbaine » (soit 40 % au total). L'objectif de ce nouveau procédé d'enquête est d'apporter par l'estimation des chiffres annuels pour chaque zone géographique par recoupement spatial et par comparaison avec d'autres bases de données (taxe d'habitation, Assedic,...).

Les premières données en référence à l'année 2006 sont disponibles depuis le 1 juillet 2009 mais certains objets étudiés ont été modifiés entre les deux modes de collecte. Par exemple, la population communale intègre d'dorénavant les étudiants et militaires (qui ne sont plus comptabilisés sur les communes d'origines). L'INSEE conseille donc d'être prudent dans la comparaison de chiffres avec les années antérieures.

Ce changement de collecte a néanmoins l'avantage d'apporter dorénavant des chiffres de façon annuelle (n-2). Cela est une opportunité pour l'outil d'évaluation qui est alimenté périodiquement par des chiffres récents.

3. Mener l'évaluation : la faire accepter et partager avec...

Pour la mise en oeuvre de l'outil d'évaluation, un comité de pilotage a été créé regroupant le service cohésion et évaluation des politiques publiques (CEPP), le centre de ressources et le service informatique³⁶.

Au préalable les indicateurs par politique ont été choisis avec les services responsables. Sur la base d'une proposition du service CEPP les indicateurs ont été réajustés techniquement avec les chefs de service. Ensuite ce sont les commissions thématiques pilotes qui ont validé les indicateurs finalisés. La commission Agenda 21 a suivi l'ensemble des indicateurs afin de veiller à la cohérence et la transversalité de l'outil.

En parallèle, une enquête auprès d'un panel représentatif de la population a été faite par un bureau d'étude afin d'évaluer la qualité de vie des habitants.

³⁵ La liste des bases de données utilisées sur Internet figure en annexes

³⁶ L'organisation du pilotage figure en annexe

53

a. Les politiques

Un soutien politique fort est indispensable pour la réussite du projet d'évaluation. C'est pourquoi durant tout le processus de mise en oeuvre, les élus ont été invités à plusieurs reprises à donner leurs avis sur l'outil, les indicateurs et la méthodologie de travail.

Ainsi chaque commission thématique s'est positionnée dans un premier temps sur les indicateurs relevant de ses compétences. Le travail sur les indicateurs en commission a permis en général d'imposer aux élus un temps de réflexion sur les politiques menées. Une sorte de respiration dans l'enchainement des ordres du jour. Par ailleurs, le choix des indicateurs d'évaluation a fait émerger au niveau de certaines commissions de nouveaux projets et objectifs. La commission environnement a par exemple proposé d'ajouter un nouvel indicateur pour réduire la pollution visuelle causé par les panneaux publicitaires afin de préserver les paysages. De fil en aiguille, certains élus ont proposé à terme de transférer la compétence des panneaux de publicité à la communauté d'agglomération pour une gestion harmonisée. Cette anecdote montre que le travail d'évaluation permet aux élus d'avoir un recul critique sur les politiques menées et prévoir de nouveaux objectifs et actions.

Dans un deuxième temps, les commissions vont être informées des résultats des indicateurs. Ce temps de travail permettra de revenir sur des indicateurs pas assez pertinents ou difficilement réalisables techniquement. Le danger lors de la publication provisoire des premiers résultats, est que les élus amendent des indicateurs dérangeant. Les résultats de l'évaluation peuvent montrer l'échec d'une politique ou amener de nouvelles responsabilités au regard du développement durable

L'évaluation peut alors devenir un outil trop consensuel, une sorte de « gloss-politique » où les indicateurs retenus ne créent pas de remous.

Au niveau politique, c'est également la variable temps qu'il faut prendre en compte. Pour des raisons pratiques, le renseignement technique des indicateurs auprès des services s'est fait en même temps que les validations politiques en commission. Très rapidement des difficultés de calendrier sont apparues pour respecter la chronologie : validation politique ? renseignements techniques. L'inversion de la procédure a été en pratique fréquente.

Un autre danger peut provenir de l'impatience des élus. En effet, le travail d'évaluation demande du temps que les élus ne disposent pas toujours dans un environnement où les délais de réactivité et d'intervention sont de plus en plus courts. Si l'évaluation dure trop longtemps, les élus peuvent être déçus et ne plus accorder de crédit à ce travail. A contrario les évaluateurs peuvent perdre en motivation en ayant l'impression que leur travail est peu utile puisqu'il n'est pas pris en compte en amont de la prochaine décision politique. Mais comme le dit Jean-Louis OUTIN « il ne peut y avoir concordance totale entre le temps court de la décision et le temps long de l'évaluation. »³⁷. L'enjeu est donc d'accélérer certaines phases de la procédure d'évaluation. A terme le système d'évaluation devrait être automatisé grâce à un logiciel intranet accessible à tous les services. La récolte de l'information devrait donc être assez rapide pour laisser assez de temps à l'interprétation des résultats.

³⁷ Débat du 8 mars 2005 « Où en est l'évaluation des politiques publiques ? », Penser Public (association de professionnels du service public), http://sites.google.com/site/penserpublic/reunions-debats/ou-en-est-levaluation-des-politiques-publiques

54

b. Les services

Pour que l'évaluation soit partagée et acceptée, l'outil a été co-construit avec tous les services du Sicoval. Les chefs de service ont été consultés pour proposer et donner un avis sur le système d'évaluation en général et sur les indicateurs choisis. Ensuite c'est une grande partie des agents qui a été contactée pour alimenter les indicateurs à partir de données brutes. Toutes ces rencontres ont permis en général de communiquer sur l'évaluation et ré-expliquer la démarche Agenda 21 du Sicoval.

Les entretiens avec les services ont fait ressortir différentes positions. Alors que certains se sont montrés intéressés et se sont investis dans le travail, d'autres ont été plus méfiants et du coup moins coopératifs. En règle générale les services cherchent néanmoins à défendre leur propre autonomie. ALLISON et HALPERIN résument cette situation par le propos : « where you stand depends of where you sit »³⁸. Les acteurs défendent d'abord les missions et les compétences de leurs services.

Les principales attitudes rencontrées ont suivi l'une de ces trois logiques :

- la coopération :

La majorité des services a été intéressée par le travail d'évaluation. Certains ont déjà été habitués par le passé à mener des travaux d'évaluation. Le service responsable du Plan Local pour l'Insertion et l'Emploi (PLIE) mène, par exemple, une évaluation continue de ses actions. En effet pour bénéficier de fonds européens, le service est obligé de rendre compte périodiquement de la bonne utilisation des aides. Le service dispose donc déjà d'outils pour mesurer et récolter l'information et la culture évaluative lui est familier.

En règle générale, les services coopérant ont saisi l'importance de l'évaluation et essayent de se l'approprier. Ainsi il n'est pas rare que les acteurs proposent des indicateurs à leur avantage comme le témoigne un agent du Sicoval : « Nous avons pour volonté d'attirer l'attention des élus sur certains points, le choix et la construction des indicateurs peuvent nous servir à cela ».

- la recherche d'indépendance

Certains services adhérent au système d'évaluation tout en mesurant leur implication. La volonté affichée de travailler ensemble n'est pas toujours suivie de faits. Lors du renseignement des indicateurs certains agents se contentent par exemple d'apporter, après plusieurs relances, le strict minimum d'informations. Des données intéressantes existent parfois au fond de vieux tiroirs mais ne sont, du coup, pas exploitées.

Des agents recherchent aussi une indépendance par rapport à l'outil général en menant leur propre diagnostic et évaluation. La transversalité des actions de l'Agenda 21 est alors peu assimilée et ces services fonctionnent encore de façon sectorielle et cloisonnée. « On fait notre propre petite cuisine ». Ces services ont généralement eu des difficultés, au départ, à identifier leurs politiques à travers les objectifs et opérations de l'Agenda 21.

- la non-implication

De façon marginale, quelques services ont repoussé l'évaluation. L'évaluation est alors
considérée comme synonyme de « contrôle » et de « jugement » avec des procédures longues,
lourdes et complexes. L'évaluation est remise en cause dans ses fondements et elle est

³⁸ ALLISON, HALPERIN, « Bureaucratic Politics. A Paradigm and Some Policy Implications », dans Raymond Tanter, Richard Ulman, eds, Theory and Policy in International Relations, Princeton, Princeton University Press, 1972, p.40-79

55

considérée comme une charge de travail supplémentaire : « de toute façon il est très difficile d'avoir des indicateurs pertinents (donc techniques) et compréhensibles par un large public ». La principale stratégie utilisée par ces acteurs est celle du renvoi : « je n'ai pas cette information pour alimenter cet indicateur, vous la trouverez peut-être dans tel autre service ? ».

Un travail d'évaluation collaboratif peut s'avérer difficile puisqu'il faut faire avec des hommes et des femmes qui ont leur sensibilité, leur partialité et impartialité, leurs objectifs propres et leurs logiques individuelles.

Le travail avec les services a néanmoins permis de créer certains reflexes de transversalité et une vision globale du projet de territoire. Lors des premières remontées d'informations, certains services ont été intéressés par les résultats.

c. Les habitants

Les élus de la Commission Agenda 21 ont émis le souhait que l'évaluation soit traitée dans le cadre de la participation citoyenne. De manière générale les démarches de démocratie participative manquent dans les différentes actions du Sicoval. Le Diagnostic de Développement Durable de 2002 soulignait ainsi « l'absence d'un Conseil de Développement qui doit constituer une source d'information et de proposition précieuse pour le système car indépendante de nombreuses considérations politiques ou territoriales ».³⁹

En effet, les deux premiers programmes de l'Agenda 21 n'ont été que peu construits avec la population. L'implication des citoyens est pourtant indispensable au moment où les crises sociales, économiques et écologiques confrontent spécialistes et politiciens à leurs limites de perception et la résolution des problèmes. « L'incertitude et l'incomplétude de la connaissance qui entourent certains choix offerts aux élus, les empêchent de décider seuls, malgré leur légitimité qui reste entière. L'écoute de la « voix du peuple » devient une nécessité, qui se voit également de plus en plus fortement exprimée par la société civile.»⁴⁰

Pour répondre à ce défi, une chargée de mission concertation et débat public a été embauchée en 2008 pour préparer le nouvel Agenda 21 qui débutera en 2010. Ce manque de participation citoyenne dès le départ handicape aujourd'hui la concertation avec la population au sujet de l'évaluation.

Pour intégrer la population dans la démarche d'évaluation, le Sicoval a pour l'instant choisi de mener une enquête téléphonique pour évaluer l'appréciation des habitants sur leur qualité de vie et la possibilité pour eux d'adopter un mode de vie durable. Ce dispositif de consultation permet d'alimenter certains indicateurs du tableau de bord. L'objectif à terme est de renouveler ce type d'enquête afin de suivre, tel un baromètre de satisfaction, l'évolution des opinions des habitants sur les politiques menées. L'enquête est un premier pas pour inviter la population au travail d'évaluation mais il va de soi que ce n'est pas suffisant.

La ville de Toulouse a par exemple constitué un comité de suivi citoyen qui a participé au travail d'évaluation tout au long de la procédure. Composé de 25 personnes volontaires, le comité de citoyen a eu pour rôle d'amender le tableau de bord et de proposer de nouveaux indicateurs.

³⁹ ARPE, IDE Environnement, Diagnostic Développement Durable du Sicoval, note de synthèse, version 2, 2002

⁴⁰ ARPE, Outils de concertation pour des villes moyennes en Midi-Pyrénées, Rapport de mission, 2001

56

L'enjeu pour le Sicoval est d'évoluer vers la participation et la co-construction du projet de territoire et de son évaluation avec la population. Ceci permettrait de créer un référentiel commun sur l'état du territoire et des actions à entreprendre.

57

en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

Conclusion

Durant ces 6 mois de stage, la mise en place de l'outil d'évaluation a permis de créer au final un débat sur le rôle de l'évaluation, le choix des indicateurs ou encore le fonctionnement futur de l'outil. Grâce à ce débat, l'évaluation a été, pendant un certain moment, mise sur le devant de la scène politique et technique. Cela a permis de démystifier l'évaluation et de l'expliquer afin de la rendre acceptable et opérationnelle.

La fameuse lampe de poche, destinée à éclairer les choix des élus, est dorénavant prête à l'emploi. Ce maintenant que le périple de l'évaluation commence vraiment. Après un temps nécessaire d'appropriation de l'outil par le politique et le technique, il y a nécessité à terme d'avoir un accord sur le fonctionnement de l'outil comme sur les résultats qu'il va mettre en lumière. Malheureusement la période de la mission de stage ne m'a pas permis de finaliser le rapport d'évaluation. En conséquence les réactions des élus et techniciens suite à la publication des résultats ne me sont pas connues.

L'enjeu est d'éviter, à tout prix, la création d'une usine à gaz. L'outil d'évaluation regroupant déjà un nombre conséquent d'indicateurs (140) doit pouvoir rester à taille humaine afin que chacun garde un aperçu général. Le danger est d'être noyé sous une multitude d'informations contradictoires avec un outil dont on perd le contrôle. Cette situation serait dommageable pour les services englués dans des procédures supplémentaires, pour les élus qui n'auraient pas d'aperçu clair et partagé du territoire et l'évaluateur qui perdrait toute sa légitimité. Il faut également faire attention à la surenchère du chiffre quantitatif. Patrick VIVRET dénonce ainsi « la quantophérie - maladie du chiffre - la quantification n'est qu'un outil au service de la qualification et non l'inverse »⁴¹. Ainsi les chiffres doivent être les plus possibles pondérés avec l'histoire du territoire, les particularismes, le contexte et les points de vue d'experts.

Le système d'évaluation devra donc s'adapter en permanence aux évolutions que va connaître le Sicoval, en combinant flexibilité et opérationnalité. L'évaluation est un processus dynamique continu. Pour la mise en place du prochain Agenda 21, ce travail d'évaluation permettra sans doute permis aux élus de faire un bilan des actions menées et de positionner les prochaines actions du Sicoval. Cette fois-ci, l'évaluation devra être intégrée lors de la formulation des futures politiques et actions, afin d'éviter une mise en place « après-coup ».

C'est également le manque de participation citoyenne au projet d'évaluation qui fait défaut. Une évaluation participative aura une plus grande validité car elle prendra en compte les analyses de toutes les parties prenantes à une politique publique et elle a d'autant plus de chances d'être utilisée que les participants s'en seront approprié les résultats. Car l'évaluation sert d'abord à la construction rigoureuse de points de vue sur une politique. D'où la nécessité d'une pluralité d'approche, car les effets d'une intervention sont toujours multiples ce qui rend leur appréhension globale complexe. D'où aussi l'importance d'associer à la démarche

41 VIVERET Patrick, intervention du 26/04/07 - Mardi de 4D - « Richesse et DD : mesurer quoi pour aller où ?

58

59

évaluative des acteurs susceptibles de jouer un rôle de passeur tant vis-à-vis des décideurs, que des praticiens et plus largement des citoyens.

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval