Memoire Online - La mise en place d'un système d'évaluation en continu: sur les politiques de l'agenda 21 du SICOVAL

Mon maître de stage Pierre-Jean ARPIN et tout le personnel du Pôle Développement Durable Françoise MANEVILLE, Rémi DUTARD et François MARTY pour leur disponibilité, leurs conseils et leur aide ;

Sommaire

Partie 1 : Adaptation de l'action publique aux enjeux de demain : des structures territoriales

Partie 2 : La conduite de l'évaluation : « de la théorie à la réalité » 28

Imaginez un instant que vous vous retrouvez dans le noir le plus complet et qu'il vous ait demandé d'avancer à travers un dédale d'obstacles. Cette situation peut s'apparenter à celle d'un élu local du XXIe siècle qui doit, dans un monde en perpétuel changement (accélération de l'information, multiplicité des intérêts, pression du temps,...) faire des choix et mener une politique. Dans cet environnement obscur vous pouvez naturellement toujours progresser à l'aide d'autres sens comme le toucher, l'ouïe ou encore l'odorat, mais cela vous sera sûrement plus difficile. Vous risquez de vous tromper ou de rebrousser chemin et du coup perdre en temps et en réactivité. Vous pouvez toujours, au vu de la situation, ne rien faire et vous contenter du statut-quo.

Et si on vous proposez une lampe de poche durant votre « périple », le chemin ne se ferait-il pas plus facilement ? L'évaluation des politiques publiques peut en effet être un éclairage pour la décision politique. En mettant en place des indicateurs, tels des faisceaux de lampes de poche, le décideur peut suivre la mise en oeuvre et l'impact des politiques menées. Sur quelques mètres vous avez un aperçu de ce qui vous attend : allez vous rencontrer un chemin libre de dangers ou devoir rectifier votre direction ?

En même temps, à défaut d'avoir sous la main un lampadaire qui illuminerait tous les alentours, il y a toujours le risque avec une lampe de poche de mal orienter son éclairage. Le choix des indicateurs est donc important à prendre en compte pour observer les objets pertinents à étudier. Un indicateur doit être le plus synthétique et compréhensible possible tout en rendant fidèlement compte de la réalité mesurée.

N'oubliez surtout pas de vous munir de piles pendant le voyage, car les lampes de poche ont une durée de vie limitée. Un système d'évaluation ne peut être fonctionnel que si les indicateurs sont réactualisés en continu, ce qui peut permettre l'affichage quasi instantané de la réalisation des politiques et de l'état du territoire.

Enfin, il est important de distinguer ce que l'on éclaire, l'interpréter et essayer de l'expliquer : pourquoi ce taux est en train de baisser, quelle est l'origine de la hausse de cet indicateur ou comment expliquer la stabilité de ce ratio.

Mon rôle, à travers un stage de 6 mois dans le Service de la Cohésion et de l'Evaluation des Politiques Publiques, a été de chercher la bonne lampe de poche pour aider les élus de la Communauté d'Agglomération du Sicoval à piloter leurs politiques. A défaut d'avoir trouvé un article existant, la torche électrique a dû être construite de façon expérimentale en reprenant des travaux du Ministère de l'Ecologie, de l'Energie, du Développement Durable et de l'Aménagement du Territoire (MEEDDAT)¹ et d'autres études récentes faites par l'Agence Régionale Pour l'Environnement de Midi Pyrénées (ARPE) et d'autres collectivités pilotes.

Car même si l'évaluation est perçue aujourd'hui comme un outil essentiel de l'action publique
par le discours politique en quête de renouvellement, elle demeure encore récente et

¹ Depuis le 23/06/2009 le MEEDDAT a évolué en Ministère de l'Ecologie, de l'Energie, du Développement Durable et de la Mer.

expérimentale. L'évaluation est également trop souvent assimilée à un moyen d'effectuer des économies financières (contrôle), alors qu'elle devrait plutôt être perçue comme un outil d'amélioration continue des choix politiques et des mises en oeuvre. L'évaluation répond ainsi à trois impératifs actuels :

- la rigueur, car les citoyens veulent connaître les résultats des politiques menées ; - la transparence, un débat de plus en plus nécessaire et réclamé ;

- l'efficience des politiques, parce qu'il est impératif de juger de la réalisation des objectifs.

Plus précisément, mes missions ont été de réfléchir à la mise en place de l'outil d'évaluation dans son ensemble et à la définition d'indicateurs pertinents et compatibles avec le développement durable. Je me suis plus particulièrement occupé de l'opérationnalité de l'outil : comment avoir l'information sur les différents indicateurs, qui contacter, comment organiser, gérer et hiérarchiser l'information, comment établir une synergie entre les services et les partenaires extérieurs (fournisseur de la donnée),... ?

Ce travail d'évaluation est une nécessité pour la communauté d'agglomération du Sicoval qui doit pouvoir lors des prochaines années s'impliquer dans les réformes territoriales futures en tenant un projet politique cohérent. Le travail d'évaluation permet ainsi de distiller l'information importante, celle qui décrit la réalité, pour créer des processus d'apprentissage, de capitalisation des savoirs et au total permettre le renforcement de la performance de gestion et de gouvernance.

Le fait d'attribuer cette tâche à un stagiaire n'est sans doute pas le fait du hasard. En tant qu'étudiant je profite d'une certaine indépendance par rapport aux agents de la collectivité. N'étant pas occupé au quotidien dans la mise en place des différentes politiques de l'Agenda 21 mon regard est sans doute plus distant et interrogateur.

Ce rapport a l'ambition de retracer les 6 mois de stage au sein de la collectivité en détaillant la méthodologie employée, les réussites et les difficultés rencontrées lors de la mise en place de l'outil d'évaluation. Mais le rapport a également servi à prendre du recul avec le travail mené en théorisant des concepts comme le développement durable, l'Agenda 21 et l'évaluation.

La première partie du rapport a pour objectif d'apporter des éléments relatifs à la structure qui m'a accueilli, sa création, son développement et les politiques menées jusqu'à l'élaboration de son Agenda 21.

La mise en place de l'évaluation figurera dans la deuxième partie du rapport où les outils utilisés et la méthodologie employée seront détaillés plus précisément.

Partie 1 : Adaptation de l'action publique aux enjeux de demain : des
structures territoriales plus pertinentes avec des nouveaux outils de
gestion

En l'espace de peu de temps nos territoires ont connu de profonds bouleversements. Lors du dernier siècle, l'industrialisation a poursuivi son ancrage et conditionné de nouveaux modes de production et de consommation. Les infrastructures de déplacements se sont modernisées et ont rapproché, tel une carte isochrone, les territoires entre-eux. Qui pouvait envisager, il y a seulement 50 ans, habiter à plus de 30 km de son lieu de travail ? Puis les moyens de communication prennent le relais en inter-connectant les sociétés. Ces changements structurels ont des répercussions sur le comportement des individus qui peuvent dorénavant se déplacer, communiquer, travailler, consommer,... de manière différente.

Enfin c'est le célèbre phénomène de mondialisation qui affecte les territoires par ses composantes :

- La production de masse où toutes les activités humaines s'inscrivent dans un système

global d'échange. Ceci contribue à transformer ce qui est sacré, exceptionnel, particulier, artisanal, réservé à un cercle restreint en quelque chose de banal, compétitif et facilement accessible.

- La globalisation de l'argent induit par l'augmentation des mouvements financiers

internationaux facilités par l'ordinateur, Internet et la dématérialisation des titres au sein d'un système bancaire mondialisé.

- L'internationalisation des entreprises, rendue facile par l'effondrement des prix de

transport et la réduction des barrières aux investissements étrangers. L'intégration de nouveaux pays dans les circuits internationaux avec des coûts de main d'oeuvre compétitifs incite certaines entreprises à délocaliser.

- La volatilité des investissements qui a pour conséquence de développer des entreprises

temporaires sans attaches territoriales. Les entreprises qui ont une histoire sur un territoire se font de plus en plus rares.

- L'externalisation du système productif. De nombreuses grandes entreprises lèguent

certains champs de production ou de services à des sous traitants. Ces firmes en réseau ou en interrelation peuvent fragiliser tout un bassin d'emploi lors de crises économiques.²

Ce développement impacte fortement les territoires qui sont obligés de s'adapter. Ainsi les découpages administratifs évoluent mais aussi le pilotage politique. La tendance est de décentraliser le pouvoir politique au plus près des habitants afin d'avoir une réactivité face aux changements rapides. A cela s'ajoute l'enjeu crucial de la prise en compte de l'environnement qui souffre, aux dires de la majorité des scientifiques, des activités humaines.

Cette première partie s'efforcera, à partir de l'exemple de l'aire urbaine de Toulouse et du Sicoval, d'expliquer la mutation des territoires pour répondre aux nouveaux enjeux du siècle.

² MOREAU DEFARGES P. La mondialisation, Que sais-je ?, Presses Universitaires de France, 1997

Ce sont d'abord les limites administratives et les compétences locales qui évoluent puis c'est le pilotage des politiques qui s'est adapté pour intègrer les principes du développement durable.

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

A. Création du Sicoval dans la géopolitique de l'aire urbaine toulousaine

1. La particularité de Toulouse : beaucoup d'espace disponible pour de nombreux nouveaux arrivants

La métropole toulousaine a connu ce dernier siècle une forte augmentation de sa population. L'arrivée d'abord de réfugiés espagnols fuyant le fascisme de Franco, puis le rapatriement des pieds-noirs et l'arrivée d'une main d'oeuvre immigrée nord-africaine ont permis à la ville de s'agrandir et d'offrir une main d'oeuvre pour les secteurs du bâtiment et de l'aéronautique. Le recensement de 1968 comptabilise alors plus de 370 000 toulousains alors qu'au début du siècle ils n'étaient que 150 000. Cet afflux de nouvelle population se concentre d'abord dans la ville centre et dans les faubourgs. C'est à partir des années 70 que la ville de Toulouse perd en habitants au profit de la périphérie (phénomène national ; les unités urbaines de plus de 100 000 habitants diminuent en moyenne de 0,62%).

Le changement des représentations sociales : « le rêve pavillonnaire » loin des méfaits et pollutions de la ville, la démocratisation de l'automobile et les politiques de soutien de l'Etat (aide à la pierre) incitent de nombreux ménages à s'installer en périphérie des villes où le foncier est disponible à prix abordable.

Dans le cas de Toulouse, les populations s'installent d'abord le long des grands axes de circulation où les petits villages de campagne voient leur environnement défiguré par des nouveaux lotissements pavillonnaires.

1962	1968	1975	1982	1990	1999
329 044 hab.	474 208 hab.	584 661 hab.	644 089 hab.	797 373 hab.	964 797 hab.
2 com.	90 com.	152 com.	195 com.	255 com.	342 com.
Aire urbaine « Une aire urbaine est un ensemble de communes, d'un seul tenant et sans enclave, constitué par un pôle urbain, et par des communes rurales ou unités urbaines (couronne périurbaine) dont au moins 40 % de la population résidente ayant un emploi travaille dans le pôle ou dans des communes attirées par celui-ci. » INSEE

L'aire urbaine toulousaine est l'une des plus étendues de France, elle regroupe sur une superficie de 401 518 hectares près d'un million d'individus.

Son accroissement montre que les comportements des ménages ont changé. On effectue les diverses activités de la vie quotidienne (travailler, consommer, s'amuser,...) sur plusieurs territoires. Les pouvoirs publics ont dû s'adapter à cette extension des bassins de vie en délaissant la commune au profit de structures de gestion plus adaptées. La difficulté pour les acteurs locaux sera de créer des territoires s'adaptant aux nouveaux modes de vie tout en gardant une proximité politique avec la population.

Il faut toutefois nuancer le phénomène en rappelant que la métropole toulousaine possède un poids démographique conséquent avec la présence de 40,4% de la population totale de l'aire urbaine (soit 435 000 habitants) et une concentration importante d'emplois, services et commerces.

Dans le cas de Toulouse, l'avènement d'une nouvelle gestion politique se fait très tardivement. Ainsi à la fin des années 60, c'est l'une des seules aires urbaines qui ne se dote pas d'une formule intercommunale.

D'une part, la ville-centre est très étendue et n'a pas besoin de négocier avec ses voisines pour gérer son expansion et d'autre part, il n'y a pas vraiment de banlieues jusqu'au début des années 70 : les communes périphériques (aujourd'hui intégrées dans l'aire urbaine) sont rurales et craignent la domination de la ville-centre. L'intercommunalité est alors dénoncée comme un produit étatique et gaullien par les élus locaux souvent radicaux-socialistes.

Une fois n'est pas coutume, c'est la périphérie toulousaine qui va être précurseur dans le regroupement intercommunal.

2. L'intercommunalité toulousaine : une situation atypique !

Ainsi en 1975 se crée autour de Labège et cinq autres communes (13 000 habitants) l'une des premières communautés de communes de l'aire urbaine toulousaine : le syndicat intercommunal d'aménagement et de développement des coteaux et de la vallée de l'Hers, abrégé sous le sigle « Sicoval ». Ces villages périurbains ont alors comme dénominateur commun d'avoir peu d'entreprises sur leur territoire mais en même temps une population disséminée à haut revenu

Le Sicoval se construit en ayant un réel projet de territoire : « concilier développement économique et démographique avec la préservation du cadre de vie », avec pour « fondement - la solidarité intercommunale- et deux domaines d'actions qui demeurent encore,- l'aménagement de l'espace et le développement économique » (Claude DUCERT, maire de Labège et initiateur de la coopération intercommunale)⁴

L'intercommunalité dite de projet dès ses origines, rassemble alors deux compétences : l'aménagement de l'espace et le développement économique.

Ce dynamisme périurbain ne bouscule cependant pas Toulouse, où les élus politiques (l'ère Pierre Baudis, 1971) adhérent seulement à divers et multiples syndicats intercommunaux pour organiser les transports, le schéma directeur ou encore garantir la gestion des déchets.

4 TYBURCE Léo, La concertation entre la CA du Sicoval et les communes membres autour de l'Agenda 21 local, quels horizons pour la politique communautaire ?, Master professionnel de Sociologie appliquée à la gestion locale, Université Toulouse Le Mirail, 2007

Les essais successifs d'organiser une structure plus intégrée de l'agglomération échouent et aboutissent en 1992 à un "district" toulousain sans pouvoirs... dont le Sicoval ne fait pas partie, ni la plupart des autres syndicats de communes périphériques apparus dans les années 80 et forment ainsi autour de la ville-centre une structure en "pétales de marguerites" spécialisés.

Les lois Voynet (1995) et Chevènement (1999) favorisent l'intercommunalité afin de dépasser les concurrences locales et fragmentées. En effet, l'état des communes en France est édifiant : plus de 36 000 communes (40 % des communes de l'union européenne se trouvent en France !). Ce qui est encore plus insolite c'est que 80 % des français vivent seulement dans 3 000 communes. L'image de la France profonde avec une succession de villages ruraux quasi-déserts n'est donc pas aux yeux des statistiques une légende.

Afin de ne pas froisser les notables locaux, les pouvoirs publics avancent à tâtons pour mener cette réforme ambitieuse.

Après plusieurs politiques peu suivies (syndicats intercommunaux (1890), districts urbains (1971,...)), la loi Chevènement propose une coopération intercommunale simple et lisible.

- La communauté de communes, initié par la loi ATR de 1992⁵, sans obligation de seuil démographique

- La communauté d'agglomération, rassemblant au moins 50 000 habitants autour d'une ou plusieurs communes centres de 15 000 habitants.

Ces 3 niveaux d'Etablissement public de coopération intercommunale (EPCI) ont des compétences obligatoires, optionnelles et facultatives transférées par les communes membres. Le principe est que, plus on monte dans la hiérarchie du regroupement plus le nombre de compétences obligatoires augmente.⁶

Les pouvoirs publics utilisent la « carotte » financière pour encourager les communes à sauter le pas : l'Etat verse par l'intermédiaire des Dotations globales d'équipement et de fonctionnement (DGE, DGF) une prime renforcée à l'intercommunalité mais attend en retour un renforcement de la solidarité par la taxe professionnelle unique des entreprises (TPU).

Après cette loi, Toulouse constitue un cas unique puisqu'il s'agit de la seule aire urbaine en France où coexistent deux communautés d'agglomération : le Sicoval et le Grand Toulouse puis trois en 2004 avec la communauté d'agglomération du Muretain.

5 Loi n°92-125 du 6 février 1992 relative à l'administration territoriale de la République

Cette situation peut s'expliquer par l'importante étendue de l'aire urbaine qui peut difficilement être gérée par une seule EPCI. La coopération de ces différentes structures intercommunales est un enjeu important pour un développement harmonieux de la métropole. Les actuels travaux sur les schémas de cohérence territoriale (SCOT) sont indispensables pour organiser à long terme l'aménagement du territoire (construction, emplois, transports,...).

Les établissements publics de coopération intercommunale de l'aire urbaine toulousaine

3. Quel avenir ?

L'entente entre les EPCI de l'aire urbaine toulousaine reste néanmoins, dans certains domaines, difficile. La planification des transports en commun en est le parfait exemple. Lors de la mise en service de la ligne B du métro toulousain, le conseil d'administration du syndicat mixte des transports en commun - Tisséo (SMTC) vote le prolongement en 2013 de la ligne B jusqu'à Labège. Après le changement de majorité et de statut du Grand Toulouse (devenu communauté urbaine en 2009) le prolongement de la ligne a été remis politiquement en question. Chacun défend ses arguments : les uns pensent que le prolongement coûte trop cher, l'investissement prévu doit plutôt servir à développer plusieurs lignes moins onéreuses (Tramway) alors que les autres déplorent l'enclavement de leur territoire et espéraient un dynamisme avec l'arrivée du métro qui mettrait l'Innopôle de Labège à 20 minutes du Capitole.

Ce débat est peut être anecdotique mais il montre néanmoins la complexité pour des territoires politiques limitrophes à mener une politique commune pour répondre ici au même enjeu : le développement des transports en commun.

Au détriment de la solidarité territoriale, acquise cependant sur les périmètres des EPCI, c'est l'esprit de concurrence qui s'installe. Les politiques nationales, tel que les Pôles de Compétitivité, les Pôles d'Excellence Rurale ou la création récente de la Direction générale de la compétitivité, de l'industrie et des services⁷, vont dans ce sens de « rivalité ».

Beaucoup de questions se posent également au sujet de la réforme de l'administration territoriale annoncée par le président de la république lors de son mandat et confirmé dans son discours devant les parlementaires à Versailles le 22 juin 2009 « Nous irons jusqu'au bout de la réforme des collectivités localesi.⁸

Le comité Balladur mandaté pour réfléchir sur la modification des structures, la répartition des compétences et l'allocation des moyens financiers a présenté différentes préconisations dans son rapport « Il est temps de décider ».⁹

Le comité conseille par exemple de créer 11 métropoles pour les communautés urbaines les plus importantes, dont celle de Toulouse fait partie. Cette nouvelle structure bénéficierait de l'ensemble des compétences reconnues aux communes, de celles du conseil général et de la clause de compétence générale.

La métropole remplacerait les autres structures territoriales l'aire urbaine en vue d'une économie d'échelle. La pérennité du Sicoval est par cette proposition remise en cause.

⁷ La Direction générale de la compétitivité, de l'industrie et des services a été crée le 12 janvier 2009 par le décrêt n° 2009-37 placée sous l'autorité du ministre de l'Economie, de l'Industrie et de l'Emploi

⁹ Comité pour la réforme des collectivités territoriales, Il est temps de décider, Rapport au Président de la République, 2009

B. Le Sicoval : rassemblement autour d'un enjeu d'aménagement du territoire

1. Une intercommunalité dynamique

a. Aux origines

Le développement économique et l'aménagement du territoire sont donc les deux fers de lance du tout nouveau Sicoval, syndicat intercommunal avant-gardiste des années soixantedix. L'une des premières actions sera la création de l'Innopôle de Labège (1983). L'objectif est ambitieux puisqu'il s'agit d'attirer des entreprises tertiaires de pointe sur un territoire encore très agricole.

Cependant, de par sa situation (banlieue sud-est de Toulouse), le territoire a un potentiel non négligeable : une bonne desserte, avec la voie de chemin de fer et l'opportunité de la construction de l'autoroute (vers A 66 et A 61), la proximité avec le complexe scientifique de Rangueil, un solde migratoire en expansion continue...

Labège-innopole connaîtra un succès incontestable en attirant de nombreuses enseignes commerciales (Carrefour) mais aussi des entreprises orientées vers les nouvelles technologies. Afin de faire perdurer ce pôle d'excellence et éviter une concurrence de la part des communes limitrophes, le Sicoval décide d'adopter la Taxe Professionnelle Unique (TPU), dix ans avant que la loi ATR (1992)¹⁰ le préconise.

Dans les années 90, 28 nouvelles communes intègrent le syndicat, transformé en communauté de communes par la loi ATR. L'arrivée de nombreuses communes rurales (deuxième couronne de Toulouse) pose rapidement le problème de la cohérence du territoire tiraillé entre des logiques urbaines et le rurales.

C'est dans cette optique que les élus locaux adoptent une Charte d'Aménagement (1993), qui permet par la planification et la concertation de gérer les différents enjeux : la pression foncière, l'agriculture, l'étalement urbain,...

Très concrètement ce document prévoit de préserver 60 % du territoire intercommunal de toute urbanisation (espaces naturels et espaces agricoles). 20 % sont prévus pour les activités humaines et 20 % laissé à la discrétion des générations futures.¹¹

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval
La communauté d'agglomération du Sicoval

Le Sicoval franchit une nouvelle étape avec l'entrée de Ramonville en 1996 (arrivée de 10 000 nouveaux habitants) et la structuration des parcs d'activité : Agrobiopôle à AuzevilleTolosane, Parc du canal à Ramonville, Innopôle à Labège et la Vallée de l'Hers.

La transformation en communauté d'agglomération (2001), consolide le Sicoval avec une Dotation Globale Fonctionnement (DGF) plus importante et de nouvelles compétences transférées par les communes.

Ces nouveaux domaines d'action font grossir les effectifs de la communauté d'agglomération qui passent d'une cinquantaine à plus de 250 employés pour dorénavant gérer les déchets (2001), l'emploi (2003), le Pool routier (2004), l'assainissement (2004) ou encore l'eau (2005).

Pour répondre efficacement à l'ajout de compétences intercommunales, les services du Sicoval ont été réorganisés en quatre directions thématiques : économie et emploi ; environnement et patrimoine ; aménagement et développement durable ; solidarité et l'animation territoriale ; et une direction transversale qui gère les affaires administratives et financières. Par ailleurs, deux services indépendants, promotion du territoire et communication, sont rapprochés du Directeur Général des Services et du Président.

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval
Organigramme du Sicoval 2009

Rapport de stage - IEP M2 Conseil, Expertise et Action Publique - 2009
Cédric VANDAELE

b. Le partage du pouvoir

Selon le principe de « solidarité intercommunale », le Sicoval a souhaité équilibrer la représentativité entre petites et grandes communes (alors que la loi propose une représentativité des communes au conseil de communauté strictement proportionnelle à la taille de la population).

- Pour les communes de plus de 2000 habitants, 1 délégué supplémentaire par tranche de 1000 habitants.

Les petites communes sont donc d'une certaine façon « surreprésentées » par rapport aux autres communautés d'agglomération.

De façon générale, pour prendre part à l'élaboration des projets intercommunaux, les communes désignent des élus délégués et non-délégués au sein des conseils municipaux.

Le Conseil de Communauté (pouvoir décisionnel) du Sicoval comprend 114 délégués représentant les 565 élus des conseils municipaux des 36 communes. Celui-ci délibère hebdomadairement sur les grands sujets intercommunaux qui sont au préalable, débattus par le Bureau composé de 23 membres élus au sein du Conseil de Communauté. Le Bureau rend des avis, arbitrages et prend des décisions déléguées.

- 12 commissions thématiques : Agenda 21 ; Aménagement de l'espace et PLH ; Collecte, traitement et valorisation des déchets ; Culture, sport et loisirs ; Economie et emploi ; Environnement ; Finances ; Politique de l'eau ; Transports et déplacements ; Travaux ; Solidarité et Cohésion sociale ; 4 communes (Commission faisant un lien avec les communes limitrophes) ;

- 4 groupes de travail : Administration générale ; Communication ; Coopération décentralisée ; Foncier.

- 8 commissions réglementaires : Appel d'offres ; Accessibilité ; Délégation des Services Publics ; Charges transférées ; Comité Technique paritaire ; Comité d'Hygiène et de Sécurité ; Commission Consultative des Usagers des Services Publics ; Conseil Intercommunal de Sécurité et de Prévention de la Délinquance.

Ces commissions et groupes de travail ont pour rôle de réfléchir et de proposer des politiques par rapport à leurs thématiques.

Afin de coordonner ces instances qui regroupent plus de 350 élus, a été crée un Bureau exécutif regroupant tous les présidents des différentes Commissions.

Cette organisation montre que l'action des politiques est très encadrée par une multitude d'instances.

Le Sicoval travaille par ailleurs avec des partenaires institutionnels comme le CAUE, CG 31, Chambre départementale d'agriculture, l'ARPE, l'ADEME, foyers ruraux, SAFER,...

Au début des années 2000, le Sicoval s'est engagé dans un projet de territoire intégrant le développement durable au travers d'un Agenda 21. Le prochain chapitre s'efforcera de rappeler les bases du développement durable, pour ensuite détailler l'outil de mise en oeuvre le plus couramment utilisé par les acteurs publics : l'Agenda 21.

C. D'une logique d'aménagement au projet de développement durable : l'Agenda 21

1. L'émergence du développement durable

Source : Rapport de Synthèse - Agenda 21 pour le Conseil Municipal de Genève, 2002

Depuis une trentaine d'années, le développement durable s'impose comme nouveau paradigme dans la société française. En effet les conséquences du développement industriel des deux derniers siècles puis l'apparition de nouveaux modes de vie ont bouleversé l'environnement de différentes manières :

- Diminution des ressources naturelles : depuis la fin des années 1970, l'empreinte écologique mondiale s'est mise à dépasser la bio-capacité de la planète (c'est à dire la capacité de l'écosystème à supporter durablement nos modes de vie). Si l'ensemble de la population mondiale profitait du mode de vie occidental il faudrait avoir à disposition plus de 4 Terres.¹²

- Réchauffement climatique dû aux rejets de gaz à effet de serre. Un réchauffement de 1,8 et 3,4 °C est à prévoir dans les 50 prochaines années et il devrait modifier le climat mondial.¹³

- Appauvrissement de la biodiversité. Le rythme d'extinction est 100 fois supérieur au rythme naturel biologique.¹⁴

- Rejet de déchets en constante augmentation : Un européen jette en moyenne 1 kg de déchets par jour (prise en compte des déchets agricoles et industriels).¹⁵

La conscience de la nature et de sa protection commence à apparaître durant l'ère industrielle mais c'est encore un concept à la marge qui va à l'encontre du courant idéologique dominant : l'industrialisation.

¹² BOUTAUD A. Et si on changeait de thermomètre ? Rapport « planête vivante » WWF, 2002

¹³ Rapport du Groupe d'Experts Intergouvernemental sur l'Evolution du Climat (GIEC), Troisième rapport, 2001

¹⁴ Ministère de l'Ecologie, de l'Energie, du Développement durable et de l'Aménagement des Territoires (MEEDAT)

L'explosion démographique annoncée dans les années 70 pour les années à venir inquiète plusieurs scientifiques et politiques (1971 Club de Rome) qui craignent un épuisement des ressources naturelles. Ils prônent alors la « croissance zéro » dans le développement des sociétés humaines.

Une année plus tard, la Conférence des Nations Unies sur l'environnement et l'humain à Stockholm donne naissance au concept de développement durable, baptisé alors « écodéveloppement ». Les participants insistent sur la nécessité d'intégrer l'équité sociale et la prudence écologique dans le modèle de développement économique du moment.

Le rapport Brundtland (1987), considéré comme texte fondateur du développement durable, pose ses principes :

- gérer les ressources naturelles dans le temps (le long terme) : « Le développement

durable est un mode de développement qui répond aux besoins des générations

présentes, à commencer par les plus démunis, sans compromettre la capacité des

- partager les ressources naturelles dans l'espace : alors que 20 % d'individus consomment près de 75 % des ressources naturelles¹⁶, le développement durable prône pour chaque humain le même accès aux ressources de la Terre.

- concilier les 3 piliers des sociétés humaines : économie, social et environnement, pour trouver un équilibre viable dans le développement futur. « Le développement durable est un mode de croissance qui garantit, à la fois, et à long terme, le progrès économique, social et environnemental de la société ». 17

2. « Vous avez dit Agenda 21 » ?

La Conférence des Nations Unies sur l'Environnement et le Développement (CNUED) à Rio en 1992 institutionnalise le développement durable en adoptant une déclaration et un programme « Action 21 ». Ceux-ci ont pour objectif de faire progresser le concept des droits et des responsabilités des pays et des territoires dans le domaine de l'environnement en s'engageant dans des plans d'action pour le 21^e siècle, couramment appelé « Agenda 21 ».

Même si les enjeux sont « globaux », chaque territoire est clairement invité à s'engager dans cette nouvelle voie en agissant « localement » (chapitre 28 de l'Agenda 21 de Rio). Afin que cet outil fonctionne sur la durée, il est indispensable d'associer la population locale et parvenir à un consensus sur un programme d'actions et la gestion quotidienne des affaires locales.

A partir des principes de la Conférence de Rio, la France par la Loi d'Orientation pour l'Aménagement et le Développement Durable du Territoire (1999) impose aux communes, regroupées en pays ou en agglomération, d'intégrer le concept de développement durable dans tous leurs documents de planification locale, condition sine qua non de financement par l'Etat.

Du fait que chaque territoire puisse se saisir de cet outil, il demeure expérimental et endémique.

Ce n'est que récemment par la circulaire du 13 juillet 2006 que l'Etat a fait parvenir aux préfets un cadre de référence national pour les projets territoriaux de développement durable. Cette circulaire encourage les territoires qui s'engagent dans un Agenda 21 de se concentrer sur cinq finalités et cinq éléments déterminants dans toute démarche de développement durable:

Même si les Agendas 21 peuvent arborer différentes formes selon les politiques et caractéristiques locales des points communs peuvent néanmoins ressortir :

La problématique de la gouvernance renvoie à la coordination des différentes organisations,
des différents acteurs locaux au sein d'un même territoire. Un équilibre doit être trouvé entre

la légitimité de la démocratie élective, la volonté de démocratie participative et les éléments de retour d'expérience issus de l'évaluation.

Cette « conception » de l'action collective est également rappelée dans la loi dite de démocratie de proximité de 2002, visant à l'approfondissement de la démocratie locale

L'administration a pour habitude d'agir de façon sectorielle avec des services spécialisés aux compétences définies. L'Agenda 21 oblige à la mise en place d'une culture du partage de l'information, et du « travailler ensemble » au sein d'une collectivité comme avec tous les autres acteurs du territoire (élus, citoyens, entreprises...). Le décloisonnement est primordial puisqu'il s'agit de réfléchir en termes de projet (par exemple « le développement de parcs d'activités engagés dans des démarches responsables ») avec l'agrégation de plusieurs services (environnement, économie, transport, voirie-réseau, déchets,...).

En mettant en place un Agenda 21, l'administration ou l'entreprise souhaite montrer son engagement dans le sens du développement durable. Son action peut être un levier pour d'autres initiatives mais elle se doit d'être exemplaire afin d'éviter le « faîtes ce que je dis, ne faîtes pas ce que je fais...)

L'Agenda est un outil expérimental qui nécessite des temps de bilan et d'évaluation. Des démarches et des outils qui ont montré leurs effets peuvent être capitalisés et réinvestis dans le futur. A contrario, des dysfonctionnements ou les lourdeurs administratives peuvent apparaître qui nécessiteront des corrections et réajustements. L'évaluation en continu est ainsi indispensable tout au long du processus pour garantir une efficacité du dispositif.

Pour résumer l'Agenda 21 a pour finalité de mettre en application la notion de développement durable et ses principes dans tous les aspects de la réalité d'un territoire : comportements, vie sociale et culturelle, environnement, économie, relations avec les territoires proches et lointains.

Il est mis en oeuvre par une collectivité locale ou territoriale, qui joue le rôle d'animateur en cherchant à associer l'ensemble des acteurs qui vivent, produisent ou consomment sur le territoire concerné. Il n'y a pas de recette miracle. La démarche agenda 21 nécessite une implication effective des élus et des services de la collectivité, ces derniers disposent d'aides techniques et financières à cet effet.

L'Agenda 21 du Sicoval trouve son origine par la conjonction de plusieurs facteurs favorables. Au lendemain des élections communales de 2001 se confirme une « gauche plurielle », sorte de consensus politique qui favorise le leadership d'une élue verte sur des sujets environnementaux. Le soutien du président et du directeur des services seront alors déterminant dans l'aboutissement de l'Agenda 21.

L'Agenda 21, appelé alors Programme Communautaire de Développement Durable (PCDD) surgit également au moment où le Sicoval gagne en compétences et effectifs en se transformant en communauté d'agglomération. L'ambition de cet outil est alors de promouvoir une vision fédératrice, de sortir des actions éparses pour leur donner un ciment, en les élargissant là où les domaines étaient indigents. D'une certaine façon, le PCDD apparaît comme un moyen de « digérer » les nouvelles compétences.

Durant l'année 2002, un diagnostic du territoire est réalisé par l'Agence Régionale pour l'Environnement (ARPE) et un bureau d'étude avec pour objectif de mobiliser et fédérer les acteurs du territoire. 250 élus et techniciens participeront au diagnostic au travers de rencontres portant sur des thèmes d'analyses comme l'écologie, l'aménagement, la gouvernance ou encore les services de la collectivité.

Le diagnostic révèle l'expérience du Sicoval présent dans de nombreux domaines d'action et avant-gardiste dans ses politiques (partage de la TPU, charte d'aménagement,...). Cependant c'est la lourdeur administrative et la dispersion organisationnelle des services qui sont dénoncées. Par ailleurs, le déficit de procédures de recueil de l'information comme les dispositifs d'évaluation font cruellement défaut. L'information, pourtant indispensable pour le pilotage politique, n'est pas mutualisée ni parfois recensée. « Ce déficit de connaissances crée un décalage entre ceux qui savent et ceux qui ne savent pas, entre ceux qui connaissent leurs dossiers et les responsables nouvellement élus. L'insuffisance d'appréhension objective des réalités, par une mise en commun des données de références, nuit à une compréhension commune des enjeux et à une appropriation collective des décisions. »

Le PCDD, adopté en 2003 pour une durée de 4 ans, doit répondre aux enjeux du diagnostic et inclure toutes les politiques du Sicoval à travers 4 grands axes thématiques répondant aux enjeux de la protection de l'environnement, de l'équité sociale, du développement économique et de la bonne gouvernance :

- Axe 1 : Concilier l'intensité des activités humaines avec la préservation et la valorisation des ressources naturelles du territoire

- Axe 2 : Construire un territoire solidaire où tous les habitants, actuels et futurs, puissent accéder à une vie sociale, professionnelle et culturelle

- Axe 3 : Promouvoir un développement économique respectueux des équilibres territoriaux, sociaux et environnementaux intégrant les dimensions agricole, commerciale et artisanale

- Axe 4 : Développer une pratique de la démocratie de proximité associant élus, habitants et acteurs locaux à l'élaboration, la mise en oeuvre et l'évaluation du projet territorial

A la suite de ce premier programme une évaluation a été effectuée par tous les services. Le bilan global a mis en exergue la réalisation de 86 % des actions prévues avec un taux moyen de réalisation de 64 %.

Le deuxième programme, l'Agenda 21 2007 - 2010, a repris la majorité du contenu du PCDD à travers les 4 axes stratégiques¹⁹. Plusieurs cycles de débat avec la population (Café des sciences) mais aussi la concertation avec les conseils municipaux ont permis de réajuster le premier PCDD pour aboutir au nouvel Agenda 21 avec 25 politiques et 92 fiches opérations.

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval
Contenu de l'Agenda 21

4. Le pilotage des politiques de l'Agenda 21 : « un milkshake politicotechnocrate »

Pour piloter de façon opérationnelle le PCDD, un comité de pilotage a été créé en janvier 2003 regroupant la direction générale, la communication et autant d'élus du bureau exécutif que de techniciens sur un mode paritaire. Il accueille également un représentant extérieur de l'ARPE qui joue le rôle de modérateur et de conseil.

Réuni hebdomadairement, ce comité a au départ pour principale fonction de coordonner l'élaboration et la mise en oeuvre des différentes actions du PCDD. Plus tard, celui-ci a également eu pour charge de préparer la deuxième version de l'Agenda 21 à partir d'une évaluation.

En 2007, le service Cohésion et Evaluation des Politiques Publiques est crée au sein de la Direction de l'Aménagement et du Développement Durable avec pour principales missions :

- la création de partenariats financiers avec des acteurs extérieurs pour la mise en oeuvre de l'Agenda 21.

La création de ce service avec un technicien institutionnalise l'Agenda 21 dans la durée et auprès des partenaires extérieurs.

Une année plus tard, le comité de pilotage se transforme en Commission politique et se rajoute aux 11 Commissions du Sicoval. Ce choix s'explique par la volonté politique d'ouvrir l'Agenda 21 pour le rendre plus lisible et participatif. Cette commission présidée par une des vice-présidentes du Sicoval est constitué d'élus communaux, et d'au moins un représentant des autres commissions du Sicoval. Ses objectifs sont :

- d'élaborer le prochain Agenda 21 dans une démarche d'amélioration continue.

Cette organisation a pour conséquence de favoriser une proximité forte entre les élus et techniciens. Par ailleurs, la présence de nombreux élus spécialistes, permet d'aborder certains aspects de l'Agenda 21 avec technicité.

Au niveau de la mise en oeuvre l'Agenda 21, le programme fait apparaître pour chaque action une fiche descriptive (exemplaire en annexe) où figure la/les commission(s) et le/les service(s) responsables. L'objectif de ces fiches et de faire travailler en transversalité les services et les partenaires extérieurs le plus en amont possible. D'autres informations apparaissent comme les services ressources, le budget ressource ou les moyens d'évaluation.

Cette organisation, en prétendant à l'exhaustivité, permet donc aux acteurs de visualiser l'ensemble du cadre dans lequel ils se situent. A ce titre, la majorité des actions font intervenir plusieurs interlocuteurs de diverses commissions, et pour certaines questions spécifiques sont directement associées plusieurs commissions, voir même plus rarement des commissions mixtes. C'est donc l'outil Agenda 21 qui a en charge de relier les acteurs.

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval
Pilotage et suivi de l`Agenda 21

Partie 2 : La conduite de l'évaluation : « de la théorie à la réalité »

Depuis 2003, le Sicoval établit ses politiques à partir de l'Agenda 21. Les élus montrent de nombreuses attentes sur ce nouvel outil qui promet d'envisager la transversalité et d'améliorer l'efficacité de l'action publique.

Suite aux élections municipales de 2008, le Service Cohésion et Evaluation des Politiques Publiques (CEPP) a été mandaté par la Commission Agenda 21 pour établir un bilan relatif aux politiques inscrites dans l'Agenda 21.

Le service CEPP travaille ainsi depuis un an à la mise en place d'un système d'évaluation à double niveau.

L'objectif du CEPP n'est pas d'évaluer l'Agenda 21 en lui même, comme par exemple analyser l'imbrication et la cohérence des différentes politiques au sein d'un même document ou encore regarder la pertinence des procédures liées à l'Agenda 21.

L'enjeu est plutôt de concentrer l'évaluation sur les politiques elles-mêmes, d'analyser leurs impacts sur le territoire sous le prisme du développement durable. L'outil d'évaluation est ainsi partie intégrante de la procédure Agenda 21. Néanmoins certains indicateurs dans l'axe 4 « Gouvernance » évaluent l'opérationnalité et le fonctionnement de l'Agenda 21 dans sa globalité.

Cette deuxième partie détaillera donc la démarche d'évaluation de toutes les politiques de l'Agenda 21 du Sicoval en définissant plus particulièrement le rôle de l'évaluation, son utilité et sa mise en place locale.

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

A. Concepts de l'évaluation

1. Origines de l'évaluation

L'évaluation est une démarche récente mais, incontournable aujourd'hui à tous les niveaux d'actions (Europe, national, régional, local,...). L'émergence et le développement de l'évaluation s'explique par plusieurs facteurs :

- la décentralisation : depuis les années 80, l'Etat transfère des compétences aux collectivités territoriales dotées de la clause générale de compétence, de l'autonomie financière et de la libre administration. Il s'en est suivi une multiplication des initiatives et un enchevêtrement des compétences entre les différents territoires.

- le développement de la contractualisation : récent outil de l'action publique, la contractualisation permet d'inventer de nouvelles façons d'agir sur les territoires : Partenariats Public-Privé, Contrats de Projets Etat-Régions (CPER), politique de la ville, Contrat d'Agglomérations,... La multiplication des partenaires favorise le développement de l'évaluation afin que chaque acteur ait un aperçu de ses actions.

- l'intégration européenne et la mondialisation : les capitaux connaissent une mobilité accrue. Les territoires se trouvent connectés aux logiques et règles du jeu de la mondialisation. Les acteurs politiques sont ainsi poussés à comparer leur territoire pour le gain d'attractivité (fiscalité, état de l'environnement, niveau de vie,...)

- la privatisation des services publics et mécanismes de libéralisation : les usagers sont de plus en plus exigeant quant à la qualité des services rendus. Il y a une exigence de transparence sur l'utilisation des fonds publics.

- la crise des finances publiques : l'évaluation constitue un axe majeur de la modernisation du management public qui se développe dans les années 90 pour répondre à la crise des finances publiques. L'évaluation permet d'établir les comptes de résultats de l'action publique et d'identifier les modes d'intervention les plus efficaces au moindre coût.

L'évaluation va de pair avec la montée en puissance et la complexité des politiques locales (éclatement institutionnel entre plusieurs niveaux de décision) et des processus d'action mais aussi par l'émergence d'exigences accrues de performance. Il y a un réel besoin d'outils de connaissance et de prévision.

C'est dans les années 70 que l'évaluation trouve son origine avec le modèle du Planing, Programming, Budgeting System. L'objectif est d'attribuer à chaque politique une enveloppe budgétaire censée couvrir tous les coûts réels (comptabilité analytique) avec un responsable.

L'Union européenne (UE) joue également un rôle important dans le développement de l'évaluation. A travers la politique des fonds structurels, l'UE propose que l'évaluation fasse partie intégrante de la politique communautaire : le financement européen est conditionné à la mise en place de l'évaluation.

En France, c'est le décret du 22 janvier 1990 qui institutionnalise l'évaluation. Ce texte propose une définition officielle de l'évaluation : « Evaluer une politique, c'est rechercher si les moyens juridiques, administratifs ou financiers mis en oeuvre permettent de produire les effets attendus de cette politique et d'atteindre les objectifs qui lui ont été fixés ».²⁰

Le décret du 18 novembre 1998 et la circulaire du Premier ministre du 28 décembre 1998 reprennent ces notions, en insistant d'avantage sur l'analyse des résultats et la problématique de l'efficacité. « L'évaluation d'une politique publique consiste à comparer ses résultats aux moyens qu'elle met en oeuvre -- qu'ils soient juridiques, administratifs ou financiers -- et aux objectifs initialement fixés. Elle se distingue du contrôle et du travail d'inspection en ce qu'elle doit aboutir à un jugement partagé sur l'efficacité de cette politique et non à la simple vérification du respect de normes administratives ou techniques »21

Dans la foulée le Conseil National de l'évaluation (CNE) est crée en 1999 avec pour missions de mener des évaluations des politiques publiques conduites par l'Etat, les collectivités territoriales et leurs établissements publics respectifs. Il propose chaque année un programme d'évaluations au Premier ministre.

2. La place de l'évaluation dans le cycle politique

L'évaluation intervient habituellement à la fin d'un cycle politique (évaluation ex-post). Suite à l'émergence d'un problème, de son appropriation par les décideurs politiques, il est utile et

²⁰ Décret n° 90-82 du 22 janvier 1990 relatif à l'évaluation des politiques publiques

²¹ Décret n° 98-1048 du 18 novembre 1998 relatif à l'évaluation des politiques publiques et Circulaire du 28 décembre 1998 relative à l'évaluation des politiques publiques

²² KNOEPFEL P.,LARRUE C.,VARONE F., Analyse et pilotage des politiques publiques, 2e éd. Coll., "Politikanalyse/Analyse des politiques publiques", 2006

nécessaire d'évaluer les résultats, effets et conséquences d'un choix politique et de sa mise en oeuvre. L'évaluation sert à « mesurer les effets propres d'une politique publique»²³ Néanmoins l'évaluation peut intervenir à d'autres moments durant le cycle d'une politique. D'une part, l'évaluation ex-ante intervient par exemple avant la mise en oeuvre d'un projet. Elle sert à mesurer les éventuels impacts qu'une politique pourrait induire. D'autre part, l'évaluation à mi-parcours (ex interne) permet d'analyser les premiers résultats du programme et d'apprécier ainsi le niveau de progression vers les objectifs fixés.

Evaluer consiste donc à mesurer les effets d'une politique, à porter un jugement de valeur et de fait sur l'état d'avancement, sur l'amélioration de la mise en oeuvre ou encore apprécier l'impact global d'une politique. L'évaluation est une démarche continue en parallèle de l'action qui vise continuellement le progrès et l'amélioration : qu'est-ce qui marche ou ne marche pas ? Quelles sont les mesures qui ont contribué aux résultats souhaités ?

Renald LEGENDRE résume l'évaluation à « une démarche ou processus conduisant au jugement et à la prise de décision. Jugement qualitatif ou quantitatif sur la valeur d'une personne, d'un objet, d'un processus, d'une situation ou d'une organisation, en comparant les caractéristiques observables à des normes établies, à partir de critères explicites, en vue de fournir des données utiles à la prise de décision dans la poursuite d'un but ou d'un objectif. [...] Évaluer, c'est comprendre, éclairer l'action de façon à pouvoir décider avec justesse de la suite des événements. »24

Source : MEZZIOUANE A, Evaluer les programmes socio-économiques, Tome 1, Commission européenne, 1999

²³ DELEAU M., NIOCHE J.P., PENZ P, POINSARD R., Evaluer les politiques publiques : Méthodes, déontologie, Organisation, Rapport du groupe de travail - Méthodes d'évaluation des politiques publiques, Commissariat Général du Plan, La Documentation française, 1986

²⁴ LEGENDRE R., Dictionnaire actuel de l'éducation, 3^e édition, Guérin, 2005

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval Les critères de l'évaluation :

- La pertinence : vérifier l'adéquation entre les enjeux du projet et les objectifs fixés ;

- La cohérence : adéquation entre les différents objectifs et l'organisation, les moyens humains et financiers mis en oeuvre ;

- L'efficacité : .concerne la conformité des effets propres de la politique avec ses objectifs. Etablir si les objectifs formulés dans le programme sont atteints et connaître les réussites et difficultés rencontrées ;

- L'efficience : analyse des résultats obtenus au vu de l'importance des moyens financiers mobilisés ;

- L'utilité : calcule les effets à court, moyen et long terme de l'action publique. Cela consiste à juger les impacts générés par un programme au regard des besoins de la société et des enjeux économiques.

3. Pourquoi évaluer les politiques de l'Agenda 21 ?

Dans la thématique du développement durable (caractérisé par une forte souplesse sémantique), le travail d'évaluation permet aux décideurs du Sicoval de s'approprier le concept et de le définir à partir de critères, de chiffres et d'indicateurs. L'évaluation possède ainsi une dimension cognitive et une finalité normative. Elle formule un jugement de valeur sur les politiques analysées.

Dans une démarche d'Agenda 21, l'évaluation doit servir à vérifier si les actions prévues ont bien été engagées et la nature des résultats obtenus. L'évaluation permet ainsi la poursuite ou la redéfinition de certaines actions afin d'inscrire l'Agenda 21 dans une démarche d'amélioration continue.

D'autres enjeux plus généraux découlent également d'une démarche d'évaluation :

En s'engageant dans un travail d'évaluation, le Sicoval joue le jeu de la transparence. La collectivité « rend compte » de ses politiques de développement durable à la population (finalité déontologique). Le Sicoval peut profiter de cette occasion pour sensibiliser les différents acteurs du territoire sur le développement durable et encourager leur participation.

L'évaluation peut également aider au pilotage des politiques de la collectivité. Si le travail d'évaluation est fait avec la participation de l'ensemble des services, l'outil peut devenir dynamique et source d'informations pour chaque acteur (apprentissage et mobilisation). L'évaluation permet d'impliquer, de nouveau, tous les services au projet de territoire, elle réactualise en fait la démarche de l'Agenda 21.

Grâce à cet outil, les gestionnaires peuvent aussi améliorer l'administration de chaque projet en répartissant plus équitablement et plus rationnellement les ressources humaines et financières.

Mener un travail d'évaluation améliore la connaissance des élus sur les politiques qu'ils mènent. Cela peut créer du débat mais l'évaluation instaure en même temps de la réflexion, une prise de recul nécessaire pour tout décideur. Est-ce que cette politique a vraiment bien fonctionné ? A-t-on actionné les bons leviers ?

L'évaluation, composante essentielle de tout projet de territoire, servira alors à prendre les décisions concernant sa poursuite, son arrêt ou sa réorientation.

Enfin, le travail d'évaluation des politiques au regard du développement durable, permet au Sicoval de faire connaître sa stratégie locale et de comparer ses actions aux objectifs nationaux et internationaux (Grenelle de l'environnement, protocole de Kyoto,...).

B. La définition du système d'évaluation du Sicoval

1. L'outil d'évaluation du Sicoval

Pour évaluer l'Agenda 21 du Sicoval, deux niveaux de mesure ont été mis en place.

Un premier niveau analyse les opérations menées. Chaque chef de service est invité trimestriellement à rendre compte de l'avancé des opérations qui sont inscrites dans l'Agenda 21 à travers un tableau de bord. Cet outil créé lors du précédent Agenda 21 doit être amélioré pour s'ajuster au deuxième niveau d'évaluation.

Parallèlement, un deuxième niveau d'évaluation est envisagé pour permettre de suivre l'impact et les effets des politiques sur le territoire. A cette échelle, l'objectif est de suivre à partir d'indicateurs stratégiques l'état général du territoire, voir comment il se comporte et évolue. C'est sur ce niveau que ma mission de stage s'est concentrée. Mon rôle a été de finaliser avec le comité de pilotage²⁵, ce système d'évaluation en proposant des indicateurs puis à récolter à la source l'information statistique afin d'aboutir à un premier rapport d'évaluation officiel.

1e niveau d'évaluation :
Tableau de bord mesurant
l'état d'avancement des
opérations

2e niveau d'évaluation : Mise en place d'indicateurs d'état, de suivi et d'impact par rapport aux politiques

Ce deuxième niveau d'évaluation a l'avantage de présenter de façon globale l'ensemble des politiques du Sicoval. La lecture de ce niveau est ainsi accessible à toute personne même extérieure du quotidien du Sicoval.

Chacune des vingt-cinq politiques du Sicoval doit ainsi être accompagnée d'une dizaine d'indicateurs d'état et de suivi et d'une carte repositionnant le contexte. Le nombre d'indicateurs a été délibérément limité afin de garantir une lisibilité du document final et faciliter la récolte des indicateurs a posteriori. L'objectif final étant d'arriver à un rapport triennal n'excédant pas les trente pages. L'évaluation d'une politique doit ainsi pouvoir contenir techniquement sur une seule page.

Pour pouvoir synthétiser une politique menée il a été indispensable de trouver des indicateurs
renseignant le plus fidèlement possible la réalité du territoire. En conséquence plusieurs temps

²⁵ L'organisation du suivi politique et technique de l'évaluation se trouve en annexes

de travail ont été organisés avec les services et élus afin d'aboutir à une version consolidée du 2e niveau d'évaluation.

Avant la co-construction de l'outil d'évaluation avec chaque service, un travail de recherche bibliographique sur les indicateurs a été nécessaire. Cela a permis d'avoir un aperçu des indicateurs existants et ayant fait leurs preuves sur les différentes politiques.

Ces indicateurs ont été ensuite discutés avec chaque service afin de recueillir leurs observations et intégrer les spécificités liées au contexte du Sicoval. Mais le choix des indicateurs a surtout été conditionné par rapport au fonctionnement des services. Afin d'éviter les doublons, le système d'évaluation a repris certains indicateurs issus des rapports d'activités et des tableaux de pilotage des services. Cela évite une charge de travail supplémentaire aux services déjà assez enlisés dans des lourdes procédures administratives

Après avoir effectué le tri technique, ce sont les commissions thématiques qui se sont positionnées sur les indicateurs correspondants à leur politique. L'objectif étant que les élus participent à la construction de l'outil d'évaluation afin qu'ils se l'approprient et aient la liberté de choisir l'orientation de l'évaluation. Ce travail a d'abord nécessité beaucoup de pédagogie afin que les différents enjeux de l'évaluation soient compris et intégrés par les élus.

Pour faciliter ces consultations, une fiche d'évaluation a été faite pour chaque politique afin de resituer rapidement les objectifs stratégiques, les ressources affectées et les opérations prévues dans l'Agenda 21.

Exemple d'une fiche d'évaluation pour la politique de la ville et la
prévention

2.3 Politique de la Ville et prévention : mettre en oeuvre la Charte de Sécurité et de
Prévention de la Délinquance (CISPD)

Rappel des objectifs stratégiques de l'Agenda 21 - Favoriser la sécurité routière

- Développer la justice de proximité et l'accueil des victimes Propositions de cartes et d'indicateurs

- Représentation de deux données : la répartition géographique du taux de criminalité pour 1000 habitants + zones d'accidents (distinction vélo, piéton, voiture) commentaire : comparaison avec données nationales

- Structure de la délinquance : évolution du taux de criminalité + évolution infractions

significatives (atteintes aux personnes, vols, cambriolages (précision cambriolage locaux d'activité), délinquance liée à l'automobile, autres infractions)

- Appréciation par les habitants sur leur sentiment de sécurité routière (enquête)

- Sécurité routière : Evolution nbre d'accidents, nbre de tués et nombre de blessés, distinction

- Nombre d'actions de prévention sur le territoire avec la part des actions dans lesquelles le Sicoval est impliqué (sécurité routière, jeunesse et citoyenneté, atteintes aux biens et sécurité, veille sociale - point d'accès au droit)

- Nombre de jeunes suivis par les différents dispositifs d'accompagnement (CLAS, Réussite Educative) + évolution de l'offre/commune (nbre de places en CLAS)

- Indicateur de justice (objectif à terme comme par exemple le nombre de rappel à la loi, nombre de travaux généraux,...)

Commission(s) pilote(s) : Groupe CISPD Rappel des opérations de la politique

2. Le référentiel national pour l'évaluation des Agendas 21

La démarche d'évaluation interne du Sicoval coïncide avec la mise en place d'un référentiel national sur l'évaluation des projets territoriaux de développement durable et Agendas 21.

Ce référentiel a été mis en place car l'évaluation reste encore très expérimentale dans les différentes structures d'action publique. En l'absence de normes et d'outils opérationnels, les collectivités ont parfois des difficultés à mener une stratégie d'évaluation efficace. C'est dans ce contexte que le Commissariat Général au Développement Durable a décidé d'élaborer un référentiel national pour l'évaluation des projets territoriaux de développement durable et Agendas 21 locaux. A terme ce référentiel figurera avec le cadre de référence national des Agendas 21 en y associant des objectifs quantifiés, cependant aujourd'hui il demeure dans sa phase d'expérimentation.

Le Sicoval et une dizaine d'autres structures ont été choisis comme collectivités pilotes pour tester ce référentiel avant sa publication officielle en février 2010. Durant une période de 6 mois (à partir de mars 2009) le Sicoval travaille ainsi en collaboration avec le ministère et un bureau d'étude pour faire remonter ses recommandations d'évolution de l'outil afin d'aboutir à une version consolidée du référentiel. Cette opportunité permet à la collectivité de structurer sa démarche et de bénéficier d'un accompagnement méthodologique et d'outils tels qu'une liste d'indicateurs nationaux.

Concrètement, le référentiel provisoire propose aux élus locaux des questions évaluatives en rapport avec la stratégie globale du territoire comme par exemple : « le projet territorial s'est fixé des objectifs quantifiés de lutte contre le changement climatique ? »²⁶. Les questions évaluatives précisent le sens et les objectifs à rechercher prioritairement dans une stratégie territoriale de développement durable. A ces questions est jointe une proposition d'indicateurs comme par exemple la quantité d'émissions de gaz à effet de serre en équivalent CO2 à l'échelle du territoire.

Dans l'ensemble le référentiel propose 45 questions évaluatives accompagnées de 48 indicateurs stratégiques qui font référence aux cinq finalités du développement durable et des éléments déterminants d'une démarche Agenda 21.²⁷

Chaque indicateur est accompagné d'une fiche descriptive détaillant sa définition, principe de calcul et collecte des données, pertinence, accessibilité des données de base, accessibilité financière, pertinence selon l'échelle territoriale, lisibilité, périodicité,...

Le travail sur le référentiel national avec les élus du Sicoval a produit des résultats mitigés. Même si une majorité d'élus a été intéressée par l'outil en adoptant les questions évaluatives sur le territoire du Sicoval, d'autres ont néanmoins regretté une grille de lecture nationale imposée qui efface en partie les objectifs de l'Agenda 21 du Sicoval. Certaines questions regrouperaient plusieurs priorités du Sicoval et orienteraient du coup le débat des politiques ; « Les questions ne sont pas neutres dans leur rédaction » selon l'avis d'un élu.

Le référentiel national a néanmoins l'avantage d'obliger les élus à dépasser une analyse autocentrée de leur territoire qui se contenterait d'objectifs peu ambitieux. Le cadre national crée

²⁶ Commissariat Géneral au Développement Durable, Référentiel pour l'évaluation des projets territoriaux de développement durable et agendas 21 locaux, version expérimentale, 2009

²⁷ Les questions évaluatives et les indicateurs du référentiel sont en annexes

ainsi un rapport entre les projets locaux et les enjeux globaux : « Entre le local et le global les articulations restent encore largement à construire »28

3. Le choix des indicateurs : tout est politique !

Le débat entre le local et le global se retrouve dans le choix des indicateurs. A t-on envie de mesurer l'évolution des spécificités locales, parfois endémiques, ou alors avoir des indicateurs plus généraux et comparables avec d'autres échelles territoriales.

La collectivité a néanmoins tout intérêt d'avoir des indicateurs reconnus par tous les acteurs du territoire et autres partenaires afin de pouvoir communiquer sur son projet de territoire.

Le Sicoval a pris le partie de mélanger les deux approches en sélectionnant une grande partie des indicateurs proposés par le Commissariat Général au Développement Durable tout en rajoutant des baromètres mesurant des actions plus spécifiques au projet de territoire. Tous ces indicateurs sont rassemblés au sein d'un tableau de bord²⁹ qui devra être établi annuellement par tous les services de la collectivité et les partenaires extérieurs fournisseurs de données.

a. L'indicateur, ébauche de la réalité - instrumentalisation de l'information ?

Le système d'évaluation du Sicoval repose donc essentiellement sur une batterie d'indicateurs. Ce choix a été retenu afin d'avoir un aperçu synthétique et périodique de toutes les politiques au détriment d'une analyse fine et précise des phénomènes.

Les indicateurs doivent du coup être bien choisis pour retranscrire le plus fidèlement les phénomènes complexes comme les politiques de développement durable où différents paramètres entrent en jeu.

Les principales caractéristiques d'un indicateur sont de quantifier et de qualifier l'information en la simplifiant. L'information peut alors être décrite de façon :

- unidimensionnelle : cardinale (un chiffre), ordinale (une note, un classement), qualitative (bon/mauvais)

- bidimensionnelle (vecteur) : une tendance d'évolution dans le temps (augmentation/diminution)

²⁸ THEYS J., 2002, « L'approche territoriale du "développement durable", condition d'une prise en compte de sa dimension sociale », in Revue Développement durable et territoires

²⁹ La liste des indicateurs retenus se trouve dans la partie 2 - C - 1 « Les indicateurs retenus » page 51

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval - tridimensionnelle (espace) : apercevoir l'évolution spatiale (cartographie)

Un indicateur peut donc retranscrire des informations de dimensions différentes. Pour mesurer des phénomènes plus complexes, certains indicateurs (appelés également indices) sont le résultat d'une agrégation d'autres indicateurs de base. L'indice de Développement Humain (IDH) en est un exemple. Afin d'avoir un thermomètre alternatif au Produit Intérieur Brut (PIB) pour mesurer le développement des sociétés, les Nations Unies (PNUD) ont crée l'IDH qui agrège le niveau d'éducation, l'espérance de vie et le niveau des revenus des ménages. Plus compliqué et plus récent, le BIP 40 (en référence au CAC 40) a été crée en 1999 par le collectif Réseau d'alerte sur les inégalités (RAI) pour mesurer le niveau de pauvreté et les inégalités d'un territoire. Cet indice est construit à partir d'un assemblage de 58 séries statistiques reflétant les diverses dimensions des inégalités : la santé, les revenus, l'accès à l'emploi, l'éducation, le logement,...

L'utilité d'un indicateur dépend d'abord de sa capacité à refléter la réalité : peut-il autant le faire ? L'actualité nous montre qu'il y a fréquemment des débats sur la valeur d'un indicateur. Pour mesurer le chômage par exemple, « la population sans emploi à la recherche d'un emploi (PSERE) »³⁰, les différents organismes tel que le pôle emploi, l'INSEE, le ministère du travail ou encore le BIT n'ont pas les mêmes méthodes de calcul et ne publient pas les mêmes chiffres. Ces écarts peuvent s'expliquer par la perméabilité entre les concepts de l'emploi, du chômage et de l'inactivité. Néanmoins on assiste surtout à une instrumentalisation de l'information selon les différents objectifs des acteurs. Quoi de plus facile que de réduire le champ des personnes considérées comme chômeurs en raccourcissant les durées d'indemnisation ou la mise en place de contrôles plus stricts ? Les chiffres semblent facilement manipulables et utilisables à toutes les fins.

« L'indicateur est l'arbuste qui cache la forêt, le détail qui masque la complexité du monde du travail. A trop vouloir simplifier et formaliser un « résultat », on oublie le monde, on se réfugie dans un espace protégé des brûlures de la vie, on finit par jouer avec le joystick appelé indicateur, c'est ce qu'on appelle le pilotage »31

Il n'existe donc pas de bons indicateurs en soit, mais plutôt des indicateurs appropriés à un contexte particulier. Le choix d'un indicateur est dicté par des facteurs humains. Il reste une part de subjectivité dans ces mesures qui semblent objectives. Le choix d'un indicateur dépend de ce que l'on veut mesurer. En conséquence, il est nécessaire de définir ce que l'on veut mesurer avant de choisir un indicateur.

La plus-value de l'indicateur sera alors sa faculté d'être facilement compréhensible (technicité simple) par des acteurs différents (scientifiques, gestionnaires, politiques et citoyens) afin de favoriser le dialogue et une connaissance commune.

Il ne suffit pas de définir les bons indicateurs, il faut apprendre à bien les utiliser ensemble

b. Quels indicateurs choisir pour mesurer les politiques de développement durable ?

A quoi peut ressembler un indicateur mesurant des politiques de développement durable ? Comme nous l'avons précédemment vu, le développement durable est une notion émergente qui nécessite de prendre en compte des nouvelles échelles spatio-temporelles. A côté de l'efficacité d'un projet, c'est également son impact dans la durée, sa transversalité, son intégration avec les autres démarches qui doivent être analysés. La prise en compte de toutes ces variables peut rendre difficile la constitution d'indicateurs synthétiques et lisibles.

Tom BAULER et Walter HECQ abordent la mesure du développement durable non pas sur le contenu mais sur la procédure dynamique qui amène à un projet : « The next step into the sustainable development-process is to consider the process dynamics themselves »³². On est dans le domaine de la procédure, qui peut participer autant que le contenu à un développement durable : la concertation et la transparence de l'information en sont aussi des principes, et peuvent caractériser des processus de durabilité. A partir de la théorie de la rationalité procédurale de H. SIMON qui vise à évaluer la qualité de la procédure qui mène à la prise de décision, et non pas la décision elle-même, BAULER et HECQ réfléchissent alors aux indicateurs comme à des objets de procédure.

Ces processus sont toutefois confrontés à un problème majeur : la demande de rationalité et d'objectivité de la part des décideurs et des professionnels, habitués à recourir à des indicateurs livrant une lecture dite optimale. Or l'objet complexe et multidimensionnel du développement durable, n'est dorénavant plus possible à aborder et à traiter selon une lecture confinée et linéaire.

Pour répondre à ces nouvelles difficultés de mesure, le parti pris du Sicoval a été de choisir des indicateurs de développement durable ayant montré leurs preuves issues principalement des travaux de l'IFEN et du MEEDDAT tel que l'IDH localisé, les émissions de gaz à effets de serre d'un territoire ou encore le coefficient de GINI (degré d'inégalité de la distribution des revenus dans une société). A coté de ces indicateurs transversaux sont adossés des

³² BAULER T., HECQ W., « On the usability of indicators of sustainable developement », Conference of the European Society for Ecological Economics, 2000.

indicateurs de suivi qui mesure le degré d'avancement des différentes politiques qui sont propres au Sicoval. La collectivité mène par exemple depuis quelques années un programme Rivières Vivantes afin d'entretenir les berges et les lits des cours d'eau. Pour évaluer ce programme la commission « eau » a souhaité connaître le linéaire des cours d'eau réhabilités et entretenus sur une année.

Enfin, certains indicateurs mesurent l'exemplarité de la collectivité en matière de développement durable dans ses actions au quotidien. Ces indicateurs sont indispensables pour montrer la bonne volonté de la communauté d'agglomération dans son engagement « vert ». Le Sicoval se doit d'être un modèle afin d'avoir une crédibilité aux yeux des habitants et d'éviter le « faites ce que je vous dis, mais ne faites pas ce que je fais ! ». Des indicateurs, tel que la consommation de papier, le taux d'émission des gaz à effets de serre des bâtiments intercommunaux ou encore le nombre d'achats internes éco-responsables, sont ainsi mis en place.

C. La mise en oeuvre du système d'évaluation : « un parcours semé d'embûches »

1. Les indicateurs retenus

Les indicateurs retenus sont organisés dans le tableau ci dessous à travers les 4 axes de l'Agenda 21. A chaque politique correspond un certain nombre d'indicateurs dont certains proviennent du MEEDDAT (en italique). A titre d'information la dernière colonne renvoie à la source de l'indicateur. Les abréviations des sources sont spécifiées en annexe dans la table des sigles. Ce tableau a été un véritable outil durant toute ma période de stage pour organiser la collecte des données.

Axe 1 : Concilier l'intensité des activités humaines avec la préservation et la valorisation des ressources naturelles du territoire

Politique	Indicateurs stratégiques proposes	Service responsable
11 Aménagement de l'espace communautaire	Carte : Charte d'aménagement
	Respect de la charte d'aménagement : % de zone blanche, verte et urbanisée par commune par rapport au prévisionnel de la charte	DADD / Planification
	Appréciation par les habitants, de l'évolution de leur qualité de vie et de la possibilité d'adopter un mode de vie durable sur le territoire : propreté, qualité des espaces publics, environnement sain,...	Enquête population
	Nombre d'hectares d'espaces agricoles, boisés et naturels consommés par l'urbanisation (ha/hab.)	AUAT
	m² d'espaces urbanisés / hab.	AUAT
	nombre de m² urbanisés pour un habitant supplémentaire sur le territoire -précision possible pour l'habitat	AUAT
	Hectares consommés chaque année par des constructions diffuses	DADD / Politique du logement
	Évolution du coût moyen du m2 foncier habitat	DADD / Politique du logement
	Évolution du coût moyen du m2 activité économique	DEE / Animation économique
	Évolution du coût moyen du m² foncier agricole	AGRESTE
12 Protection des paysages et des espaces naturels remarquables	Carte des Znieff-Zico + Confluences Garonne Ariège+espaces boisés+inventaires issus du pôle espace naturel
	Indicateur permettant de mesurer la sauvegarde des paysages (charte paysagère)	Enquête population
	Indicateur permettant de mesurer le caractère attractif des communes	DADD / VRC
	Contribution à la trame écologique régionale et aux corridors biologiques du SCOT	DADD / Planification
	Surface des espaces identifiés à enjeu et couverte par une mesure de protection	Conservatoire Botanique des Pyrénées / DIREN
	Nombre d'espèces remarquables (faune et flore) recensées + localisation	DEP / Pôle Espaces naturels
	Mortalité des abeilles sur le territoire	Syndicat d'Apiculture Méridional
	Exemplarité de la collectivité : Respect de la charte de l'arbre	DEP / Pôle Espaces naturels

Politique	Indicateurs stratégiques proposes	Service responsable
13 Lutte contre l'effet de serre	Carte : Réalisations exemplaires des collectivités du territoire (chaufferie bois, réseau de chaleur, panneaux solaires, PAC géothermique, puits provençal, éclairage public, sur bâtiments existants...)
	Consommation énergétiques sur le territoire du Sicoval (KWh/an/habitant et par type d'énergie) et par secteurs d'activité	OREMIP
	Émission de gaz à effet de serre sur le territoire (rapporté à l'habitant et par type d'énergie)	OREMIP
	Part des énergies renouvelables dans la consommation énergétique du territoire	OREMIP
	Indicateur mesurant l'implication des habitants et des différents acteurs du territoire crédit d'impôts en ENR	Trésor public
	Indicateur mesurant l'implication des habitants et des différents acteurs du territoire : nbre de contacts de l'espace info énergie	Soleval
	Indicateur mesurant l'implication des habitants et des différents acteurs du territoire	Enquête population
	Exemplarité de la collectivité : consommations énergétiques des équipements du Sicoval par type d'équipement et par type d'énergie (KWh/an)	Soleval
	Consommation énergétique de l'éclairage public de la collectivité (kWh/ZA/an)	Soleval
	Evolution des émissions de gaz à effet de serre liées aux pratiques de la collectivité (équipements du Sicoval et déplacements)	Soleval
	Consommation de carburant des camions bennes - Nombre de Km	DEP / Déchets
	Nombre de communes ayant mis en place une comptabilité énergétique.	Soleval
14 Gestion globale de l'eau	Carte 1 : Qualités des cours d'eau
	Carte 2 : Zones inondables
	Eau potable : Consommation d'eau potable /habitant	DEP / Eau et assainissement
	Qualité de l'eau potable distribuée	DEP / Eau et assainissement
	Rendement du réseau de distribution d'eau potable	DEP / Eau et assainissement
	Production mensuelle d'eau / capacité de production mensuelle	SIECHA (unité de Calmont) / SDEA Vieille Toulouse
	Eau usée : Nombre d'analyses non-conformes sur les rejets des STEP	DEP / Eau et assainissement
	Nombre d'assainissements autonomes non-conformes ayant un impact sur l'environnement	DEP / Eau et assainissement
	Eau pluviale et milieu naturel : - Nombre de sinistres liés à une inondation et/ou une coulées de boue	PRIM.NET
	Nombre de jour d'interdiction d'irrigation et/ou de restrictions pour les usages domestiques	DDEA 31
	Exemplarité de la collectivité : linéaire de cours d'eau réhabilités et/ou entretenus	DEP / Rivières
	Consommation d'eau des équipements du Sicoval	DEP / Eau et assainissement
	Taux d'imperméabilisation des terrains dans les projets d'aménagement du Sicoval	BDT
	Consommation de produits phytosanitaires par le Sicoval	DEP

Politique	Indicateurs stratégiques proposes	Service responsable
15 Gestion des déchets : mettre en oeuvre le plan d'optimisation	Carte : Collectes sélectives sur le territoire
	Evolution annuelle du tonnage des déchets OM par habitant - distinction résiduels et sélectifs	DEP / Déchets
	Evolution annuelle du tonnage des déchets par gisement - permet d'expliquer l'évolution annuelle du tonnage OMR	DEP / Déchets
	Taux de valorisation des déchets	DEP / Déchets
	Taux d'équipement en composteurs (en prenant en compte ce qui n'est pas vendu par le Sicoval)	DEP / Déchets
	Indicateur sur la collecte sélective des professionnels (ZAC, hors ZAC, restaurants, administrations, écoles)	DEP / Déchets
	Evolution du taux de recyclage des déchets ménagers comparée aux objectifs du Grenelle	DEP / Déchets
	Exemplarité collectivité : consommation de papier par les services du Sicoval	DEE / DAF
	litage bac utilisé par site de la collectivité	DEP / Déchets
	Evolution de la redevance déchets des habitants - commentaires personnes en difficulté de paiement, personnes à mobilité réduite, coûts du service)	DEP / Déchets
	Indicateur permettant de mesurer la difficulté des plus démunis à payer la redevance	CCAS
	Nombre de personnes à mobilité réduite bénéficiant du service	DEP / Déchets
16 Lutte contre les nuisances et les pollutions	Carte 1 : nuisances sonores, lignes très haute tension, antennes relais.
	Carte 2 : risques, sites Seveso, donnée basias, zone de Golfech, pollutions agricoles
	Pourcentage de jours où la qualité de l'air est bonne à très bonne	ORAMIP
	Part de la population exposée aux risques (industriels et technologiques)	DADD / SBA /VRC, DEP/Pôle espaces naturels/VTC
	Exemplarité de la collectivité : part des marchés de la collectivité, intégrant des critères environnementaux en nombre de marchés et montant financier	DAF / Commande publique
17 Sensibilisation aux questions d'environnement	Carte : localisant le nombre d'animations par commune faites par le Sicoval et autres associations
	% de personnes sensibilisées (par catégorie) aux questions d'environnement par rapport à la population totale du Sicoval par thématique y compris action de Soleval	DEP / Relations avec les usagers
	Nombre d'articles environnement diffusés.	DEP / Relations avec les usagers
	Nombre de supports d'info diffusés	DCOM
	Nombre et répartition sur le territoire de bénéficiaires de projets pédagogiques globaux et multi-acteurs d'éducation au Développement Durable soutenus par la collectivité	DEP / Relations avec les usagers
	Degré et qualité de sensibilisation et d'information des habitants aux enjeux environnementaux et de développement durable	Enquête population
	Exemplarité de la collectivité : nombre de salariés du Sicoval sensibilisés	DEP / Relations avec les usagers

- Axe 2 : Construire un territoire solidaire où tous les habitants, actuels et futurs, puissent accéder à une vie sociale, professionnelle et culturelle

Politique	Indicateurs stratégiques proposes	Service responsable
21 Habitat et logement : mettre en oeuvre le PLH	Carte : % de logements sociaux par commune (loi SRU) + part de logements sociaux et privés accordés lors des 3 dernières années
	Evolution du Nbre de personnes / ménage	DADD / Politique du logement
	Evolution des formes urbaines (graphe observatoire de l'habitat avec répartition géographique	BDT
	Part de la population vivant dans "un espaces aménagé durablement" (respect de la charte qualité habitat, de label NF environnement...)	CERQUAL
	Evolution de la part des logements sociaux livrés.	BDT
	Part du budget des ménages consacré au logement selon les tranches de revenu	DADD / Cohésion et mixité de l'habitat
	Evolution du loyer/m2	CLAMEUR
	Evolution des revenus des demandeurs de logements sociaux	DADD / Cohésion et mixité de l'habitat
	Nbre d'emplacements pour les gens du voyage comparé à la réglementation	DADD / Cohésion et mixité de l'habitat
22 Politique de la ville et développement social territorial	Carte : Revenu des ménages médian par commune
	Indicateur de Développement Humain Local	INSEE
	Indicateur de mesures des inégalités (Gini)	INSEE
	Part de la population vivant en-dessous du seuil de pauvreté	INSEE
	Appréciation par les habitants du vivre ensemble et des accessibilités physiques et sociales aux services publics	Enquête population
	Part des habitants à moins de 1 km de services publics essentiels	INSEE
	Evolution de la population en fonction de l'âge	INSEE
	Indicateur de vulnérabilité des ménages à l'évolution du coût de l'énergie	EDF Bleu-ciel
	Nombre d'associations à buts non lucratifs	DSAT / Politiques sportive et culturelle
	Exemplarité de la collectivité : Part des marchés de la collectivité, intégrant des critères sociaux en nombre de marchés et en montant financier	DAF / Commande publique
23 Politique de la ville et prévention : mettre en oeuvre la charte de sécurité et de prévention de la délinquance (CISPD)	Carte : Actes de délinquance (taux de criminalité) par commune + zones accidentogènes (distinction vélo, piéton, voiture)
	Appréciation par les habitants sur leur sentiment de sécurité de façon générale et sur la sécurité routière	Enquête population
	Structure de la délinquance : tx de criminalité + évolution infractions significatives	DSAT / Pôle cohésion et mixité sociale
	Sécurité routière : Evolution nbre d'accidents, nbre de tués et nombre de blessés + distinction vélo, piéton, voiture	DDEA 31
	Nombre de jeunes suivis par les différents dispositifs d'accompagnement (CLAS, RE) + évolution de l'offre/commune	DSAT / Politiques partenariales et prévention
	Indicateur de justice
	Nombre d'actions de prévention effectué sur le territoire avec la part des actions dans lesquels le Sicoval est impliqué	DSAT / Pôle cohésion et mixité sociale

Politique	Indicateurs stratégiques proposes	Service responsable
24 Transports et déplacements	Carte : Réseau routier + transports en commun et évolution des aménagements cyclables entre 2006 et 2009
	Part modale des déplacements des habitants	Enquête ménage déplacements 2004 / AUAT
	Taux de fréquentation des transports en commun et du TAD sur le Sicoval (moyen, heures de pointe et heures creuses)	DADD / Transports
	km d'aménagements cyclables réalisés (cumulés et annuels) - détail sur les types : piste, bande,...	DADD / Transports
	Part des habitants à moins de 10 minutes d'un transport en commun performant	DADD / Pôle Aménagement
	Nombre de Plan de Déplacements Entreprises sur le territoire	Maison de la mobilité - Tisséo
	Satisfaction des habitants au partage de la voirie (différentes mobilités, cohabitation des flux) et à l'accès à des transports en commun	Enquête population
	Exemplarité de la collectivité : Taux de véhicules étiquetés A, B ou C dans le parc du Sicoval	SOLEVAL
	Nombre d'agents utilisant les transports en commun ou le vélo pour les trajets professionnels	DAF / Ressources humaines et financières
	Plan de déplacement du Sicoval	Maison de la mobilité - Tisséo
25 Appui aux activités culturelles et sportives	Carte 1 : Equipements sportifs sur le territoire
	Carte 2 : Répartition des structures d'éducation artistique, de sensibilisation et de pratiques amateurs
	Carte 3 : Répartition des équipements et manifestations culturelles
	Part, diversité des habitants ayant bénéficié d'une action culturelle ou sportive soutenue par la collectivité (Nombre de manifestations soutenues par le Sicoval + public visé, politique tarifaire)	DSAT / Politiques sportive et culturelle
	Distance moyenne parcouru par un habitant pour pratiquer un sport/activité culturelle - Part de la population à moins de x km piscine, bibliothèque, école de musique - zone de rayonnement	BDT
	Sport : Répartition en % du nombre de pratiquants et clubs par activités sportives	DSAT / Politiques sportive et culturelle
	Taux de vieillissement des équipements sportifs	DDJS
	% de personne qui ne peuvent pas faire de sport (absence de la discipline qui les intéresse, raisons financières, difficultés d'accès aux équipements ou manque de temps)	Enquête population
	% de personnes qui pratiquent un sport régulièrement et dans quelles conditions : libre, en association, en privé	Enquête population
	Culture : Appréciation par les habitants de l'offre culturelle sur le territoire du Sicoval	DSAT / Politiques sportive et culturelle
	Lecture publique : Evolution du nombre de documents empruntés	Médiathèque Départementale 31
	Cinéma : Evolution du nombre d'entrées	DSAT / Politiques sportive et culturelle
	Exemplarité de la collectivité : politique culturelle en faveur des employés (prix préférentiels, manifestations,...)	Association du personnel

Politique	Indicateurs stratégiques proposes	Service responsable
26 Tourisme et loisirs	Carte : Relief + édifices classés ou inscrits à l'inventaire des Monuments Historiques + chemins de randonnée
	Accès aux espaces verts, à un patrimoine diversifié et aux sports de nature (chemins de randonnée) - connaissance et utilisation	Enquête population
	Nombre de km de sentiers de randonnées exploités	DEP / Réseau de randonnée
	Evolution du nombre d'usagers des sentiers et lieux gérés par la collectivité (Evolution du nombre d'adhérents aux associations de randonnées locales)	DEP / Réseau de randonnée
	Taux de remplissage des offres d'hébergement touristiques	CDT 31
	Nombre de nuitées touristiques/an avec comparaison aire urbaine	CDT 32
	Le nombre de connexions au site internet et le nombre de plaquettes diffusées	DPROM
27 Coopération décentralisée	Carte : Positionnement géographique du Labé et Gandon + zoom sur les structures urbaines
	Budget de la collectivité affecté à la solidarité internationale et au développement	DSAT / Coopération décentralisée
	Nombre d'acteurs ou d'habitants participants aux projets ou au temps d'échanges	DSAT / Coopération décentralisée
	Nombre d'heures de formation visant l'autonomie : comité de gestion, élus, techniciens	DSAT / Coopération décentralisée
	Evolution du nombre de maladies diarrhéiques	DSAT / Coopération décentralisée
	Nombre de foyers raccordés à l'eau potable	DSAT / Coopération décentralisée
	Gandon : nombre de femmes et éleveurs impliqués dans des actions agricoles	DSAT / Coopération décentralisée

- Axe 3 : Promouvoir un développement économique respectueux des équilibres territoriaux, sociaux et environnementaux intégrant les dimensions agricole, commerciale et artisanale

Politique	Indicateurs stratégiques proposes	Service responsable
31 Emploi et insertion économique	Carte : Pourcentage de demandeurs d'emploi par communes
	Evolution du nombre de demandeurs d'emplois	INSEE
	Niveau de formation des demandeurs d'emploi	BAIE / PLIE
	Evolution du nombre de personnes relevant du RSA avec précisions sur : Allocation parents isolés, RMI, Complément travail précaire	Conseil Général
	Politiques : Nombre de personnes accompagnées en parcours professionnel	BAIE / PLIE
	Nombre de retours à l'emploi soutenus par la collectivité	BAIE / PLIE
	Nombre de personnes entrées en formation qualifiantes	BAIE / PLIE
	Nombre d'entreprises aidées par les services de la collectivité pour trouver un employé	DEE / Service entreprises et emploi
32 Développement économique global et diversifié	Carte : Autonomie des territoires au regard des mouvements d'actifs.
	Ratio habitant/emploi	INSEE CLAP
	Distance habitation/emploi	DEE / Développement rural et agriculture
	Evolution de l'emploi avec précisions sur les parts de l'agriculture, du commerce de l'artisanat et de l'économie sociale et solidaire.	UNISTATIS
	Part des denrées issues de l'agriculture biologique dans les marchés de restauration	DEE / Artisanat, commerce et économie solidaire
	Composition du revenu basique du Sicoval (revenus productifs, salaires publics, revenus résidentiels, revenus des retraites, dépenses touristiques)	AUAT
	Evolution des entreprises et des emplois dans l'artisanat, l'Economie sociale et solidaire, le commerce de proximité, les Amap et l'agriculture bio.	DEE / Animation économique
	Evolution de l'emploi dans les filières de l'Aéronautique, de l'Agro industrie, de l'Espace, des TIC, des Biotech et des Eco Industries	DPROM
33 Aménagement des parcs d'activités du territoire	Carte : Cartes des zones d'activités + surfaces disponibles pour accueillir de l'activité
	Nombre d'emploi/hectare de zone d'activité	DEP / RQ-V des ZA
	Taxe professionnelle /hectare de zone d'activité	DAF
	Evolution du nombre d'entreprises raccordées au réseau haut débit	DEP / RQ-V des ZA
	SHON/ m² de parcelle commercialisée	DEP / RQ-V des ZA
	Taux de remplissage des ZA	DEE / Commercialisation économique
	Exemplarité de la collectivité : Part des parcs d'activités du territoire engagés dans des démarches responsables (management environnemental, ISO 14001...)	DADD / Veille écologique

Politique	Indicateurs stratégiques proposes	Service responsable
34 Aide à la création et accueil des entreprises sur le territoire	Carte : Nombre d'emplois par commune + - Nombre d'entreprises crées lors des 3 dernières années et toujours existantes par commune
	Taux de pérennité des entreprises, des pépinières et des hôtels d'entreprises	DEE / Pépinières d'entreprises
	Evolution cumulée du nombre d'entreprises sorties des pépinières (Prologue et Prologue Biotech)	DEE / Pépinières d'entreprises
	Evolution cumulée du nombre d'emplois créés par les entreprises sorties des pépinières (Prologue et Prologue Biotech)	DEE / Pépinières d'entreprises
	Part des entreprises du territoire engagées dans des démarches responsables (répartition par secteur)	ARPE
	Evolution cumulée du nombre d'entreprises accueillies par le Sicoval (suivi d'une implantation sur le territoire)	DEE / Pépinières d'entreprises
	Nombre d'entreprises et d'emplois hébergés dans les hôtels d'entreprises du territoire (Biostep...)	DEE / Pépinières d'entreprises
	Exemplarité de la collectivité : Part des aides accordées par la collectivité aux acteurs économiques, soumises à des critères sociaux et environnementaux	DEE / Animation économique
35 Communication économique	Nombre de participations du SICOVAL aux événements de promotion et prospection économique/an (salons, colloques,....)	DEE / Animation économique
	Nombre de supports d'information économique diffusés/an	DPROM
	Nombre d'entreprises renseignées	DPROM
	Nombre de clubs d'entreprises suivis	DPROM
	Activité de Diagora et Agora sur des congrès ayant pour cible les entreprises (tourisme d'affaire)	DIAGORA

- Axe 4 : Développer une pratique de la démocratie de proximité associant élus, habitants et acteurs locaux à l'élaboration, la mise en oeuvre et l'évaluation du projet territorial

Politique	Indicateurs stratégiques proposes	Service responsable
41 Information et communication	Taux de lecture du Sicoval-info	DCOM
	Nombre de supports de communication diffusés/an (périodicité) + thématiques abordées dans le Sicoval-info	DCOM
	Nombres d'articles journaux (presse municipale et locale) sur le Sicoval par thématiques	hima.arp
	Degré de connaissance et de compréhension des projets du Sicoval par les habitants	DPROM
	Nombre de connexions au site Internet	DPROM
	Perception et image du Sicoval par les habitants	Enquête population
	Nombre de manifestations + personnes accueillies	DPROM
42 Relation à l'usager	Carte : Provenance géographique des réclamations (distinction eau, déchets, assainissement)
	Qualité de la relation à l'usager - satisfaction des services rendus	DCOM
	Evolution du nombre de plaintes par thématiques (courrier)	DAF / Informatique et téléphonie
	Nombre de visites, d'appels / courriers reçus et coût des courriers envoyés	DEP / Relation à l'usager
	Nombre de connexions au portail internet concernant les services du Sicoval.	DPROM
	Evolution des moyens de payement (% de paiements mensualisés, % de paiements en ligne, % TIP..).	DAF / Service comptabilité
	Efficacités de la prise d'appels téléphoniques (temps d'attente, orientation vers le bon interlocuteur)	Phone Régie Audit téléphonique
	Délais de réponse aux courriers et mails d'usagers	DEP / Relation à l'usager
43 Coopération avec les communes et les partenaires	Carte : Positionnement des projets aidés par des partenaires lors des 3 dernières années
	Nombre d'élus participants au Conseil de Communauté, Bureau, Commissions et comités de pilotage au sein du Sicoval - précision : nbr de réunions avec les élus	DAF / Service assemblée et logistique
	Nombre de techniciens communaux participants à des groupes de travail du Sicoval	DCOM
	Nombre et diversité des acteurs, internes et externes, impliqués dans le dispositif de pilotage de l'Agenda 21	DADD / CEPP
	Nombre d'initiatives collectives et de partenariats contractualisés mobilisant acteurs et habitants dans le cadre de notre Agenda 21 (+ conventions, chartes, labels,...)	DADD / CEPP
	Nombre de connexions à l'extranet des élus et nombre de documents disponibles	DPROM
	Degré de connaissance des notions du Sicoval par les élus et techniciens communaux	DAF / Service assemblée et logistique
	Nombre d'élus et techniciens communaux participant aux temps d'échanges	DCOM

Politique	Indicateurs strategiques proposes	Service responsable
44 Participation citoyenne	Carte : Répartition des actions de consultation et de concertation sur le territoire
	Nombre de démarches participatives de Développement	DCOM
	_ Part des acteurs et des élus dans les instances de participations	DCOM
	_ Nombre, âge, origine géographique et diversité des habitants et acteurs contribuant au projet territorial de Développement Durable	DCOM
	_Taux d'absentéisme dans le cadre de l'élaboration de projets communs	DCOM
	Nombre de participants aux débats publics (eau, déchets, science,...)	DCOM
	Taux de participation par action de consultation	DCOM
	Satisfaction au regard du processus participatif	DCOM
	Indicateur permettant de mesurer la disponibilité de l'information offerte pour les citoyens sur le projet de territoire.	DCOM
	Evolution du taux d'abstention aux élections communales	DCOM
	Exemplarité de la collectivité : % de chantiers ayant fait l'objet d'une concertation préalable	DCOM
45 Gouvernance interne	Taux d'absentéisme des agents	DAF / RH
	Part des personnes handicapées dans l'effectif de la collectivité	DAF / RH
	Part des femmes dans les postes de direction et parmi les élus	DAF / RH
	Nombre d'accidents du travail	DAF / RH
	Nombre et thématiques des formations suivies	DAF / RH
	Part des dispositifs et des politiques publiques dont la délibération explicite son articulation avec l'Agenda 21	DAF / Service assemblée et logistique
	Appréciation de la transversalité des pratiques par les agents et les élus	DAF / Service assemblée et logistique
	Part des étapes du projet territorial de DD faisant l'objet d'une délibération	DADD / CEPP
	Exemplarité de la collectivité : Nombre de copies/usager et % de recto/verso	DAF / Service informatique et téléphonie
	Appréciation du changement et de l'appropriation du DD dans les pratiques des agents et élus	DAF / Service assemblée et logistique
46 Veille statistique, évaluation et gestion prospective	Pourcentage des objectifs stratégiques affectés d'un indicateur de résultat (ou tendance) quantifié, assorti d'une échéance et suivi régulièrement	DADD / CEPP
	Nombre et montant des projets en AP/CP	DAF / Suivi assemblée et ^logistique
	Taux de réalisation du (des) programme (s) d'action	DADD / CEPP
	Taux d'atteinte des objectifs stratégiques fixés	DADD / CEPP
	Nombre, âge et diversité des habitants et acteurs associés à l'évaluation du projet territorial de DD	DADD / CEPP

2. Le background d'un indicateur

Le tableau de bord du système d'évaluation regroupe plus de 140 indicateurs répartis à travers les 25 politiques du Sicoval. L'objectif à terme est de renseigner annuellement tous les indicateurs avec un logiciel informatique (qui est en cours de constitution). Pour arriver à cette actualisation, de nombreuses informations sur un indicateur doivent être intégrées : Comment aller chercher l'indicateur ? Qui contacter ? Comment calculer l'indicateur ?

L'ARPE propose par exemple une grille de lecture type pour renseigner de façon générale un indicateur (la définition, les principes de calcul et de collecte des données). Le MEEDDAT a repris cet outil en y rajoutant une deuxième grille pour récolter les commentaires et les difficultés opérationnelles à récolter l'indicateur pendant la phase expérimentale du référentiel (accessibilité, la pertinence, lisibilité,...)³³.

Dans la démarche du Sicoval, un tableau a été effectué pour chaque indicateur pour obtenir les informations suivantes³⁴ :

Tous les indicateurs ne peuvent pas avoir la même année de référence. Les procédés de recensement des services internes et organismes extérieurs diffèrent sur plusieurs années. Par exemple, les modes de déplacements des ménages ne sont connus que tous les 4 ans au travers une enquête lourde mise en place par l'INSEE et l'Agence Urbaine de l'Agglomération Toulousaine (AUAT) alors que les données sur les demandeurs d'emploi sont établies mensuellement par l'INSEE. Au niveau des services internes la temporalité est plus homogène car les rapports d'activités imposés en fin d'année obligent les services à actualiser leurs données. Mais les années de référence d'un indicateur sont fréquemment à n-2. Il est en effet très difficile d'avoir une information récente sur un objet étudié.

La couverture territoriale d'une donnée peut également différer selon les indicateurs. Ainsi pour mesurer les gaz à effet de serre, l'Observatoire Régional de l'Energie Midi-Pyrénées (OREMIP) ne donne des informations qu'au niveau régional (voir départemental dans les années à venir). A contrario les données du recensement de la population de l'INSEE sont elles exploitables pour certaines communes jusqu'au quartier (IRIS - Les îlots regroupés pour l'information statistique)

La multiplicité des indicateurs engendre une multiplicité de sources. Il est donc très important de mesurer la traçabilité d'une donnée. Evaluer la source permet d'avoir des informations sur le mode de collecte mais aussi de savoir dans quel but la donnée a été recherchée. En interne, le recensement des chiffres auprès des services s'appuie parfois sur une évaluation « personnelle » ou une collecte expérimentale ce qui peut faire varier la crédibilité de certaines données.

Pour établir une partie des indicateurs, l'information a dû être recherchée auprès d'organismes extérieurs. Plusieurs réunions ont été organisées avec des partenaires importants comme l'AUAT ou encore la Direction Régionale de l'Environnement, de l'Aménagement et du Logement Midi-Pyrénées (DREAL) pour échanger de l'information. D'autres informations ont été récoltées à partir de base de données en ligne exploitable pour la plupart gratuitement.³⁵

Mais le lancement du système d'évaluation intervient également au moment où l'INSEE modifie la méthodologie de collecte du recensement général de la population et publie ses premiers résultats.

En effet, afin de mesurer les nouveaux enjeux sociodémographiques de la population (accroissement de la mobilité, recomposition familiale,...), l'INSEE a mis en place une nouvelle méthode de recensement plus adaptée à l'évolution de la société. Concrètement deux dénombrements ont lieu sur cinq ans : l'un sur les communes de moins de 10 000 habitants où une commune sur cinq est enquêtée exhaustivement chaque année (soit 100 % des habitants au bout de cinq ans) et l'autre sur les communes de plus de 10 000 habitants où un échantillon est choisi chaque année pour recenser 8 % de la population « urbaine » (soit 40 % au total). L'objectif de ce nouveau procédé d'enquête est d'apporter par l'estimation des chiffres annuels pour chaque zone géographique par recoupement spatial et par comparaison avec d'autres bases de données (taxe d'habitation, Assedic,...).

Les premières données en référence à l'année 2006 sont disponibles depuis le 1 juillet 2009 mais certains objets étudiés ont été modifiés entre les deux modes de collecte. Par exemple, la population communale intègre d'dorénavant les étudiants et militaires (qui ne sont plus comptabilisés sur les communes d'origines). L'INSEE conseille donc d'être prudent dans la comparaison de chiffres avec les années antérieures.

Ce changement de collecte a néanmoins l'avantage d'apporter dorénavant des chiffres de façon annuelle (n-2). Cela est une opportunité pour l'outil d'évaluation qui est alimenté périodiquement par des chiffres récents.

Pour la mise en oeuvre de l'outil d'évaluation, un comité de pilotage a été créé regroupant le service cohésion et évaluation des politiques publiques (CEPP), le centre de ressources et le service informatique³⁶.

Au préalable les indicateurs par politique ont été choisis avec les services responsables. Sur la base d'une proposition du service CEPP les indicateurs ont été réajustés techniquement avec les chefs de service. Ensuite ce sont les commissions thématiques pilotes qui ont validé les indicateurs finalisés. La commission Agenda 21 a suivi l'ensemble des indicateurs afin de veiller à la cohérence et la transversalité de l'outil.

En parallèle, une enquête auprès d'un panel représentatif de la population a été faite par un bureau d'étude afin d'évaluer la qualité de vie des habitants.

Un soutien politique fort est indispensable pour la réussite du projet d'évaluation. C'est pourquoi durant tout le processus de mise en oeuvre, les élus ont été invités à plusieurs reprises à donner leurs avis sur l'outil, les indicateurs et la méthodologie de travail.

Ainsi chaque commission thématique s'est positionnée dans un premier temps sur les indicateurs relevant de ses compétences. Le travail sur les indicateurs en commission a permis en général d'imposer aux élus un temps de réflexion sur les politiques menées. Une sorte de respiration dans l'enchainement des ordres du jour. Par ailleurs, le choix des indicateurs d'évaluation a fait émerger au niveau de certaines commissions de nouveaux projets et objectifs. La commission environnement a par exemple proposé d'ajouter un nouvel indicateur pour réduire la pollution visuelle causé par les panneaux publicitaires afin de préserver les paysages. De fil en aiguille, certains élus ont proposé à terme de transférer la compétence des panneaux de publicité à la communauté d'agglomération pour une gestion harmonisée. Cette anecdote montre que le travail d'évaluation permet aux élus d'avoir un recul critique sur les politiques menées et prévoir de nouveaux objectifs et actions.

Dans un deuxième temps, les commissions vont être informées des résultats des indicateurs. Ce temps de travail permettra de revenir sur des indicateurs pas assez pertinents ou difficilement réalisables techniquement. Le danger lors de la publication provisoire des premiers résultats, est que les élus amendent des indicateurs dérangeant. Les résultats de l'évaluation peuvent montrer l'échec d'une politique ou amener de nouvelles responsabilités au regard du développement durable

L'évaluation peut alors devenir un outil trop consensuel, une sorte de « gloss-politique » où les indicateurs retenus ne créent pas de remous.

Au niveau politique, c'est également la variable temps qu'il faut prendre en compte. Pour des raisons pratiques, le renseignement technique des indicateurs auprès des services s'est fait en même temps que les validations politiques en commission. Très rapidement des difficultés de calendrier sont apparues pour respecter la chronologie : validation politique ? renseignements techniques. L'inversion de la procédure a été en pratique fréquente.

Un autre danger peut provenir de l'impatience des élus. En effet, le travail d'évaluation demande du temps que les élus ne disposent pas toujours dans un environnement où les délais de réactivité et d'intervention sont de plus en plus courts. Si l'évaluation dure trop longtemps, les élus peuvent être déçus et ne plus accorder de crédit à ce travail. A contrario les évaluateurs peuvent perdre en motivation en ayant l'impression que leur travail est peu utile puisqu'il n'est pas pris en compte en amont de la prochaine décision politique. Mais comme le dit Jean-Louis OUTIN « il ne peut y avoir concordance totale entre le temps court de la décision et le temps long de l'évaluation. »³⁷. L'enjeu est donc d'accélérer certaines phases de la procédure d'évaluation. A terme le système d'évaluation devrait être automatisé grâce à un logiciel intranet accessible à tous les services. La récolte de l'information devrait donc être assez rapide pour laisser assez de temps à l'interprétation des résultats.

Pour que l'évaluation soit partagée et acceptée, l'outil a été co-construit avec tous les services du Sicoval. Les chefs de service ont été consultés pour proposer et donner un avis sur le système d'évaluation en général et sur les indicateurs choisis. Ensuite c'est une grande partie des agents qui a été contactée pour alimenter les indicateurs à partir de données brutes. Toutes ces rencontres ont permis en général de communiquer sur l'évaluation et ré-expliquer la démarche Agenda 21 du Sicoval.

Les entretiens avec les services ont fait ressortir différentes positions. Alors que certains se sont montrés intéressés et se sont investis dans le travail, d'autres ont été plus méfiants et du coup moins coopératifs. En règle générale les services cherchent néanmoins à défendre leur propre autonomie. ALLISON et HALPERIN résument cette situation par le propos : « where you stand depends of where you sit »³⁸. Les acteurs défendent d'abord les missions et les compétences de leurs services.

La majorité des services a été intéressée par le travail d'évaluation. Certains ont déjà été habitués par le passé à mener des travaux d'évaluation. Le service responsable du Plan Local pour l'Insertion et l'Emploi (PLIE) mène, par exemple, une évaluation continue de ses actions. En effet pour bénéficier de fonds européens, le service est obligé de rendre compte périodiquement de la bonne utilisation des aides. Le service dispose donc déjà d'outils pour mesurer et récolter l'information et la culture évaluative lui est familier.

En règle générale, les services coopérant ont saisi l'importance de l'évaluation et essayent de se l'approprier. Ainsi il n'est pas rare que les acteurs proposent des indicateurs à leur avantage comme le témoigne un agent du Sicoval : « Nous avons pour volonté d'attirer l'attention des élus sur certains points, le choix et la construction des indicateurs peuvent nous servir à cela ».

Certains services adhérent au système d'évaluation tout en mesurant leur implication. La volonté affichée de travailler ensemble n'est pas toujours suivie de faits. Lors du renseignement des indicateurs certains agents se contentent par exemple d'apporter, après plusieurs relances, le strict minimum d'informations. Des données intéressantes existent parfois au fond de vieux tiroirs mais ne sont, du coup, pas exploitées.

Des agents recherchent aussi une indépendance par rapport à l'outil général en menant leur propre diagnostic et évaluation. La transversalité des actions de l'Agenda 21 est alors peu assimilée et ces services fonctionnent encore de façon sectorielle et cloisonnée. « On fait notre propre petite cuisine ». Ces services ont généralement eu des difficultés, au départ, à identifier leurs politiques à travers les objectifs et opérations de l'Agenda 21.

De façon marginale, quelques services ont repoussé l'évaluation. L'évaluation est alors
considérée comme synonyme de « contrôle » et de « jugement » avec des procédures longues,
lourdes et complexes. L'évaluation est remise en cause dans ses fondements et elle est

³⁸ ALLISON, HALPERIN, « Bureaucratic Politics. A Paradigm and Some Policy Implications », dans Raymond Tanter, Richard Ulman, eds, Theory and Policy in International Relations, Princeton, Princeton University Press, 1972, p.40-79

considérée comme une charge de travail supplémentaire : « de toute façon il est très difficile d'avoir des indicateurs pertinents (donc techniques) et compréhensibles par un large public ». La principale stratégie utilisée par ces acteurs est celle du renvoi : « je n'ai pas cette information pour alimenter cet indicateur, vous la trouverez peut-être dans tel autre service ? ».

Un travail d'évaluation collaboratif peut s'avérer difficile puisqu'il faut faire avec des hommes et des femmes qui ont leur sensibilité, leur partialité et impartialité, leurs objectifs propres et leurs logiques individuelles.

Le travail avec les services a néanmoins permis de créer certains reflexes de transversalité et une vision globale du projet de territoire. Lors des premières remontées d'informations, certains services ont été intéressés par les résultats.

Les élus de la Commission Agenda 21 ont émis le souhait que l'évaluation soit traitée dans le cadre de la participation citoyenne. De manière générale les démarches de démocratie participative manquent dans les différentes actions du Sicoval. Le Diagnostic de Développement Durable de 2002 soulignait ainsi « l'absence d'un Conseil de Développement qui doit constituer une source d'information et de proposition précieuse pour le système car indépendante de nombreuses considérations politiques ou territoriales ».³⁹

En effet, les deux premiers programmes de l'Agenda 21 n'ont été que peu construits avec la population. L'implication des citoyens est pourtant indispensable au moment où les crises sociales, économiques et écologiques confrontent spécialistes et politiciens à leurs limites de perception et la résolution des problèmes. « L'incertitude et l'incomplétude de la connaissance qui entourent certains choix offerts aux élus, les empêchent de décider seuls, malgré leur légitimité qui reste entière. L'écoute de la « voix du peuple » devient une nécessité, qui se voit également de plus en plus fortement exprimée par la société civile.»⁴⁰

Pour répondre à ce défi, une chargée de mission concertation et débat public a été embauchée en 2008 pour préparer le nouvel Agenda 21 qui débutera en 2010. Ce manque de participation citoyenne dès le départ handicape aujourd'hui la concertation avec la population au sujet de l'évaluation.

Pour intégrer la population dans la démarche d'évaluation, le Sicoval a pour l'instant choisi de mener une enquête téléphonique pour évaluer l'appréciation des habitants sur leur qualité de vie et la possibilité pour eux d'adopter un mode de vie durable. Ce dispositif de consultation permet d'alimenter certains indicateurs du tableau de bord. L'objectif à terme est de renouveler ce type d'enquête afin de suivre, tel un baromètre de satisfaction, l'évolution des opinions des habitants sur les politiques menées. L'enquête est un premier pas pour inviter la population au travail d'évaluation mais il va de soi que ce n'est pas suffisant.

La ville de Toulouse a par exemple constitué un comité de suivi citoyen qui a participé au travail d'évaluation tout au long de la procédure. Composé de 25 personnes volontaires, le comité de citoyen a eu pour rôle d'amender le tableau de bord et de proposer de nouveaux indicateurs.

³⁹ ARPE, IDE Environnement, Diagnostic Développement Durable du Sicoval, note de synthèse, version 2, 2002

⁴⁰ ARPE, Outils de concertation pour des villes moyennes en Midi-Pyrénées, Rapport de mission, 2001

L'enjeu pour le Sicoval est d'évoluer vers la participation et la co-construction du projet de territoire et de son évaluation avec la population. Ceci permettrait de créer un référentiel commun sur l'état du territoire et des actions à entreprendre.

Durant ces 6 mois de stage, la mise en place de l'outil d'évaluation a permis de créer au final un débat sur le rôle de l'évaluation, le choix des indicateurs ou encore le fonctionnement futur de l'outil. Grâce à ce débat, l'évaluation a été, pendant un certain moment, mise sur le devant de la scène politique et technique. Cela a permis de démystifier l'évaluation et de l'expliquer afin de la rendre acceptable et opérationnelle.

La fameuse lampe de poche, destinée à éclairer les choix des élus, est dorénavant prête à l'emploi. Ce maintenant que le périple de l'évaluation commence vraiment. Après un temps nécessaire d'appropriation de l'outil par le politique et le technique, il y a nécessité à terme d'avoir un accord sur le fonctionnement de l'outil comme sur les résultats qu'il va mettre en lumière. Malheureusement la période de la mission de stage ne m'a pas permis de finaliser le rapport d'évaluation. En conséquence les réactions des élus et techniciens suite à la publication des résultats ne me sont pas connues.

L'enjeu est d'éviter, à tout prix, la création d'une usine à gaz. L'outil d'évaluation regroupant déjà un nombre conséquent d'indicateurs (140) doit pouvoir rester à taille humaine afin que chacun garde un aperçu général. Le danger est d'être noyé sous une multitude d'informations contradictoires avec un outil dont on perd le contrôle. Cette situation serait dommageable pour les services englués dans des procédures supplémentaires, pour les élus qui n'auraient pas d'aperçu clair et partagé du territoire et l'évaluateur qui perdrait toute sa légitimité. Il faut également faire attention à la surenchère du chiffre quantitatif. Patrick VIVRET dénonce ainsi « la quantophérie - maladie du chiffre - la quantification n'est qu'un outil au service de la qualification et non l'inverse »⁴¹. Ainsi les chiffres doivent être les plus possibles pondérés avec l'histoire du territoire, les particularismes, le contexte et les points de vue d'experts.

Le système d'évaluation devra donc s'adapter en permanence aux évolutions que va connaître le Sicoval, en combinant flexibilité et opérationnalité. L'évaluation est un processus dynamique continu. Pour la mise en place du prochain Agenda 21, ce travail d'évaluation permettra sans doute permis aux élus de faire un bilan des actions menées et de positionner les prochaines actions du Sicoval. Cette fois-ci, l'évaluation devra être intégrée lors de la formulation des futures politiques et actions, afin d'éviter une mise en place « après-coup ».

C'est également le manque de participation citoyenne au projet d'évaluation qui fait défaut. Une évaluation participative aura une plus grande validité car elle prendra en compte les analyses de toutes les parties prenantes à une politique publique et elle a d'autant plus de chances d'être utilisée que les participants s'en seront approprié les résultats. Car l'évaluation sert d'abord à la construction rigoureuse de points de vue sur une politique. D'où la nécessité d'une pluralité d'approche, car les effets d'une intervention sont toujours multiples ce qui rend leur appréhension globale complexe. D'où aussi l'importance d'associer à la démarche

41 VIVERET Patrick, intervention du 26/04/07 - Mardi de 4D - « Richesse et DD : mesurer quoi pour aller où ?

évaluative des acteurs susceptibles de jouer un rôle de passeur tant vis-à-vis des décideurs, que des praticiens et plus largement des citoyens.

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

Bibliographie

Ouvrages généralistes

Conseil Scientifique de l'Evaluation, Petit guide de l'évaluation des politiques publiques, la documentation française, Paris, 1996

Conseil National de l'Evaluation, L'évaluation au service de l'avenir, rapport annuel, la documentation française, Paris, 1999

LAMARQUE Danièle, L'évaluation des politiques publiques locales, Editions L.G.D.J, Systèmes Collectivités locales, Paris, 2004

MONNIER Eric, Evaluations de l'action des pouvoirs publics, Economica, Paris, 1992

MOREAU DEFARGES Philippe, La mondialisation, Que sais-je ?, Presses Universitaires de France, 1997

SACQUET Anne-Marie., Atlas mondial du développement durable, éditions Autrement, Paris, 2003

TROSA Sylvie, L'évaluation des politiques publiques, Paris, Institut de l'entreprise, janvier 2004

Ouvrages spécialisés

Alternatives Economiques, L'état du développement durable en France, Hors série pratique n°34, juin 2008

ARPE/IDE Environnement, Diagnostic Développement Durable du Sicoval, note de synthèse, version 2, 2002

ARPE, Outils de concertation pour des villes moyennes en Midi-Pyrénées, Rapport de mission, 2001

Commissariat Général au Développement Durable, Référentiel pour l'évaluation des projets territoriaux de développement durable et agendas 21 locaux, version expérimentale, 2009

DELEAU M., NIOCHE J.P., PENZ P, POINSARD R., Evaluer les politiques publiques : Méthodes, déontologie, Organisation, Rapport du groupe de travail - Méthodes d'évaluation des politiques publiques, Commissariat Général du Plan, La Documentation française, 1986

Comité pour la réforme des collectivités territoriales, Il est temps de décider, Rapport au Président de la République, 2009

INSEE Midi-Pyrénées/Région Midi-Pyrénées, Le développement durable en Midi-Pyrénées : 46 indicateurs, Dossier de l'INSEE, n°142, septembre 2007

Mairie de Toulouse - Mission Agenda 21, Tableau de bord 2006-2008, document technique de suivi et d'évaluation, septembre 2008

MEZZIOUANE Abdellah, Conduite et évaluation d'un projet de territoire, la lettre du cadre territorial, Voiron, novembre 2003

Observatoire National des Agendas 21 locaux, Repères sur l'évaluation au regard du développement durable, Atelier de l'Observatoire 28 juin - 20 décembre 2007, 2008

Articles

BOUTAUD Adrien, Et si on changeait de thermomètre ?, Rapport « planète vivante » WWF, 2002

GOXE Antoine, HOLEC Nathalie, ROUSSEAU Sandrine, Editorial dossier 8 : Méthodologies et pratiques territoriales de l'évaluation en matière de développement durable, in revue Développement Durable et Territoires, 14 décembre 2006

GAUZENTE Georges, Chronique de l'indicateur en folie, IEN honoraire, publié sur le site « métiers d'inspecteur », http://crdp.ac-reims.fr/ien, octobre 2007

THEYS Jaques, « L'approche territoriale du "développement durable", condition d'une prise en compte de sa dimension sociale », in Revue Développement durable et territoires, 2002

Master 2 Urbanisme et Territoire, Institut d'Urbanisme de Paris - Université Paris XII, Construction d'un référentiel pré-opérationnel du développement durable. Analyse bibliographique et retours d'expériences étrangères, Atelier Développement Durable 2005 - 2006

TYBURCE Léo, La concertation entre la CA du Sicoval et les communes membres autour de l'Agenda 21 local, quels horizons pour la politique communautaire ?, Master 2 professionnel de Sociologie appliquée à la gestion locale, Université Toulouse Le Mirail, 2007

TIERRA Ingrid, Une évaluation de l'Agenda 21 : l'exemple du SICOVAL, Master 1 IUP Management de l'Entreprise en Réseau, Université Paul Sabatier - Toulouse III, 2008

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

Sites Internet

Centre de ressources du développement durable (CERDD) http://www.cerdd.org/

Site des villes et territoires durables de Midi-Pyrénées http://www.territoires-durables.fr/

Site portail du Comité 21 sur les agendas 21 locaux http://www.agenda21france.org/

Observatoire des agendas 21 locaux et des pratiques territoriales de développement durable www.dd-pratiques.org

Centre d'études sur les Réseaux, les Transports, l'Urbanisme et les constructions publiques http://www.certu.fr/

Les sites des organismes suivants ont également été consultés : ADEME, ARPE, INSEE, ORAMIP, OREMIP, AUAT, DREAL, DDEA 31, MEEDDAT, Conseil Général 31, Région Midi Pyrénées,...

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval
Table des sigles

Annexes

Annexe 7 : Tableau de renseignement d'un indicateur : l'exemple de l'évolution annuelle du tonnage de déchets d'OM par habitant 83

Annexe 9 : L'exemple d'une fiche d'évaluation : la politique de la ville et prévention 86

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

Annexe 1 : Les compétences d'une communauté d'agglomération

L'article L. 5216-5 du Code général des Collectivités territoriales énumère les compétences que la communauté d'agglomération exerce de plein droit aux lieu et place des communes membres, et les compétences qu'elle doit choisir d'exercer par cinq compétences facultatives.

1°) Création ou aménagement et entretien de voirie d'intérêt communautaire ; création ou aménagement et gestion de parcs de stationnement d'intérêt communautaire ;

4°) En matière de protection et de mise en valeur de l'environnement et du cadre de vie : lutte contra la pollution de l'air, lutte contre les nuisances sonores, élimination et valorisation des déchets des ménages et déchets assimilés ou partie de cette compétence dans les conditions fixées par l'article L. 2224-13 ;

5°) Construction, aménagement, entretien et gestion d'équipements culturels et sportifs d'intérêt communautaire.

Le choix de ces compétences est arrêté par décision des conseils municipaux des communes intéressées dans les conditions de majorité qualifiée requise pour la création.

(L. n° 2000-1208 du 13 déc. 2000, art. 64) « II. bis - La communauté d'agglomération est titulaire du droit de préemption urbain dans les périmètres fixés, après délibération concordante de la ou des communes concernées, par le conseil de communauté pour la mise en oeuvre de la politique communautaire d'équilibre social de l'habitat. »

Au terme des articles L. 5333-1 et suivants, les compétences d'une communauté d'agglomération nouvelle sont distinctes de celles d'une communauté d'agglomération.

Le Code général des Collectivités territoriales prévoit que ce type de communauté exerce les compétences des communes en matière de programmation et d'investissement dans les domaines de l'urbanisme, du logement et des transports.

Les communes membres d'une communauté d'agglomération nouvelle peuvent à tout moment lui transférer tout ou partie des compétences visées à l'article L. 5216-5, ainsi que les biens équipements ou services publics nécessaires à l'exercice de ses compétences.

Annexe 2 : La charte d'Aménagement du Sicoval

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

Annexe 3 : Les orientations stratégiques de l'Agenda 21 2007 - 2010

L'Agenda 21 du Sicoval est décliné en 4 axes qui caractérisent les 4 missions ci-dessus, 25 politiques et 92 opérations dont voici les orientations générales extraites de l'Agenda 21 du Sicoval.

Axe 1 : Concilier l'intensité des activités humaines avec la préservation et la valorisation des ressources naturelles du territoire

Le Sicoval gère et impulse la croissance démographique et économique de son territoire en intégrant les impératifs du développement durable, et plus particulièrement les problématiques environnementales au plan local et planétaire.

Pour cela, l'aménagement de l'espace communautaire doit faire une place à tous : à l'économie et aux loisirs, à l'habitat et aux espaces naturels, aux générations actuelles et aux générations futures... Il doit être aussi conçu en cohérence avec les projets de développement des autres collectivités de l'aire urbaine.

Pour cela, le Sicoval doit mobiliser tous les acteurs économiques et publics ainsi que les habitants afin que demain l'eau soit disponible pour tous, de qualité et à un prix acceptable. Pour cela, le Sicoval doit contenir, voire réduire, le volume des déchets ménagers, coordonner et accroître l'effort de tous pour le tri sélectif, inciter à la réduction à la source, recycler, valoriser.

Pour cela, le Sicoval doit participer et faire participer à la lutte contre l'effet de serre, doit informer sur les nuisances et les pollutions et coordonner les différentes initiatives.

Il n'y a de politique durable qu'avec l'accord et la participation de tous : le Sicoval mène donc l'action pour que chacun devienne éco-citoyen. Cela vise en priorité les jeunes.

Ces orientations sont traduites par les politiques suivantes : 1.1 Politique d'aménagement de l'espace communautaire ; 1.2 Politique de protection des paysages et des espaces naturels remarquables ;

1.5 Politique de gestion des déchets : mettre en oeuvre le plan d'optimisation ;

Axe 2 : Construire un territoire solidaire où tous les habitants, actuels et futurs, puissent accéder à une vie sociale, professionnelle et culturelle

Dynamisme économique, créateur d'emplois, cadre de vie préservé et de qualité : le Sicoval est un territoire attractif et très convoité. Il accueille, chaque année, plus de 2000 nouveaux habitants sur les 19 000 qui arrivent sur l'aire urbaine. Ce développement fait cependant émerger des tensions sur le logement, les transports et les déplacements. Les communes sont aussi confrontées à des besoins croissants en matière d'équipements et de services publics, nécessaires à l'accueil de ces nouvelles populations.

L'intégration des nouveaux habitants, l'égalité d'accès aux équipements et services publics, la préservation voire l'amélioration des conditions de vie de chacun sont des enjeux forts. Le Sicoval construit un territoire solidaire pour permettre à chaque habitant de réaliser son projet de vie social, professionnel et culturel. L'habitat et les transports sont au coeur des préoccupations. La solidarité, la culture, le sport et les loisirs sont essentiels pour développer les liens entre les habitants et avec le territoire.

Le Sicoval comptera près de 80 000 habitants en 2010 et peut-être 100 000 en 2020. Il doit préparer la cité d'après-demain.

2.1 Politique de l'habitat et du logement : mettre en oeuvre le Programme Local de l'Habitat ; 2.2 Politique de la ville et développement social territorial ;

2.3 Politique de la ville et prévention : mettre en oeuvre la Charte de Sécurité et de Prévention de la Délinquance ;

2.5 Politique d'appui aux activités culturelles et sportives ; 2.6 Politique du tourisme et des loisirs ;

Axe 3 : Promouvoir un développement économique respectueux des équilibres territoriaux, sociaux et environnementaux intégrant les dimensions agricole, commerciale et artisanale

La force reconnue et incontestée du Sicoval, c'est d'avoir su penser et mener un développement économique innovant alliant activités de haute technologie et grande distribution, tout en maintenant les commerces de proximité et l'agriculture. Ce modèle, repensé et amélioré sera le coeur de la Charte de développement économique qui servira de cadre pour les vingt prochaines années en intégrant les exigences environnementales ; dans le même temps, l'ensemble de ce qui a été créé, les parcs d'activités notamment, est valorisé, entretenu, modernisé.

L'autre force du Sicoval, c'est d'avoir su accueillir les créateurs d'entreprises. Cette ambition est maintenue et renforcée dans l'Agenda 21. Dirigée aussi vers les créateurs de très petites entreprises, principalement l'artisanat, vers le secteur de l'économie sociale et solidaire, elle ouvre de nouvelles perspectives au Sicoval.

La création récente de la Maison Commune Emploi Formation en est la vitrine et le garant : le Sicoval intègre la dimension sociale dans le développement. L'insertion économique, l'accompagnement des personnes en difficulté, l'adéquation offre et demande d'emploi sont parmi les premières préoccupations de l'Agenda 21.

Enfin la communication et l'animation économiques doivent venir soutenir cet effort structurant.

3.4 Politique d'aide à la création et d'accueil des entreprises sur le territoire ; 3.5 Politique de communication économique ;

Axe 4 : Développer une pratique de la démocratie de proximité associant élus, habitants et acteurs locaux à l'élaboration, la mise en oeuvre et l'évaluation du projet territorial

Un projet a plus de chance d'aboutir s'il est construit collectivement, compris et partagé ; les changements indispensables pour concilier le développement du territoire avec les enjeux du développement durable seront plus faciles à conduire s'ils deviennent une exigence collective...

En favorisant la compréhension commune des enjeux et l'appropriation collective des décisions, la démocratie participative est essentielle pour mener une action efficace. En consacrant un temps au dialogue et aux échanges d'idées, elle est source d'enrichissement des projets. En impliquant et en mobilisant élus, techniciens, habitants et acteurs locaux, elle leur permet de devenir acteurs de leur territoire. En développant, enfin, un sentiment d'appartenance à un territoire à la construction duquel chacun participe, elle est un gage de cohésion.

Savoir et comprendre sont des préalables indispensables à toute démarche participative. La transparence des processus de décision est essentielle. Le recueil de données prospectives et la mise en place d'outils d'évaluation, nécessaires au pilotage de l'organisation, doivent être développés. Une information claire et accessible à tous doit être diffusée.

4.3 Politique de coopération avec les communes et les partenaires ; 4.4 Politique de participation citoyenne ;

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

Annexe 4 : Suivi politique et technique de l'expérimentation

L'expérimentation du référentiel d'évaluation s'intègre dans la mise en oeuvre de notre système d'évaluation. Il se mettra en place en deux étapes. La première étape consiste à élaborer le système d'évaluation, la seconde consiste à le mettre en oeuvre.

L'organigramme suivant permet de visualiser les différents acteurs impliqués dans ce travail.

Le « comité stratégique » est assuré par la commission Agenda 21. Elle est présidée par Mme. Emery, Vice Présidente du Sicoval. Les membres de cette commission sont : le président du Sicoval, les présidents de chaque commission, les directeurs du Sicoval ainsi que des élus du territoire.

La « cellule opérationnelle » est pilotée par M. Arpin, Directeur Adjoint de l'Aménagement et du Développement Durable et Chef du service Cohésion et Evaluation des Politiques Publiques. Il sera aidé dans sa mission par un stagiaire pendant 6 mois ainsi que par une chargée de mission SIG au sein du service Centre de Ressource. Par ailleurs, il travaillera en transversalité avec l'ensemble des directions.

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

Annexe 5 : Questions évaluatives du référentiel national d'évaluation

	Aurons-nous envie de vérifier dans 3 ans si : Quels sont les changements stratégiques que nous aimerions voir dans 3, 5 et 10 ans... ? Et sur lesquels notre agenda 21 a un effet levier ?
FINALITE 1 : Lutte contre le changement climatique et protection de l'atmosphère	le projet territorial s'est fixé des objectifs quantifiés de lutte contre le changement climatique ?
	le projet territorial intègre un plan climat ou équivalent ?
	les politiques territoriales structurantes ont été mises en cohérence avec le plan climat ou son équivalent ?
	la collectivité est exemplaire dans ses pratiques internes au regard de cette finalité ?
FINALITE 2 : Préservation de la biodiversité, protection des milieux et des ressources	le projet territorial permet une connaissance partagée de la biodiversité du territoire ?
	une stratégie de préservation des espaces à enjeux et de constitution d'une trame écologique est définie et mise en oeuvre ?
	le projet territorial permet de préserver la diversité de la nature ordinaire ?
	le projet territorial permet de protéger, gérer et aménager le capital paysager du territoire ?
	le projet territorial intègre une stratégie de préservation des ressources et de maîtrise des pollutions industrielles et domestiques ?
	la collectivité est exemplaire dans ses pratiques internes au regard de cette finalité ?
FINALITE 3 : Epanouisseme nt de tous les êtres humains	le projet territorial permet une amélioration de la qualité de vie, vers un mode de vie durable, perceptible par les habitants ?
	le projet territorial permet la préparation de conditions de vie durable pour tous à long terme ? (mobilité durable, logement durable, mixité fonctionnelle, alimentation saine et durable, activités physiques « en plain air », santé environnementale, sécurité et tranquillité des personnes, participation et citoyenneté...)
	le projet territorial intègre une stratégie en faveur de l'accès à la connaissance au service du développement durable ?
	le projet territorial permet l'appropriation du patrimoine culturel local (langues, savoir-faire et culture locaux, patrimoine bâti, arts) ?
	la collectivité est exemplaire dans ses pratiques internes au regard de cette finalité ?
FINALITE 4 : Cohésion sociale et solidarité entre territoires et entre générations	le projet territorial favorise la cohérence des politiques sociales entre elles, et avec les autres politiques au service de la cohésion sociale ?
	le projet territorial vise à renforcer le lien social entre les habitants ?
	le projet territorial s'est fixé des objectifs en termes de diminution des inégalités ?
	le projet territorial intègre une stratégie volontariste en termes de lutte contre les grandes précarités ?
	la stratégie territoriale intègre une ambition en termes de coopération entre territoires au service du développement durable ?
	la collectivité est exemplaire dans ses pratiques internes au regard de cette finalité ?
FINALITE 5 : Dynamique de développement suivant des modes de consommation s et de production responsables	le projet territorial favorise la rencontre d'acteurs diversifiés et l'émergence de projets nouveaux en matière de consommation et production responsables ?
	le projet territorial vise la mobilisation des décideurs économiques vers une production responsable ? (filières durables, aménagements de ZA durables,...)
	le projet territorial vise le développement d'une consommation et de pratiques responsables ?
	le projet territorial prévoit l'adaptation de l'économie locale, des emplois et des formations aux évolutions à venir ?
	la collectivité est exemplaire dans ses pratiques internes au regard de cette finalité ?

	Aurons-nous envie de vérifier dans 3 ans si : Quels sont les changements stratégiques que nous aimerions voir dans 3, 5 et 10 ans... ? Et sur lesquels notre agenda 21 a un effet levier ?
PARTICIPATI ON	les objectifs et les règles de la participation ont été formalisés clairement ?
	il existe une instance permanente de concertation ?
	les modalités de mise en oeuvre de la concertation sont satisfaisantes ?
	les apports de la participation sont pris en compte à chaque étape ?
PILOTAGE DU PROJET	le projet territorial bénéficie d'un portage politique fort ?
	il existe une instance d'orientation stratégique ?
	le projet territorial bénéficie d'un pilotage opérationnel « efficace » ?
	les moyens nécessaires au pilotage sont prévus et mobilisés ?
TRANSVERS ALITE	le projet territorial permet l'articulation des actions, des compétences et des stratégies ?
	l'organisation interne favorise la transversalité ?
	la prise de décision s'appuie par un engagement de responsabilité sociale et environnementale interne ?
EVALUATION	le dispositif d'évaluation est formalisé ?
	l'évaluation est participative (associe-t-elle les habitants, l'ensemble des partenaires, les services) ?
	le dispositif d'évaluation se révèle satisfaisant et utile ?
	les résultats de l'évaluation sont communiqués de manière claire et accessible pour tous ?
STRATEGIE D'AMELIORA TION CONTINUE	le projet territorial est inscrit dans une démarche d'amélioration continue formalisée et transparentes ?
	les agents et les élus s'inscrivent dans une logique d'apprentissage collectif et continu ?
	le projet territorial suscite l'innovation en termes de développement durable ?
	le projet territorial permet la mise en mouvement des acteurs dans dynamique de développement durable ?

Source : Commissariat Géneral au Développement Durable, Référentiel pour l'évaluation des projets territoriaux de développement durable et agendas 21 locaux, version expérimentale, 2009

La mise en place d'un système d'évaluation en continu : L'Agenda 21 du Sicoval

Annexe 6 : Grille d'analyse d'un indicateur (ARPE)

Annexe 7 : Tableau de renseignement d'un indicateur : l'exemple de l'évolution annuelle
du tonnage de déchets d'OM par habitant

Annexe 8 : Bases de données disponibles gratuitement sur Internet

Base	Intitulé	Catégorie	Institution
AEF	L'Annuaire des Entreprises de France	Economie	Assemblée des chambres françaises de commerce et d'industrie (ACFCI)
AGRESTE / BEYOND 20/20	La statistique agricole	Agriculture	Ministère de l'agriculture et de la péche
ARIA	Enregistrements tirés des accidents technologiques	Risque	MEEDDAT
Artisanligne.com	L'artisanat en Midi-Pyrénées	Economie	Chambre de l'artisanat et du commerce
BANATIC	Base Nationale sur l'Intercommunalité	Administratif	DGCL
Base des installations classées	Rechercher une installation classée soumise à autorisation	Risque	MEEDDAT
BASIAS	Inventaire d'anciens sites industriels et activités de services	Industrie	MEEDDAT
BASOL	Pollution des sols	Pollution	MEEDDAT
BDSL	Base de Données Sociales Localisées	Santé	Ministère de la Santé
Cartocrime.net	Statistiques de l'Observatoire national de la délinquance	Sécurité	Observatoire national de la délinquance
CEPIDC	Centre d'épidémiologique sur les causes médicales de décès	Santé	INSERM
CLAMEUR	Connaître les Loyers et Analyser les Marchés sur les Espaces Urbains et Ruraux	Habitat	ANAH, FONCIA,...
CLAP	Connaissance Locale de l'Appareil Productif	Economie	INSEE
FINESS	Fichier National des Etablissements Sanitaires et Sociaux	Santé	Ministère de la Santé
GASPAR	Gestion Assistée des Procédures Administratives relatives aux Risques naturels et technologiques	Risque	MEEDDAT
Hydrobanque	Banque nationale de données pour l'hydrométrie et l'hydrologie	Eau	MEEDDAT
INPN	Inventaire national du patrimoine naturel	Nature	MEEDDAT
IREP	Registre Français des Emissions Polluantes	Pollution	MEEDDAT
ORSMIP	Observatoire régional de la santé Midi- Pyrénées	Santé	Association

PRIM.NET	Portail de la prévention des risques majeurs	Risque	MEEDDAT
SCORE-Santé	Site Commun d'Observation Régionale En Santé	Santé	Fédération Nationale des Observatoires Régionaux de Santé (FNORS)
SITADEL	Statistiques communales sur la construction neuve	Logement	MEEDDAT
STATISS	Statistiques et Indicateurs de la Santé et du Social	Santé	DRASS/DREES
Statistiques locales	Données statistiques sur des territoires finement localisés disponibles sous forme de chiffres clés, cartes thématiques ou données détaillées consultables en ligne ou téléchargeables	Général	INSEE
UNISTATIS	Statistique annuelle de l'emploi salarié ; Evolution du chômage indemnisé ; Statistique mensuelle de l'emploi dans l'intérim	Economie	UNEDIC

Annexe 9 : L'exemple d'une fiche d'évaluation : la politique de la ville et prévention Actes de délinquance (2007) et zones accidentogènes (2005 - 2007)

le nombre de crimes et délits constatés par Répartition des formes de délinquance

les services de police et de gendarmerie et la 2008 (en %)
population considérée

Le taux de criminalité, en baisse, est assez faible sur le Sicoval rapporté à la moyenne nationale. Les principales formes de délinquance sur les 2 250 faits constatés sont les vols et cambriolages (64 %).

Enquête 2009: Selon vous, y a-t-il des faits de délinquance ou d'incivilité dans votre commune ?

Coups et blessures volontaires criminels et correctionnels n'ayant pas entraîné la mort

De façon générale les infractions ont tendance à baisser entre 2007 et 2008 mis à part les vols à la roulotte et d'accessoires et les affaires liées aux stupéfiants.

En effet, une majorité d'habitants considère qu'il y a peu de délinquance sur le territoire.

Pour les personnes selon lesquelles il existe des faits de délinquance ou d'incivilité, ils sont 75 % à penser qu'il ne faut pas dramatiser la situation et seulement 25 % qui trouvent les faits inquiétants.

Evolution du nombre d'accidents avec blessé et type de véhicules mis en cause 2005 - 2007

Le nombre d'accidents diminue de 30 % entre 2005 et 2007 même si le nombre de tués par année reste stable. Cependant la moitié des habitants se sentent peu en sécurité dans leur déplacements en voiture et vélo.

Le nombre de Contrat Locaux d'Accompagnement à la scolarité (CLAS) chute entre 2007 et 2008. L'offre a fortement diminuer sur les communes de Castanet et d'Escalquens.

A contrario les dispositifs de Réussite éducative (RE) augmentent sur la même période. 65 % des dispositifs sont localisés sur la commune de Ramonville-Saint-Agne.

Nombre d'actions de prévention envers la population dans lesquel le Sicoval est impliqué 2008

Table des matières

Partie 1 : Adaptation de l'action publique aux enjeux de demain : des structures territoriales plus pertinentes avec des nouveaux outils de gestion 7

C. D'une logique d'aménagement au projet de développement durable : l'Agenda 21 20

Partie 2 : La conduite de l'évaluation : « de la théorie à la réalité » 28

C. La mise en oeuvre du système d'évaluation : « un parcours semé d'embûches » 42

La mise en place d'un système d'évaluation en continu: sur les politiques de l'agenda 21 du SICOVAL

Sommaire

Introduction

Partie 1 : Adaptation de l'action publique aux enjeux de demain : desstructures territoriales plus pertinentes avec des nouveaux outils degestion

A. Création du Sicoval dans la géopolitique de l'aire urbaine toulousaine

1. La particularité de Toulouse : beaucoup d'espace disponible pour de nombreux nouveaux arrivants

2. L'intercommunalité toulousaine : une situation atypique !

3. Quel avenir ?

B. Le Sicoval : rassemblement autour d'un enjeu d'aménagement du territoire

1. Une intercommunalité dynamique

a. Aux origines

b. Le partage du pouvoir

C. D'une logique d'aménagement au projet de développement durable : l'Agenda 21

1. L'émergence du développement durable

2. « Vous avez dit Agenda 21 » ?

4. Le pilotage des politiques de l'Agenda 21 : « un milkshake politicotechnocrate »

Partie 2 : La conduite de l'évaluation : « de la théorie à la réalité »

A. Concepts de l'évaluation

1. Origines de l'évaluation

2. La place de l'évaluation dans le cycle politique

3. Pourquoi évaluer les politiques de l'Agenda 21 ?

B. La définition du système d'évaluation du Sicoval

1. L'outil d'évaluation du Sicoval

2. Le référentiel national pour l'évaluation des Agendas 21

3. Le choix des indicateurs : tout est politique !

a. L'indicateur, ébauche de la réalité - instrumentalisation de l'information ?

b. Quels indicateurs choisir pour mesurer les politiques de développement durable ?

C. La mise en oeuvre du système d'évaluation : « un parcours semé d'embûches »

1. Les indicateurs retenus

2. Le background d'un indicateur

Conclusion

Bibliographie

Ouvrages généralistes

Ouvrages spécialisés

Articles

Sites Internet

Annexes

Annexe 1 : Les compétences d'une communauté d'agglomération

Annexe 2 : La charte d'Aménagement du Sicoval

Annexe 3 : Les orientations stratégiques de l'Agenda 21 2007 - 2010

Annexe 4 : Suivi politique et technique de l'expérimentation

Annexe 5 : Questions évaluatives du référentiel national d'évaluation

Annexe 6 : Grille d'analyse d'un indicateur (ARPE)

Annexe 7 : Tableau de renseignement d'un indicateur : l'exemple de l'évolution annuelledu tonnage de déchets d'OM par habitant

Annexe 8 : Bases de données disponibles gratuitement sur Internet

Annexe 9 : L'exemple d'une fiche d'évaluation : la politique de la ville et prévention Actes de délinquance (2007) et zones accidentogènes (2005 - 2007)

Table des matières

Partie 1 : Adaptation de l'action publique aux enjeux de demain : des
structures territoriales plus pertinentes avec des nouveaux outils de
gestion

Annexe 7 : Tableau de renseignement d'un indicateur : l'exemple de l'évolution annuelle
du tonnage de déchets d'OM par habitant