> Evaluation
L’évaluation de la qualité publique
Définition
L’évaluation est un jugement de valeur qui peut être porté sur une politique, une action, un service, une organisation...
La qualité étant "l’aptitude à satisfaire les besoins", l’évaluation de la qualité est un jugement de valeur porté sur la satisfaction des besoins résultant de la politique, de l’action, de l’organisation ... mise en oeuvre.
Ce jugement de valeur est rendu, à partir de données recueillies et analysées sur les résultats directs et indirects obtenus mais aussi sur le processus, au regard des résultats initialement attendus, et au regard des moyens mis en oeuvre.
L’évaluation donne aux décideurs (politiques, agents publics, citoyens) afin qu’ils décident et agissent pour mieux satisfaire les besoins / attentes visés :
- un jugement : dans quelle mesure l’action menée répond aux besoins ?
- une analyse (notamment de la chaine causes/effets) : pourquoi l’action menée répond ou ne répond pas aux besoins ?
- les données recueillis : qu’est ce qui prouve l’analyse et le jugement portés ?
- des pistes d’amélioration de l’action publique : comment pourrait on peut être s’y prendre pour répondre mieux ou autrement aux besoins ?
Quelques précisions
- Toute décision s’appuie sur un jugement de valeur donc sur une évaluation. Cette évaluation est parfois très approximative. De la qualité de l’évaluation dépend donc bien sûr la qualité de la décision.
- Faire une étude d’impact ou d’organisation n’est pas évaluer mais simplement faire une étude d’impact ou d’organisation. Seul le jugement, autant que possible étayé, caractérise l’évaluation.
- Sans évaluation (de qualité) pas d’amélioration possible. Un dispositif d’évaluation est donc partie intégrante d’un système d’amélioration continue. Ce système d’amélioration ne se limite pas à l’évaluation mais comprend une gestion de la qualité de l’ensemble du processus de production de l’action : conception, décision, mise en oeuvre, évaluation et corrections.
L’évaluation doit permettre d’améliorer :
l’engagement public sur les résultats à travers :
- une meilleure pertinence entre besoins, stratégies, objectifs, ...
- une meilleure cohérence entre les différents objectifs publics et les moyens alloués.
la qualité de réalisation à travers :
- une meilleure efficacité : résultats / objectifs
- une meilleure (efficience : résultats / moyens
- un meilleur impact (effets seconds) positif de l’action
la qualité de la perception des parties prenantes à travers :
- une meilleure coïncidence entre résultats perçus et action réalisée
Enjeux
L’évaluation de la qualité de l’action publique et bonne gouvernance sont intimement liées. Démocratie, satisfaction des besoins et bonne gestion des deniers publics en dépendent.
Dix bonnes raisons pour mieux évaluer :
- Décider sur des éléments plus objectifs
- Donner confiance et acquérir de la légitimité
- Permettre la comparaison pour progresser
- Construire un diagnostic partagé
- Identifier les besoins et services devant ou non relever de l’intérêt général
- Prendre des risques maîtrisés
- Définir, contractualiser et suivre la qualité et la performance
- Développer une dynamique d’amélioration continue
- Rendre compte, valoriser les résultats et les performances
- Réduire les gaspillages
Spécificités de l’évaluation de la qualité publique
La qualité publique comporte des spécificités qui font l’objet d’une attention particulière dans la cadre de l’évaluation :
- Prendre en compte l’échelle territoriale pertinente pour évaluer
- Evaluer du point de vue de l’usager/client/citoyen
- Evaluer le dispositif partenarial
- Evaluer la coproduction
- Evaluer les impacts directs et indirects
- Evaluer à court, moyen et long terme
- Evaluer le processus démocratique
Modalités
On distingue 3 types d’évaluation :
- l’évaluation ex-ante, entendue comme l’étude prospective de la faisabilité et de l’impact d’une politique envisagée ( évaluation d’un projet) ;
- l’évaluation ex-post, qui consiste à tirer les enseignements d’une politique déja mise en oeuvre (évaluation des résultats) ;
- l’évaluation concomitante ou " chemin faisant " (évaluation continue à travers le suivi de la mise en oeuvre et des résultats partiels).
Méthodologie
Conduire un projet d’évaluation :
- Clarifier la commande d’évaluation : quoi, pour qui, pourquoi, avec quoi
- Préparer l’évaluation : objectifs, méthode, participants, moyens, planning
- Recueillir les données auprès des acteurs concernés
- Exploiter les données, dresser l’état des lieux, identifier les problèmes
- Mettre en évidence la chaine de causalité, les résultats et les axes d’amélioration
- Organiser le débat entre les acteurs concernés
- Décider des axes d’amélioration et des moyens alloués
- Mettre en oeuvre ces décisions
- Suivre la mise en oeuvre et les résultats
- Rendre compte des résultats auprès des cateurs concernés
- Pérenniser les résultats
Le recueil de données peut se faire à travers tout une série d’instruments selon les informations recherchées : études portant sur les impacts ainsi que sur les causalités, audits, inspections, enquêtes qualitatives ou quantitatives ...
La qualité du résultat de l’évaluation dépend de la qualité du processus d’évaluation. Un plan qualité d’une évaluation peut donc être utile de façon à tenter de maîtriser les risques de dérive.
Toutes ces étapes et les outils correspondants sont détaillées et illustrées dans le guide pratique de France Qualité Publique
Facteurs de succès
- Volonté des responsables
- Participation et pluralisme
- Prise en compte des temps de l’action et de l’évaluation
- Rigueur méthodologique
- Prise en compte du contexte et de ses évolutions
- Existence d’un dispositif d’exploitation des résultats
"Qualité de l’évaluation"
Une "bonne évaluation est une évaluation "bien" faite, c’est à dire une évaluation
- permettant de répondre à la demande, quitte à la remettre en question,
- respectant, autant que nécessaire, les référentiels de bonnes pratique de la profession,
- faite par des personnes ayant la qualification requise.
Propositions de France Qualité Publique
A-Pour un dispositif national d’évaluation de la qualité et de la performance publiques
- Un débat national sur le bilan des dispositifs d’évaluation, qui détermine acteurs légitimes et axes de progrès.
- Un engagement national des acteurs à développer la qualité publique et son évaluation.
- Un programme national d’évaluation couvrant l’ensemble du champ public (structuré comme la LOLF, étendu ensuite aux collectivités locales), comportant un suivi annuel et une évaluation approfondie tous les 5 ans environ.
- Des moyens : un % du Budget pour l’évaluation ; un responsable du suivi de la qualité et de l’évaluation par budget opérationnel de programme (BOP).
- Un Office national d’évaluation, instance indépendante et pluraliste ou/et sous le contrôle du Parlement. L’Office veillerait à ce que l’évaluation couvre l’ensemble du champ, au niveau territorial pertinent, et soit de la qualité requise. Ce pourrait être la Cour des comptes avec des fonctions élargies et une indépendance totale.
- Un portail national d’accès aux résultats et aux préconisations d’amélioration.
- Un débat pluraliste périodique organisé sur les thèmes saillants.
B-Pour que l’évaluation de la qualité et de la performance publiques soit de qualité et efficace
- le developpement de référentiel-qualité de l’évaluation de la qualité de l’action publique avec une accréditation des évaluateurs et une certification des systèmes d’information.
- Un poids des acteurs usagers et personnels dans les instances d’évaluation qui reflète leur légitimité ; + moyens temps et formation des représentants.
- Une articulation aux décisions d’amélioration : suivi des décisions, pénalités
Pour plus d’information : Guide pratique "Evaluer la qualité et la performance publiques", La Documentation Française, novembre 2006
Exemples
- Vos exemples nous intéressent
- L’évaluation des politiques de l’emploi
- Evaluer la performance des SIG - Pierre Bauby - CEEP
- Centre technique de l’Est : assurance qualité
- Parc de l’Equipement de Charente : assurance qualité
- Certification du comité du tourisme du Var
- Musées de Grenoble et de Besançon : évaluation
- La maîtrise de l’énergie -Yves Martin -Commissariat au plan
Livres
- Petit guide de l’évaluation des politiques publiques
- L’évaluation de l’action des pouvoirs publics, Eric Monnier
- L’évaluation démocratique, JC.Boual - P. Brachet
- L’évaluation au service de l’avenir - Rapport annuel 1999
- Manuel théorique et pratique d’évaluation des bibliothèques et centres documentaires, T. Giappiconi
- Les usagers dans l’évaluation des politiques publiques, P. Warin
- Evaluer la performance et la qualité publiques, Guide Pratique France Qualité Publique, 2006
Vos ressources en quelques clics
