> Bonnes Pratiques
L’évaluation des politiques publique d’emploi
- Interview en 1995 de M. Abrassimov, chef du département des politiques d’emploi et de formation professionnelle et de Monsieur Gélot, son adjoint au ministère de l’emploi par les cahiers du management, une publication du ministère de l’Equipement
Les Cahiers du Management : Quelle est la mission de la DARES, Direction de l’animation de la recherche, des études et statistiques ?
C. Abrossimov : La DARES, anciennement Service Etudes et Statistiques, est le pôle coordonateur de l’ensemble des travaux et études menés au sein du ministère, notamment en matière d’évaluation des politiques d’emploi et du travail. La transformation du service en direction, il y a de cela trois ans, témoigne entre autre de la volonté de l’administration de mettre l’accent sur le domaine des études et évaluations. Cette volonté s’est concrétisée par la création de deux missions rattachées à la DARES : la mission Animation de la recherche et la mission Analyses économiques. L’objet de la mission Animation de la recherche est, comme son nom l’indique, d’animer et coordonner les travaux d’études menés en matière d’emploi et de travail, non seulement au sein du ministère, mais aussi avec l’ensemble des interlocuteurs appartenant au milieu de la recherche. Au sein de la DARES le département des politiques d’emploi et de formation professionnelle suit et évalue les dispositifs de politique d’emploi.
Les Cahiers : Qu’est-ce que l’évaluation des politiques publiques d’emploi ?
D. Gélot : L’objectif de l’évaluation des politiques d’emploi est d’étudier l’efficacité de l’intervention publique. Il s’agit, en accord avec les recommandations du Conseil Scientifique de l’Evaluation, de mesurer les effets d’une action, d’un dispositif, d’un programme au regard des objectifs initiaux et des moyens humains et matériels mis en oeuvre. Cette évaluation porte aussi bien sur les bénéficiaires des différents dispositifs, que sur l’ensemble des acteurs intervenant dans le champ de la mise en oeuvre de ces politiques : entreprises, acteurs locaux, organismes de formation.
Les Cahiers : Comment l’activité de la DARES s’insère-t-elle dans les préoccupations du ministère du travail, du dialogue social et de la participation ?
C. A. : Notre action s’inscrit dans le cadre de l’évaluation des mesures pour l’emploi. D’autres départements travaillent également sur d’autres champs du travail et de l’emploi, mais leurs travaux peuvent avoir un rapport avec l’évaluation moins accentué. L’objectif de la direction est de pouvoir fournir des conclusions de travaux d’évaluations aux décideurs du ministère. Par conséquent, nous devons travailler sur du moyen-long terme, évaluer des projets en s’intéressant surtout à leur efficacité.
D. G. : Il faut bien voir que différents instruments sont à disposition des évaluateurs publics. à la DARES, nous utilisons une typologie des actions d’évaluation des politiques publiques d’emploi, selon cinq niveaux, du plus élémentaire au plus complexe :
Le suivi quantitatif des mesures consiste en la conception d’un système de recueil de données, présentation de séries et tableaux synthétiques pour l’ensemble des données chiffrées sur les dispositifs de la politique de l’emploi. On ne peut ici véritablement parler d’évaluation dans la mesure où celle-ci implique une problématique et des hypothèses d’interprétation, mais il s’agit là d’un préalable à l’évaluation : les données ainsi recueillies peuvent alimenter d’autres travaux.
La statistique descriptive des bénéficiaires est une analyse qui concerne individus, entreprises ou organismes de formation et s’effectue à partir des fiches individuelles des bénéficiaires. Il s’agit de vérifier l’adéquation entre les objectifs, assignés à une mesure et les publics bénéficiaires. Ce suivi périodique peut permettre une intervention qualitative sur le pilotage du dispositif.
La mesure de l’efficacité des dispositifs est généralement associée au taux de retour à l’emploi et vise à déterminer les critères favorables ou défavorables de l’efficacité immédiate ou différée d’un dispositif Actuellement nous menons en collaboration avec nos partenaires extérieurs des travaux de recherche en vue de dépasser l’utilisation du seul critère de taux de retour à l’emploi comme variable explicative de l’efficacité du dispositif.
Les enquêtes qualitatives ou d’opinion mettent en oeuvre des méthodes d’investigation plus qualitatives, sur la base d’entretiens ou de monographies réalisés auprès des acteurs intervenant dans les politiques d’emploi : bénéficiaires, employeurs, organismes de formation, agents du service public de l’emploi. L’objectif est de mieux connaître le contenu des formations, des contrats aidés, les opinions de-, employeurs ou les attentes des bénéficiaires ainsi que les conditions de la mise en oeuvre des dispositif-, par les agents du service public de l’emploi.
Les analyses économiques observent l’impact macro ou micro-économique,des politiques d’emploi sur l’emploi, le chômage et la population active. Il s’agit de cerner les effets de l’intervention publique sur l’emploi : effets de création nette d’emplois, d’aubaine, de cannibalisme, etc., mais aussi d’évaluer les motivations des employeurs qui recourent à telle ou telle mesure, les coûts pour la collectivité des différents dispositifs, etc.
Les Cahiers : Comment sont décidés les projets d’évaluation ?
C.A. : Les commandes peuvent émaner directement du cabinet du ministre. Elles .,ont aussi le résultat d’une procédure de consultation-concertation en matière de travaux et études, toutes catégories confondues, qui a lieu chaque année à l’automne. La DARES confronte les programmes de toutes les directions du ministère et des organismes qui y sont rattachés (ANPE, ANACT, CEE, CEREQ, etc.), les demandes des services déconcentrés, les propositions des partenaires sociaux (représentants des centrales syndicales, ouvrières et patronales) et y associe son propre programme- C’est le Comité des programmes, lieu de rencontre des offres et demandes d’études et évaluations, qui finalise le programme annuel global du ministère portant sur des statistiques, des études et des évaluations. Regroupant les directions du ministère (directions et délégations de l’administration centrale) et les organismes sous tutelle, cette instance se réunit deux fois par an. Une première fois pour discuter des grandes orientations du programme de l’année suivante, et une deuxième pour faire le bilan du programme de l’année antérieure. Ce programme fait l’objet d’un rapport publié chaque début d’année. Chaque direction, délégation ou organisme sous tutelle conserve cependant la responsabilité de la gestion des différentes parties du programme pour ce qui le concerne.
D.G. : En matière d’évaluation, nous travaillons également dans le cadre des procédures du Comité interministériel de l’évaluation. Ainsi actuellement, sont cri cours des évaluations sur les thèmes de l’insertion par l’économique, à laquelleje participe, l’aide à la création d’entreprise et l’évaluation de la loi quinquennale. Notre participation à ces projets se matérialise sous trois formes , premièrement par l’expertise et appui technique à la conception et à la réalisation d’études et d’évaluations, ensuite comme membre d’instance d’évaluation qui commandite les études, valide les conclusions et les synthèses, mais aussi comme rapporteurs auprès d’instances d’évaluation, en charge de la rédaction des rapports d’évaluation,, comme dans le cas de l’évaluation quinquennale.
Les Cahiers : Y a-t-il un processus de sélection des projets présentés par les services déconcentrés ?
C.A. : Pas réellement puisque nous disposons d’une enveloppe budgétaire destinée à l’évaluation dans les services déconcentrés. L’enveloppe est totalement déconcentrée donc nous n’intervenons pas en la matière. Notre rôle est d’assurer une plus grande cohérence des projets, de procéder à une certaine rationalisation, mais pas d’émettre une décision sur la mise en oeuvre d’un projet, sachant qu’un premier examen des demandes d’évaluations locales est réalisée par la mission Action régionale.
D.G. : A ce titre, le travail de capitalisation et de diffusion des expériences effectué par la DARES est important puisqu’il est un moyen d’assurer la cohérence du programme d’études et de statistiques, qu’il s’agisse de travaux de la centrale ou des services extérieurs. Bien sûr, nous apportons également aux services qui nous sollicitent conseils et expertise en matière d’évaluation, sur des projets ponctuels essentiellement. Nous intervenons ainsi dans le montage de programmes concertés entre les services centraux et les services déconcentrés, Directions régionales du travail en particulier.
Les Cahiers : Qui pilote les démarches d’évaluation ?
C. A. : Les instances d’évaluation ou plutôt des "comités de pilotage" qui sont le plus souvent internes au ministère, niais auxquel peuvent s’adjoindre des experts extérieurs à l’administration ou des universitaires. Quand on confie la réalisation de l’évaluation à un intervenant externe il est libre pour l’élaboration et la rédaction de son rapport.
Les Cahiers : Qui réalise les travaux d’évaluation ? Le ministère dispose-til de ses propres organismes de recherche/écoles ou la sous-traitance en externe est-elle de règle ?
C. A. Comme dans beaucoup d’administrations, notre façon de procéder est double. En effet, la DARES exerce la tutelle sur deux organismes : le Centre d’études et de recherches sur les qualifications (CEREQ), et le Centre d’études sur Vernploi (CEE), deux organismes dont les champs d’intervention sont étroitement liés à nos préoccupations. Ainsi, le CEE, établissement sous la double tutelle dit ministère de la recherche et du ministère du travail, est un centre de recherche pluridisciplinaire dont les travaux s’ordonnent autour de trois pôles : l’évaluation des politiques d’emploi, la gestion de l’emploi dans les entreprises et l’étude des conditions de travail en relation avec l’emploi.
D.G. : L’autre procédé est la soustraitance. Nous sous-traitons, sur appel d’offres, certains travaux à des laboratoires de recherche en fonction de la naturc des projets et des compétences requises pour les mener à bien. Mais en interne, le ministère développe tout un ensemble de dispositifs comme les panels de suivi des bénéficiaires de différentes mesures par exemple, qui nous perrnettent souvent de réaliser les travaux programmés sans avoir recours à un intervenant externe. En matière d’insertion par exemple, nous évaluons l’action de trois catégories d’acteurs impliqués : l’Etat par le biais des services déconcentrés, les intermédiaires ou relais et les employeurs qui utilisent ces dispositifs ou les bénéficiaires. Le choix des opérateurs dépend en partie de ce critère.
Les Cahiers : Passons à l’impact des évaluations et aux suites qui sont données aux travaux. L’évaluation au ministère du travail est-elle prise en compte ? Dans quelle mesure est-elle vecteur de changement ?
C.A. : En règle générale, les évaluations sont prises en compte. Plusieurs exemples peuvent illustrer cet aspect de l’évaluation. Les études menées au début des années 90 par le CEE sur les TUC (travaux d’utilité collective), ont permis de mettre en lumière certains effets de l’absence de relation contractuelle caractérisant ce dispositif et ont participé à leur remplacement par les CES, Contrats Emploi-Solidarité, offrant plus de garanties que les TUC.
D.G. : On peut également citer l’évaluation des SIVP, qui a conduit dans un preinier temps à la moralisation du dispositif puis à sa suppression. Ou encore les études sur la formation menées au début des années quatre-vingt, qui ont montré la nécessité d’une individualisation de la formation, aboutissant à la création des AIF, actions d’insertion et de forrnation, intégrant les notions de stages modulaires, d’individualisation, etc.(par exemple stages de formation pour les chômeurs longue durée).
C. A. : Parfois, la prise en compte des conclusions des travaux se traduit par une prise de conscience, qu’il faut mettre en exergue car c’est là le premier pas vers le changement.
D.G. : C’est pourquoi le rôle de capitalisation des études et évaluations que s’efforce de remplir la DARES, en particulier à travers son travail de publication de synthèses annuelles, n’a pas pour objectif premier d’alimenter les décisions politiques. C’est plus une activité de fond, sur moyen-long terme, parce que le gouvernement a des contraintes politiques que nous ne pouvons avoir.
Les Cahiers : Quelles sont les perspectives, les pistes d’amélioration possibles en matière d’évaluation ?
C.A. : Il faut, je crois, développer l’évaluation en amont des dispositifs. Ainsi que nous l’avons évoqué plus haut, une de nos constantes est l’évaluation d’efficacité expost. Il y a bien quelques départements qui travaillent sur la modélisation, la mission Analyses économiques étudie la simulation des effets emplois, des allocations physiques et financières, etc. Mais il y a un certain retard en matière d’évaluation ex-ante et des efforts sont faits en ce sens.
Par exemple, pour le chèque-service, mis en place par la loi quinquennale de 1993 et entré en vigueur en décembre 1994, la loi prévoyait une évaluation du dispositif fin 1995 avant de procéder à la généralisation. L’évaluation liée à une expérimentation législative devant précéder une généralisation, c’est le schéma logique et satisfaisant : un dispositif expérimental avec évaluation concomitante, puis généralisation ou non de la mesure selon les conclusions de l’évaluation. Voilà une première voie. L’évaluation a priori est aussi une piste que l’on commence à explorer.
D.G. : Dans le cadre d’une administration déconcentrée comme l’administration française, la prise en compte des résultats des évaluations, l’implication des décideurs dans la prise en compte des préconisations et orientations proposées passent également par le développement de l’évaluation à l’échelon local. Il est vrai que le nombre relativement restreint d’évaluations réalisées parles services déconcentrés du ministère s’explique par la nature des politiques d’emploi, qui sont plutôt nationales et laissent encore peu de place à la représentation des spécificités locales. Cependant, l’évaluation locale, même si elle a souvent pour objet des actions spécifiques, est plus en prise avec le terrain et mérite d’être encouragée. A nous de veiller à la cohérence des projets et à la collaboration des différents niveaux : niveaux régionaux et locaux, niveaux régionaux entre eux, niveaux locaux et niveau central, etc.
C.A. : C’est vrai qu’il y a parfois des difficultés de réappropriation des résultats par les décideurs. Notre rôle est donc de traduire les résultats et conclusions des évaluations, d’être les " passeurs " entre les laboratoires de recherche ou universitaires et les décideurs.
Vos ressources en quelques clics
