Jody Zall Kusek Ray C. Rist 29672 VERS UNE CULTURE DU RÉSULTAT 1 2 3 4 5 6 7 8 9 10 Dix étapes pour mettre en place un système de suivi et d'évaluation axé sur les résultats Un guide pour les praticiens du développement NOUVEAUX HORIZONS *MEP corrigée finale-3 2/3/06 8:43 AM Page i VERS UNE CULTURE DU RÉSULTAT Dix étapes pour mettre en place un système de suivi et d'évaluation axé sur les résultats *MEP corrigée finale-3 2/3/06 8:43 AM Page ii *MEP corrigée finale-3 2/3/06 8:43 AM Page iii Jody Zall Kusek Ray C. Rist Traduction de M. Masse VERS UNE CULTURE DU RÉSULTAT Dix étapes pour mettre en place un système de suivi et d'évaluation axé sur les résultats Un guide pour les praticiens du développement BANQUE MONDIALE NOUVEAUX Washington, D.C. HORIZONS *MEP corrigée finale-3 2/3/06 8:43 AM Page iv Catalogage avant publication de Bibliothèque et Archives Canada Kusek, Jody Zall, 1952- Vers une culture du résultat. Dix étapes pour mettre en place un système de suivi et d'évaluation axé sur les résultats : un guide pour les praticiens du développement Traduction de : Ten steps to a results-based monitoring and evaluation system. Comprend des réf. bibliogr. et un index ISBN 2-89035-391-5 1. Pays en voie de développement ­ Administration ­ Productivité ­ Évaluation. 2. Rendement au tra- vail ­ Normes ­ Pays en voie de développement ­ Évaluation. 3. Qualité totale dans l'administration publique ­ Pays en voie de développement ­ Évaluation. 4. Pays en voie de développement ­ Administration ­ Évaluation. 5. Suivi et évaluation participatifs ­ Pays en voie de développement. I. Rist, Ray C. II. Titre. JF1525.P67K8714 2005 352.3'5 C2005-941417-0 Les Éditions Saint-Martin bénéficient de l'aide de la SODEC pour l'ensemble de leur pro- gramme de publication et de promotion. Les Éditions Saint-Martin sont reconnaissantes de l'aide financière qu'elles reçoivent du gouvernement du Canada qui, par l'entremise de son Programme d'aide au développement de l'industrie de l'édition, soutient l'ensemble de ses activités d'édition. Édition : Vivianne Moreau Dépôt légal : Bibliothèque nationale du Québec, 1er trimestre 2006 Imprimé au Québec (Canada) ©2004 The International Bank for Reconstruction and Development / THE WORLD BANK 1818 H Street, N.W., Washington, D.C. 20433, États-Unis Publié par : Pour l'Afrique francophone et Haïti : NOUVEAUX HORIZONS © 2006 Les Éditions Saint-Martin 14, bd Haussmann, 75009 Paris ­ France 5000, rue Iberville, bureau 203 ars@state.gov Montréal (Québec) H2H 2S6 http://usembassy.state.gov/paris-ars Tél.: (514) 529-0920 Téléc.: (514) 529-8384 st-martin@qc.aira.com www.editions-saintmartin.com Tous droits réservés Aucune partie de ce livre ne peut être reproduite ou transmise sous aucune forme ou par quelque moyen électronique ou mécanique que ce soit, par photocopie, enregistrement ou par quelque forme d'entre- posage d'information ou système de recouvrement, sans la permission écrite de l'éditeur. *MEP corrigée finale-3 2/3/06 8:43 AM Page v Table des matières Préface ­ xi Les auteurs ­ xiii Introduction Mettre sur pied un système de suivi et d'évaluation axé sur les résultats ­ 1 Les nouveaux défis de la gestion publique ­ 2 Le suivi et l'évaluation axés sur les résultats ­ Un puissant outil de gestion publique ­ 10 Les expériences de suivi et d'évaluation dans les pays développés et en développement ­ 25 Chapitre 1 Étape 1 : Procéder à un examen de l'état de préparation ­ 37 Pourquoi effectuer un examen de l'état de préparation ? ­ 38 L'examen de l'état de préparation : Huit questions clés ­ 41 Les examens de l'état de préparation dans les pays en développement : le Bangladesh, l'Égypte et la Roumanie ­ 46 Les fruits de l'expérience ­ 50 Chapitre 2 Étape 2 : S'entendre sur les réalisations à surveiller et à évaluer ­ 53 L'importance des réalisations ­ 53 Les questions à considérer dans le choix des réalisations à surveiller et à évaluer ­ 54 L'importance d'un processus participatif et consultatif qui implique les principaux partenaires ­ 55 Le processus général pour déterminer et s'entendre sur les réalisations ­ 56 Des exemples et des approches possibles ­ 57 Chapitre 3 Étape 3 : Déterminer les principaux indicateurs pour surveiller les réalisations ­ 61 Des indicateurs sont requis pour tous les niveaux d'un système de suivi-évaluation axé sur les résultats ­ 62 Traduire les réalisations en indicateurs ­ 62 Les meilleurs critères pour sélectionner de bons indicateurs de réalisations ­ 63 L'utilisation d'indicateurs intermédiaires ­ 66 Les avantages et désavantages des indicateurs préconçus ­ 66 La construction d'indicateurs ­ 69 Établir des indicateurs : l'expérience des pays en développement ­ 70 Chapitre 4 Étape 4 : Établir des points de comparaison et recueillir des données sur les indicateurs ­ 75 Établir des données témoins pour les indicateurs ­ 76 *MEP corrigée finale-3 2/3/06 8:43 AM Page vi vi Vers une culture du résultat Construire une base de données de comparaison ­ 77 Déterminer les sources de données pour les indicateurs ­ 78 Concevoir et comparer les méthodes de collecte de données ­ 79 L'importance d'effectuer des tests ­ 81 La collecte de données : l'expérience de deux pays en développement ­ 82 Chapitre 5 Étape 5 : Planifier les améliorations ­ Sélectionner les cibles pour les résultats ­ 85 Définir des cibles ­ 85 Les facteurs à considérer lorsqu'on sélectionne les cibles ­ 86 Des exemples de cibles liées à des questions de développement ­ 88 Le cadre global de performance ­ 88 Chapitre 6 Étape 6 : Surveiller les résultats ­ 91 Les principaux types et niveaux de suivi ­ 93 Les liens entre le suivi axé sur la mise en oeuvre et celui axé sur les résultats ­ 97 Les principes clés qui sous-tendent la mise en place d'un système de suivi ­ 98 Obtenir des résultats par un partenariat ­ 99 Les besoins propres à tous les systèmes de suivi ­ 99 Les trois règles pour la qualité des données : fiabilité, justesse et opportunité ­ 102 L'analyse des données sur la performance ­ 103 Les contrôles préalables des instruments et les procédures de collecte des données ­ 104 Chapitre 7 Étape 7 : Le rôle des évaluations ­ 107 Comment utiliser l'évaluation ­ 108 Choisir un moment pour effectuer les évaluations ­ 111 Les différents types d'évaluation ­ 113 Les caractéristiques d'une évaluation de qualité ­ 117 Des exemples d'évaluation aux stades de la politique, du programme et du projet ­ 119 Chapitre 8 Étape 8 : Présenter les données obtenues ­ 121 L'utilisation des données obtenues lors du suivi et de l'évaluation ­ 122 Connaître et cibler l'auditoire ­ 122 Présenter les données de performance de façon claire et compréhensible ­ 124 Qu'est-ce qui arrive lorsqu'on obtient de mauvais résultats de performance ? ­ 127 Chapitre 9 Étape 9 : Utiliser les données obtenues ­ 129 Les façons d'utiliser les données de performance ­ 129 Les avantages additionnels de l'utilisation des données : rétroaction, savoir et apprentissage ­ 133 Des stratégies pour partager l'information ­ 136 Chapitre 10 Étape 10 : Maintenir le système de suivi et d'évaluation au sein de l'organisation ­ 141 Six éléments critiques dans le maintien des systèmes de suivi-évaluation axés sur les résultats ­ 141 L'importance des incitations et des désincitations ­ 147 Les obstacles possibles au maintien des systèmes de suivi-évaluation axés sur les résultats ­ 147 La validation et l'évaluation des systèmes de suivi-évaluation et de leur information ­ 149 Les changements culturels positifs au sein des gouvernements et des organisations suscités par le suivi-évaluation ­ 149 *MEP corrigée finale-3 2/3/06 8:43 AM Page vii Table des matières vii Quelques rappels en terminant ­ 150 Chapitre 11 Le suivi-évaluation axé sur les résultats, vous et votre organisation ­ 151 Pourquoi adopter le suivi-évaluation axé sur les résultats ? ­ 151 Comment mettre en place des systèmes de suivi-évaluation axés sur les résultats ­ 153 En résumé ­ 157 Annexes Annexe I Évaluer la capacité des pays à mettre en place des systèmes de suivi et d'évaluation axés sur la performance ­ 159 Annexe II Examen de l'état de préparation ­ 163 Annexe III Objectifs du Millénaire pour le développement ­ 181 Annexe IV Politique d'évaluation nationale pour le Sri Lanka ­ 185 Annexe V La loi sur la reddition de comptes en matière de performance de l'Andhra Pradesh (Inde), 2003 ­ 191 Annexe VI Glossaire des principaux termes relatifs à l'évaluation et la gestion axée sur les résultats ­ 203 Bibliographie ­ 209 Index ­ 215 Encadrés i.i Objectifs du millénaire pour le développement ­ 3 i.ii Exemple de cibles et d'indicateurs pour un OMD ­ 4 i.iii Transparency International ­ 6 i.iv Le pouvoir d'influence associé à la mesure des résultats ­ 11 i.v Aspects fondamentaux du suivi axé sur la mise en oeuvre versus le suivi axé sur les résultats ­ 15 i.vi Le modèle de suivi et d'évaluation pour l'ensemble du gouvernement de l'Australie ­ 27 i.vii France : des réformes gouvernementales en mode accéléré malgré son retard initial ­ 28 i.viii République de Corée : en route vers le suivi et l'évaluation ­ 29 i.ix Malaisie : planification budgétaire axée sur les réalisations, cohésion nationale et compéti- tivité mondiale ­ 34 i.x L'Ouganda et la réduction de la pauvreté ­ propulsé vers le suivi et l'évaluation ­ 35 1.1 Le cas du Bangladesh : Construire en commençant par le bas ­ 47 1.2 Le cas de l'Égypte ­ Des progrès lents mais systématiques vers un système de suivi- évaluation ­ 48 1.3 Le cas de la Roumanie ­ Progresser vers un système de suivi-évaluation ­ 49 3.1 Des dilemmes dans le choix des indicateurs ­ 67 3.2 Les indicateurs de bien-être de la Région Afrique ­ 71 3.3 Le Plan d'action triennal de l'Albanie ­ 72 3.4 La Politique nationale d'évaluation du Sri Lanka ­ 73 3.5 Des indicateurs pour les projets et les programmes : un exemple du secteur de l'irrigation ­ 73 3.6 Une réalisation : une participation accrue des fermiers aux marchés locaux ­ 74 4.1 La stratégie de l'Albanie pour renforcer sa capacité à recueillir des données ­ 83 4.2 Le Liban se joint au système de données du FMI ­ 84 5.1 Des exemples de cibles liées au développement ­ 88 6.1 Le suivi axé sur les résultats au Mexique ­ 95 *MEP corrigée finale-3 2/3/06 8:43 AM Page viii viii Vers une culture du résultat 6.2 Le suivi axé sur les résultats au Brésil ­ 96 7.1 L'évaluation fournit de l'information sur : ­ 110 9.1 Dix façons d'utiliser les données obtenues ­ 130 9.2 L'utilisation de données pour surveiller et réduire la criminalité à New York ­ 131 9.3 Le ministère américain du Travail ­ une organisation qui possède un système de suivi- évaluation axé sur les résultats bien développé et fonctionnel ­ 132 9.4 Des signes d'amélioration dans l'acquisition du savoir grâce à l'évaluation dans les agences d'aide allemandes ­ 134 9.5 Les obstacles à l'apprentissage ­ 135 9.6 Apprendre, accumuler du savoir et utiliser intensivement les résultats de performance ­ 136 9.7 Des façons actives et passives d'utiliser l'information évaluative ­ 137 9.8 Les rapports de performance du gouvernement canadien au Parlement ­ 139 10.1 Les Chartes de citoyens au Royaume-Uni ­ 144 10.2 Le Performance and Results Act du gouvernement américain ­ 145 10.3 Liste de vérification pour des désincitations qui entravent le suivi-évaluation participatif et axé sur l'apprentissage ­ 147 10.4 Liste de vérification pour des incitations qui encouragent le suivi-évaluation participatif et axé sur l'apprentissage ­ 148 10.5 Une culture évaluative et des partenariats fondés sur la collaboration renforcent les capacités des agences gouvernementales ­ 150 Figures i.i Modèle de suivi pour un objectif national de développement ­ 16 i.ii Dix étapes pour concevoir, mettre en place et maintenir un système de suivi et d'évaluation axé sur les résultats ­ 23 1.1 Procéder à un examen de l'état de préparation ­ 37 2.1 S'entendre sur les réalisations à surveiller et à évaluer ­ 53 2.2 Comment formuler des énoncés de réalisations ­ 56 2.3 Énoncés de réalisations dérivés des problèmes et enjeux qui ont été définis ­ 59 2.4 Comment NE PAS formuler des énoncés de réalisation ­ 59 2.5 Formuler des réalisations pour un seul champ d'intervention ­ 60 3.1 Déterminer les principaux indicateurs pour surveiller les réalisations ­ 61 3.2 Développer une série d'indicateurs pour un domaine d'intervention ­ 64 3.3 Liste de contrôle pour évaluer les indicateurs proposés ­ 67 4.1 Établir des points de comparaison et recueillir des données sur les indicateurs ­ 75 4.2 Développer des données témoins pour un champ d'intervention ­ 76 4.3 Les méthodes de collecte des données ­ 80 5.1 Planifier les améliorations ­ Sélectionner les cibles pour les résultats ­ 85 5.2 Pour déterminer un niveau souhaité de résultats, il faut sélectionner des cibles de performance ­ 86 5.3 Élaborer des cibles pour un champ d'intervention ­ 89 6.1 Surveiller les résultats ­ 91 6.2 Un exemple de graphique de Gant ­ 92 6.3 Le suivi axé sur les résultats ­ 94 6.4 Exemples de suivi axé sur les résultats ­ 95 6.5 Les liens entre le suivi axé sur la mise en oeuvre et le suivi axé sur les résultats ­ 97 6.6 Lier le suivi axé sur la mise en oeuvre au suivi axé sur les résultats ­ 98 6.7 Obtenir des résultats par un partenariat ­ 100 6.8 Les quatre éléments de base d'un système de suivi ­ 101 6.9 Des caractéristiques essentielles pour recueillir des données de qualité sur la performance ­ 102 6.10 Les trois règles pour la qualité des données : la fiabilité ­ 102 6.11 Les trois règles pour la qualité des données : la justesse ­ 103 *MEP corrigée finale-3 2/3/06 8:43 AM Page ix Table des matières ix 6.12 Les trois règles pour la qualité des données : l'opportunité ­ 103 6.13 Analyser les résultats ­ 105 7.1 Le rôle des évaluations ­ 107 7.2 Utiliser l'évaluation pour expliquer les divergences dans la performance ­ 112 7.3 Utiliser l'évaluation pour déterminer l'impact de la conception et de la mise en oeuvre sur la réalisation ­ 112 7.4 Sept types d'évaluation ­ 114 7.5 Les caractéristiques d'une évaluation de qualité ­ 118 7.6 Exemples d'évaluations ­ 119 8.1 Présenter les données obetnues ­ 121 8.2 Les principes de l'excellence graphique ­ 128 9.1 Utiliser les données obtenues ­ 29 10.1 Maintenir le système de suivi et d'évaluation au sein de l'organisation ­ 141 Tableaux i.i Les rôles complémentaires du suivi et de l'évaluation axés sur les résultats ­ 13 4.1 Construire une base de données de comparaison ­ 77 4.2 Une comparaison des principales méthodes de collecte de données ­ 81 8.1 La présentation des données : les réalisations concrètes versus les cibles ­ 124 8.2 Un modèle de tableau pour présenter des données descriptives ­ 126 10.1 Le développement et l'institutionnalisation de la capacité d'évaluation ­ des enjeux auxquels la Colombie, la Chine et l'Indonésie se sont attaquées ­ 146 *MEP corrigée finale-3 2/3/06 8:43 AM Page x *MEP corrigée finale-3 2/3/06 8:43 AM Page xi Préface Le développement économique durable va de pair avec l'efficacité de l'État. Depuis l'avè- nement de la mondialisation, les gouvernements et les organisations du monde entier tentent de répondre de façon adéquate aux exigences des partenaires internes et externes qui réclament une gestion des affaires publiques plus saine, davantage de responsabilité et de transparence, une plus grande efficacité au niveau du développement ainsi que l'ob- tention de résultats tangibles. Ces partenaires comprennent les gouvernements, les par- lements, les citoyens, le secteur privé, les organisations non gouvernementales (ONG), la société civile, les organisations internationales et les donateurs. La demande accrue pour une responsabilisation et des résultats concrets a entraîné l'émergence de politiques, de programmes et de projets fondés sur l'évaluation et la gestion axées sur les résultats. Le suivi-évaluation (SÉ) est un outil de gestion puissant qui permet aux gouver- nements et aux organisations d'améliorer la manière dont ils atteignent leurs résul- tats. De bons systèmes capables de fournir une rétroaction sur leur performance sont aussi indispensables aux gouvernements que des systèmes de comptabilité et des res- sources humaines et financières. Le domaine du suivi-évaluation a évolué, passant d'approches traditionnelles fon- dées sur la mise en oeuvre à de nouvelles approches axées sur les résultats. Ces nou- velles approches se concentrent davantage sur le «Et alors?», une question qui est souvent posée à la suite d'une intervention. En d'autres termes, les programmes et les politiques que les gouvernements et les organisations ont implanté ont-ils atteint les résultats escomptés? Les promesses formulées par les gouvernements et les organisa- tions vis-à-vis des parties prenantes ont-elles été remplies? Ce n'est pas parce qu'on a mis en oeuvre des programmes de santé et qu'ils fonctionnent adéquatement qu'on peut prétendre avoir réellement amélioré la santé de la population. On doit aussi se pencher sur les effets directs et les impacts. En s'inspirant d'un système de suivi- évaluation axé sur les résultats, les décideurs seront mieux en mesure de déterminer si et comment les buts sont atteints dans une période de temps donnée. Ces systèmes per- mettront de répondre à la question «Et alors?» tout en satisfaisant l'intérêt croissant des protagonistes pour les résultats. Ce guide s'adresse en premier lieu aux fonctionnaires qui doivent adapter leur ges- tion en fonction des résultats. La mise en oeuvre de systèmes de suivi-évaluation com- porte de nombreux défis, en particulier pour les pays en voie de développement. Nous verrons cependant que les systèmes de suivi-évaluation axés sur les résultats sont en évolution constante et ce, tant pour les pays développés que pour ceux en voie de déve- loppement. Nous avons constaté que, lorsqu'ils sont implantés adéquatement, ces sys- tèmes fournissent une source continue de rétroaction et d'information permettant aux artisans des politiques de s'ajuster en vue d'atteindre les résultats souhaités. Des chefs *MEP corrigée finale-3 2/3/06 8:43 AM Page xii xii Vers une culture du résultat de programmes aguerris et oeuvrant au sein d'organisations internationales et de pays développés ­ qui ont adopté des systèmes de suivi-évaluation axés sur les résultats ­ se tournent dorénavant vers cette approche afin de remettre en perspective la performance de leurs propres organisations. Ce guide peut servir à titre de manuel d'implantation d'un système de suivi- évaluation fondé sur les résultats pour le secteur public. Il peut aussi être combiné à un atelier mis sur pied par la Banque mondiale et intitulé : « Élaboration d'un sys- tème de suivi-évaluation axé sur les résultats : un outil pour les gestionnaires du sec- teur public ». Le but du présent ouvrage est de vous aider à planifier, à concevoir et à mettre en oeuvre un tel système au sein de votre organisation. De plus, ce livre indique de quelle manière un système de suivi-évaluation encourage une saine ges- tion des affaires publiques. Ce guide met de l'avant un modèle complet en dix étapes destiné à vous accom- pagner dans le processus de conception et d'implantation du système. La première étape comporte une « Évaluation de l'état de préparation », puis l'on enchaîne avec la conception, la gestion et ­ encore plus important ­ la durabilité du système de suivi-évaluation. Les étapes sont décrites en détail, et le guide contient également les tâches qu'il faudra accomplir ainsi que les outils qui sont disponibles. Les documents additionnels présentés dans les annexes vous permettront d'ap- profondir davantage votre compréhension des stratégies énoncées dans ce guide. C'est avec beaucoup de gratitude que nous remercions le Département d'examen des politiques et des opérations du ministère des Affaires étrangères des Pays-Bas, tout particulièrement Rob D. van den Berg et Hans Slot. Leur soutien financier (via un fonds en fidéicommis des Pays-Bas à la Banque mondiale) et leur encouragement intellectuel ont grandement contribué à cette initiative. Sans leur vision et leur rigueur, ce livre n'aurait peut-être pas vu le jour. Nous tenons à reconnaître l'apport spécial du Dr Barbara Balaj à la préparation de ce document. Ses commentaires analytiques, ses critiques réfléchies et son soutien indéfectible ont été inestimables. Sa participation a grandement amélioré le contenu du livre. Nous aimerions aussi souligner l'implication de collègues de la Banque, Osvaldo Feinstein et Laura Rawlings, qui ont apporté des critiques et des commentaires. Nous remercions également Jonathan Breaul et Frans Leeuw pour leurs remarques constructives. Leurs efforts ont été fortement appréciés. La conception d'un système de suivi-évaluation axé sur les résultats nécessite du temps. La route sera parsemée d'embûches, mais l'aventure et les récompenses en bout de piste valent bien le détour. Jody Zall Kusek Ray C. Rist Washington, D.C. *MEP corrigée finale-3 2/3/06 8:43 AM Page xiii Les auteurs Jody Zall Kusek est en charge du suivi et de l'évaluation des résultats pour la Région Afrique de la Banque mondiale. Elle conseille et propose des stratégies aux organisations et clients de la Banque qui souhaitent améliorer la capacité des systèmes de suivi et d'évaluation. Elle agissait auparavant à titre de directrice de l'évaluation pour la Banque mondiale, instaurant des mesures destinées à amé- liorer le suivi et l'évaluation axés sur les résultats au sein de la Banque. Avant de se joindre à l'équipe de la Banque mondiale, Mme Kusek était directrice de la pla- nification de la performance pour le ministre de l'Intérieur des États-Unis et conseillère en chef pour le ministre de l'Énergie des États-Unis en matière de ges- tion. Parmi ses réalisations, on compte aussi son Examen de la performance au niveau de la gestion des ressources naturelles, effectué sous la présidence de Clinton. Elle s'est impliquée dans le développement de systèmes nationaux de suivi et d'évaluation, notamment en Albanie, en Égypte, au Kirghizstan, au Mozambique, en Roumanie et en Zambie. Elle est l'auteure d'une dizaine d'ar- ticles récents portant sur le développement et la gestion de systèmes de suivi de la pauvreté, puis elle siège au conseil éditorial d'un périodique du gouvernement des États-Unis traitant d'apprentissage et de connaissances. Ray C. Rist est directeur de l'évaluation au sein du Département de l'évaluation des opérations de la Banque mondiale. Il a déjà oeuvré à titre de conseiller en matière d'évaluation en plus d'avoir occupé le poste de directeur de l'unité d'éva- luation et des bourses de l'Institut de la Banque mondiale. Avant de se joindre à l'équipe de la Banque mondiale en 1996, il a passé 15 ans au sein du gouverne- ment des États-Unis, tant au niveau de l'organe exécutif que législatif. Il a égale- ment enseigné aux universités John Hopkins, Cornell et George Washington. Dr Rist a été un Senior Fulbright Fellow de l'Institut Max Planck de Berlin en 1976 et 1977. Il a publié une vingtaine de livres, plus de 120 articles et a donné des conférences dans plus de 60 pays. Dr Rist fait partie des conseils éditoriaux de neuf périodiques professionnels et agit également à titre de président d'un groupe de travail international qui s'intéresse à la recherche dans le domaine de la gou- vernance et de l'évaluation. *MEP corrigée finale-3 2/3/06 8:43 AM Page xiv *MEP corrigée finale-3 2/3/06 8:43 AM Page 1 Introduction Mettre sur pied un système de suivi et d'évaluation axé sur les résultats Bien que le rôle de l'État se soit modifié et ait évolué au cours des der- nières décennies, il apparaît maintenant clairement qu'une bonne gou- « Une bonne gouvernance vernance constitue un élément clé dans l'atteinte d'un développement n'est pas un luxe ­ socioéconomique durable. Les États sont mis au défi comme jamais il s'agit d'une nécessité auparavant par les exigences d'une économie mondialisée, les informa- vitale pour le tions et les technologies nouvelles, et par les demandes pour une plus développement » grande participation et plus de démocratie. (Banque mondiale, Partout dans le monde, des gouvernements et des organisations sont 1997, p. 15). confrontées à des demandes internes et externes et à des pressions pour améliorer et réformer la gestion publique. Ces demandes proviennent d'une multiplicité de sources, incluant les institutions multilatérales de développement, les gouvernements donateurs, les Parlements, le secteur privé, les ONG, les regroupements de citoyens, la société civile, les médias, etc. Qu'il s'agisse de demandes pour une responsabilité et une transpa- rence accrues, pour une plus grande efficacité des programmes de déve- loppement en échange d'une aide étrangère, ou pour des résultats concrets à la suite de promesses politiques, les gouvernements et les organisations doivent se sensibiliser davantage aux exigences des par- tenaires nationaux et internationaux qui souhaitent des résultats tan- gibles. « Les revendications pour une plus grande efficacité gouverne- mentale ont atteint une ampleur critique dans certains pays en développement où l'État n'a pas réussi à fournir des biens publics fon- damentaux tels que des droits de propriété, des routes et des services de base de santé et d'éducation » (Banque mondiale, 1997, p. 2). Bref, l'in- térêt pour la performance des gouvernements est maintenant devenu un phénomène mondial. Le système de suivi et d'évaluation axé sur les résultats constitue un outil de gestion publique qui peut être utilisé pour aider les concepteurs de politiques et les décideurs à suivre les progrès et à illustrer les retom- bées d'un projet, d'un programme ou d'une politique. Les systèmes de suivi et d'évaluation axés sur les résultats diffèrent des systèmes tradi- tionnels de suivi et d'évaluation qui se concentrent sur la mise en *MEP corrigée finale-3 2/3/06 8:43 AM Page 2 2 Vers une culture du résultat oeuvre, en ce sens qu'ils ne se limitent pas à une préoccupation pour les intrants et les extrants, mais se penchent davantage sur les résultats et les impacts. Mettre sur pied et entretenir des systèmes de suivi et d'évaluation axés sur les résultats n'est pas une chose facile à réaliser. Cela nécessite un engagement constant, du temps, des efforts et des ressources ­ de même que des champions ­ mais cela est faisable. La plus grande difficulté à surmonter est d'assurer la durabilité du système une fois celui-ci mis en place. Les défis politiques, organisationnels et techniques qui doivent être surmontés sont nombreux, aussi bien pour les pays développés que pour les pays en développement. Il s'agit d'abord d'un processus politique, et dans une moindre mesure d'un processus technique. Il n'existe pas une seule manière de construire ces systèmes, et plusieurs pays et organisations se retrouveront à des stades de développement différents en ce qui concerne les bonnes pratiques de ges- tion publique en général, et les systèmes de suivi et d'évaluation en particulier. Il est important de reconnaître que les systèmes de SÉ axés sur les résultats évoluent per- pétuellement. Les pays développés, en particulier ceux membres de l'Organisation de coopéra- tion et de développement économiques (OCDE), cumulent au moins vingt ans d'ex- périence dans le domaine du suivi et de évaluation, alors que de nombreux pays en développement ne font que commencer à utiliser cet outil fondamental de gestion publique. Les expériences des pays développés sont instructives et peuvent fournir d'importantes leçons pour les pays en développement. Les pays développés ont choisi divers points de départ pour mettre en oeuvre des systèmes de suivi et d'éva- luation axés sur les résultats ­ soit à l'ensemble du gouvernement, de manière par- tielle ou mixte. De leur côté, les pays en développement font face à une multitude de défis uniques tandis qu'ils essaient de déterminer quels sont les résultats et les impacts des actions du gouvernement. Cette introduction comporte trois parties. La première se concentre sur les nou- veaux défis dans la gestion publique, à savoir les nombreuses pressions internes et externes auxquelles font face les gouvernements et les organisations pour atteindre des résultats. La seconde examine l'utilisation du suivi et de l'évaluation en tant qu'outil de gestion publique pour suivre et illustrer les résultats. La troisième pré- sente les expériences en suivi et en évaluation dans les pays développés, de même que les défis particuliers qui attendent les pays en développement. PREMIÈRE PARTIE Les nouveaux défis de la gestion publique Des changements profonds sont survenus à l'échelle mondiale dans la gestion publique alors qu'une multitude de forces internes et externes ont convergé pour rendre les gouvernements et les organisations plus responsables envers leurs parte- naires. Les gouvernements sont de plus en plus appelés à faire la démonstration des résultats obtenus. Les partenaires ne s'intéressent plus uniquement aux activités organisationnelles et aux extrants ; ils s'attardent plus que jamais aux réalisations concrètes. Les politiques, programmes et projets ont-ils mené aux résultats et réali- sations souhaités ? Comment peut-on confirmer qu'on se trouve bien sur la bonne *MEP corrigée finale-3 2/3/06 8:43 AM Page 3 Introduction 3 voie ? Comment savoir si des problèmes surviennent en cours de route ? Comment peut-on les corriger à un moment précis ? Comment mesurer Une leçon de gestion le progrès accompli ? Comment faire la différence entre le succès et publique qu'on peut tirer l'échec ? Voilà le type de préoccupations et de questions qui sont soule- de plus de 25 ans vées par les partenaires internes et externes, et auxquelles les gouverne- d'expérience dans les pays ments s'efforcent partout de répondre. membres de l'OCDE et les pays développés est qu'une Les initiatives et les pressions pour le changement sur le responsabilité accrue de la plan international et externe part du gouvernement Il existe de plus en plus d'initiatives à l'échelle internationale et de pres- améliorera son sions qui incitent les gouvernements à adopter des systèmes de gestion fonctionnement général. publique orientés vers les réformes et, par-dessus tout, vers l'atteinte de La leçon devrait résultats. Celles-ci incluent : s'appliquer tout autant dans les pays en · les Objectifs du Millénaire pour le développement (OMD) ; développement. · l'Initiative en faveur des pays pauvres très endettés (PPTE) ; · la contribution financière de l'Association internationale de déve- loppement (AID) ; · l'adhésion à l'Organisation mondiale du commerce (OMC) ; · l'adhésion à l'Union européenne (UE) ; · les Fonds structuraux de l'Union européenne ; · Transparency International. Les Objectifs du Millénaire pour le développement (OMD) comptent parmi les initiatives les plus ambitieuses à l'échelle mondiale visant à adopter une démarche axée sur les résultats pour réduire la pauvreté et améliorer le niveau de vie. Les huit objectifs détaillés (voir encadré i.i) ont été adoptés par 189 pays membres des Nations Unies et par plu- sieurs organisations internationales en 2000. Il s'agit d'une série de buts que la communauté internationale ­ aussi bien les pays développés que les pays en développement ­ se doit d'atteindre d'ici 20151. Encadré i.i Objectifs du Millénaire pour le développement 1. Éliminer l'extrême pauvreté et la faim. 2. Assurer l'éducation primaire pour tous. 3. Promouvoir l'égalité des sexes et l'autonomisation des femmes. 4. Réduire la mortalité infantile. 5. Améliorer la santé maternelle. 6. Combattre le VIH/sida, le paludisme et d'autres maladies. 7. Assurer un environnement durable. 8. Mettre en place un partenariat mondial pour le développement. Source : Nations Unies *MEP corrigée finale-3 2/3/06 8:43 AM Page 4 4 Vers une culture du résultat Ce nouveau programme de développement insiste sur la nécessité de mesurer les résultats du financement de l'aide. Les initiatives de déve- loppement font-elles une différence et ont-elles un impact ? Comment les gouvernements sauront-ils s'ils ont accompli des progrès et atteint ces objectifs ? Comment pourront-ils différencier le succès de l'échec, « Les OMD témoignent de ou les progrès des reculs ? Comment pourront-ils déterminer les obs- l'intérêt pour les tacles et les contraintes ? Et au niveau le plus élémentaire, connaissent- résultats... Le nouveau ils les points de départ et les points de comparaison à partir desquels ils paradigme du doivent se situer pour savoir le chemin qu'il leur reste à parcourir pour développement met atteindre leurs buts ? l'accent sur les résultats, le Les OMD comprennent certains éléments d'une approche de suivi et partenariat, la d'évaluation axée sur les résultats. Par exemple, les cibles des OMD ont coordination et la été transposées en une série d'indicateurs qui peuvent servir à mesurer le responsabilité... [Il] progrès. L'exemple de l'encadré i.ii montre comment les objectifs ont été combine une exprimés en une série de cibles et d'indicateurs. préoccupation pour les De façon plus générale, la mise en place et le maintien de systèmes résultats ; une prise en exhaustifs de suivi et d'évaluation axés sur les résultats à l'échelle des charge domestique de pays et des donateurs joueront un rôle crucial dans l'évaluation et le politiques améliorées ; des suivi des réalisations des OMD. partenariats entre les La conférence de 2002 à Monterrey, au Mexique, s'est penchée sur gouvernements, le secteur les moyens d'atteindre les OMD. Un nouveau consensus international privé et la société civile ; et a été élaboré selon lequel les pays développés fourniraient une aide une approche holiste à accrue pendant que les pays en développement s'attarderaient à déve- long terme qui reconnaît les interactions entre les secteurs et les thèmes du Encadré i.ii Exemple de cibles et d'indicateurs pour un OMD développement » (Picciotto, 2002, p. 3). Objectif : Éliminer l'extrême pauvreté et la faim Cible 1 Entre 1990 et 2015, diminuer de moitié la pro- portion de la population dont le revenu est infé- rieur à 1 $US par jour. Indicateur 1 La proportion de la population disposant de moins de 1 $US par jour. Indicateur 2 Indice d'écart de la pauvreté (incidence X du degré de pauvreté). Indicateur 3 Part du cinquième le plus pauvre de la population dans la consommation nationale. Cible 2 Entre 1990 et 2015, diminuer de moitié la pro- portion de la population qui souffre de la faim. Indicateur 4 Pourcentage d'enfants de moins de 5 ans présen- tant une insuffisance pondérale. Indicateur 5 Proportion de la population n'atteignant pas le niveau minimal d'apport calorique. Source : Nations Unies, 2003. *MEP corrigée finale-3 2/3/06 8:43 AM Page 5 Introduction 5 lopper une meilleure gouvernance et des politiques réformistes puis accorderaient davantage d'attention à l'efficacité et aux résultats du développement. Les OMD présentent également des défis particuliers à la communauté interna- tionale de l'évaluation. Il devient de plus en plus évident qu'une nouvelle structure d'évaluation est nécessaire. Les fondements des systèmes de suivi et d'évaluation axés sur les résultats doivent être établis au-delà du niveau national en les harmoni- sant et en les coordonnant sur le plan international avec les agences onusiennes, les donateurs multilatéraux et bilatéraux, la société civile et les autres partenaires. C'est là que se situe le défi à venir pour développer le suivi et l'évaluation. De nombreux pays, en particulier les pays en développement, doivent maintenant se battre pour faire partie des initiatives, organisations et blocs internationaux afin d'en récolter les bénéfices escomptés sur les plans socioéconomique, politique et de la sécu- rité. Un aspect des négociations touche inévitablement l'adhésion à un ensemble d'exi- gences, de conditions et de buts spécifiques ­ incluant le suivi et l'évaluation. Afin que ces gouvernements puissent s'intégrer à la communauté mondiale, ils doivent s'ouvrir à une surveillance externe accrue et devenir plus transparents et responsables vis-à-vis leurs partenaires. Dans ce contexte, ils doivent apprendre à gérer pour obtenir des résultats. L'encadré i.iii décrit l'influence d'une organisation internationale, Transparency International (TI), sur les progrès en matière de responsabilité. Les exemples qui suivent illustrent le type d'initiatives et d'exigences qui ont été mis de l'avant à l'échelle internationale pour adhérer aux et bénéficier des avantages offerts par les organisations. Ensemble, ils ont permis la création d'un mouvement global qui fait pression pour la responsabilité publique et l'obtention de résultats concrets : · L'Initiative en faveur des pays pauvres très endettés. En 1996, la Banque mon- diale et le Fonds monétaire international ont proposé l'Initiative en faveur des pays pauvres très endettés (PPTE), la première approche exhaustive visant à réduire la dette extérieure des pays les plus pauvres et endettés de la planète. L'Initiative PPTE vise également à soutenir les efforts de réduction de la pau- vreté, à stimuler la croissance économique par l'entreprise du secteur privé et à améliorer les indicateurs sociaux des pays concernés. Comme condition à un allégement de la dette ­ et en accord avec les pratiques des OMD ­ les gouver- nements bénéficiaires doivent être capables de suivre, d'évaluer et de produire des rapports sur les réformes en cours et les progrès en vue de réduire la pau- vreté. Par exemple, l'Ouganda a réalisé des progrès dans le suivi et l'évaluation et s'est qualifié pour un allégement supplémentaire de sa dette dans le cadre de l'Initiative PPTE. Dans d'autres cas cependant, l'incapacité à mettre en place et à entretenir des systèmes de suivi et d'évaluation axés sur les résultats a été un obstacle spécifique pour des pays (l'Albanie, le Madagascar et la Tanzanie). · Une contribution financière de l'Association internationale de développement (AID). Dans le cadre de la treizième séance de négociations pour la reconstitu- tion des ressources financières de l'Association internationale de développement ­ qui a mené à la plus importante contribution des bailleurs de fonds jusqu'à maintenant, soit environ 23 milliards $US ­ 39 pays donateurs ont spécifique- ment conditionné leur appui envers 79 des pays les plus pauvres de la planète à *MEP corrigée finale-3 2/3/06 8:43 AM Page 6 6 Vers une culture du résultat Encadré i.iii Transparency International « Transparency International est la seule organisation internationale qui se consacre exclusivement à lutter contre la corruption » (TI, 1997). L'Indice annuel de perception de la corruption de Transparency International (TI) ­ qui classe 102 pays selon le niveau de corruption observé parmi les dirigeants politiques et les fonctionnaires ­ est cité par les médias de la planète comme étant le plus important classement de ce type. TI classe également les principaux pays exportateurs en fonction de leur penchant pour les pots-de-vin. TI est une organisation non partisane qui poursuit sa mission anticorruption au niveau national dans 88 pays, ce qui encourage la prise de conscience du public envers les questions de corruption et les impacts négatifs sur le déve- loppement qui s'y rattachent. « La corruption sape la bonne gouvernance, dénature radicalement les politiques publiques, mène à une mauvaise affecta- tion des ressources, nuit au secteur privé et au développement soutenu par le secteur privé, et touche particulièrement les pauvres » (TI, 2002). TI forme des coalitions régionales avec des organismes et des acteurs inter- nationaux pour combattre la corruption. Sur le plan national, TI tente égale- ment de former des coalitions réunissant tous les groupes sociaux dans le but de renforcer les systèmes qui assurent la probité des gouvernements. TI a aussi un impact sur le suivi de la performance chez les multinationales. « L'influence grandissante de Transparency International a coïncidé avec la prise de conscience par plusieurs entreprises du fait qu'elles devaient améliorer leur image en tant qu'acteur socialement responsable dans plusieurs pays. Cela a permis de renforcer les succès de l'organisation et d'en faire un joueur impor- tant dans la lutte mondiale contre la corruption » (Crawford, 2003, p. 1). Avec son vaste rayonnement international et son accès médiatique privilégié, TI est un autre joueur important à l'échelle mondiale qui pousse les gouverne- ments et les multinationales à devenir plus responsables et à produire des résultats tangibles pour leurs partenaires. Source : TI, 1997, 2002. l'obtention de résultats. Des indicateurs de réalisation explicites ont été formu- lés pour suivre les résultats en regard des objectifs à atteindre, en particulier dans les domaines de la santé, de l'éducation et du développement du secteur privé. AID possède maintenant un système d'affectation en fonction de la perfor- mance qui a permis de mieux diriger les ressources des bailleurs de fonds vers les pays dont les bonnes politiques et institutions reflètent une bonne gouver- nance. Des liens plus serrés ont été établis entre la performance et l'affectation des ressources des bailleurs de fonds. Les évaluations et les décisions qui en résultent font de plus en plus partie des échanges avec les pays. La treizième rencontre de l'AID a coïncidé avec la mise en place d'un système exhaustif de mesure, suivi et gestion des résultats du développement. Ce système *MEP corrigée finale-3 2/3/06 8:43 AM Page 7 Introduction 7 s'intègre à des initiatives existantes et suit le modèle des systèmes de mesure éta- blis par les emprunteurs de l'AID dans le cadre de leurs Documents nationaux de stratégie de réduction de la pauvreté de même que leurs efforts pour atteindre les OMD. On tente actuellement de s'assurer que cette approche bénéficie d'un large soutien et qu'elle est coordonnée avec d'autres gestes posés par la com- munauté des bailleurs de fonds (AID, 2002). · Une adhésion à l'Organisation mondiale du commerce. La mondialisation a changé les règles du jeu et a créé de nouvelles pressions. Dans ce contexte, on cherche à réduire davantage les barrières commerciales, et les détenteurs de capitaux et les intérêts privés exigent un climat d'investissement stable, la pri- mauté du droit et la protection de la propriété et des brevets avant d'investir dans un pays donné. L'Organisation mondiale du commerce (OMC), qui a succédé à l'Accord géné- ral sur les tarifs douaniers et le commerce (GATT), en est un exemple. Créée en 1995, l'OMC facilite la libre circulation des biens et services à l'échelle interna- tionale. Elle compte 147 membres, et 26 autres adhésions sont en cours de négo- ciation. Plus des trois quarts des pays membres se retrouvent parmi les pays en développement et les pays les moins développés de la planète. Les membres doi- vent accepter un ensemble de règles spécifiques concernant la réciprocité et le traitement égal des partenaires commerciaux, la transparence dans les régimes commercial et légal, la réduction des barrières commerciales, l'adoption de lois sur les droits de propriété intellectuelle, et la protection de l'environnement. Ils doivent aussi accepter d'être suivis et évalués selon ces critères. · L'élargissement de l'Union européenne. L'Union européenne (UE) a connu 5 phases distinctes d'élargissement durant son histoire, passant de 6 à 25 pays membres. D'autres pays continuent de négocier les termes de leur adhésion à l'UE. Les pays qui souhaitent se joindre à l'organisation doivent présenter trois critères fondamentaux : des institutions démocratiques stables, un respect des droits de la personne et des minorités ; une économie de marché fonctionnelle capable de faire face aux pressions concurrentielles à l'intérieur de l'UE ; et la capacité de satisfaire aux obligations qu'implique l'union politique, économique et monétaire. Dans cette perspective, l'UE surveille le progrès accompli par les membres potentiels en ce qui a trait à l'adoption, la mise en oeuvre et l'applica- tion de la législation européenne. Les industries nationales doivent également satisfaire aux normes et aux standards de l'UE. · Les Fonds structuraux de l'UE. Les fonds structuraux de l'UE ont été utilisés pour soutenir et aider le développement socioéconomique des régions moins développées des pays membres de l'UE. Ils ont servi à redistribuer des fonds aux régions les plus pauvres dans une tentative d'atteindre une plus grande cohésion socioéconomique à l'intérieur de l'UE. À mesure que l'Union s'élargit, les Fonds structuraux seront attribués aux régions moins développées des nouveaux membres, ce qui aura pour effet de les inclure aussi dans le système d'évaluation. *MEP corrigée finale-3 2/3/06 8:43 AM Page 8 8 Vers une culture du résultat L'approche des Stratégies nationales de réduction de la pauvreté Les banques multilatérales de développement ont mis en place des stratégies et des approches pour appuyer le développement durable et la réduction de la pauvreté. Ces initiatives impliquent aussi de fixer des objectifs, de choisir des indicateurs, et de suivre et d'évaluer les progrès par rapport à ces objectifs. · Les Stratégies nationales de réduction de la pauvreté. L'Initiative PPTE est aussi rattachée aux Stratégies nationales de réduction de la pauvreté. En 1999, la communauté internationale du développement a donné son accord à l'utilisa- tion des Stratégies nationales de réduction de la pauvreté comme base pour les prêts concessionnels et l'allégement de dette. « Les Documents de stratégie de réduction de la pauvreté (PRSP) décrivent les politiques et programmes macroéconomiques, structurels et sociaux qui visent à promouvoir la croissance et réduire la pauvreté d'un pays ainsi que ses besoins de financement externe. Les PRSP sont préparés par les gouvernements dans le cadre d'un processus participatif qui implique la société civile et les partenaires du développement... » (Banque mondiale, 2003b). Les Stratégies nationales de réduction de la pauvreté doivent à leur tour se rat- tacher à des objectifs de développement étalés sur trois ans. Ces objectifs doi- vent faire l'objet d'un consensus et comprendre un cadre de gestion et un ensemble correspondant d'indicateurs mesurables, ainsi qu'un système de suivi et d'évaluation servant à mesurer les progrès. Plus spécifiquement, « un PRSP formulera les objectifs de réduction de la pauvreté à moyen et long termes (selon des critères monétaires et non monétaires), déterminera les indicateurs de pro- grès, et établira les cibles annuelles et à moyen terme. Les indicateurs et les cibles doivent être appropriés, compte tenu de l'évaluation de la pauvreté et de la capacité institutionnelle à faire un suivi... un PRSP contiendrait [aussi] une éva- luation des systèmes de suivi et d'évaluation du pays en question... » (Banque mondiale, 2003b). Les pays qui souhaitent participer à l'Initiative PPTE doivent donc s'engager dans un processus qui implique plus de responsabilisation et de transparence par le suivi, l'évaluation et l'atteinte de résultats mesurables. · Le Cadre de développement intégré. Les Cadres de développement intégré (CDI) se fondent sur quatre principes fondamentaux : un cadre de développement inté- gré et conçu selon une vision à long terme ; une attention particulière portée à l'obtention de résultats ; une appropriation du processus par le pays ; et un par- tenariat coordonné par le pays. Les CDI et les Stratégies nationales de réduction de la pauvreté se renforcent mutuellement ; les deux insistent aussi sur l'impor- tance d'être tenu responsable des résultats. L'adoption et l'application des CDI ­ une approche systémique, à long terme (qui s'échelonne en général sur dix ans) du développement qui implique tous les partenaires ­ a également eu pour effet de susciter des pressions pour suivre et éva- luer la participation des partenaires et les progrès du développement économique. Le CDI confère à la Stratégie nationale de développement d'un pays une délimi- tation claire des objectifs de réduction de la pauvreté à moyen et long termes, *MEP corrigée finale-3 2/3/06 8:43 AM Page 9 Introduction 9 incluant des indicateurs pour mesurer le progrès, garantissant ainsi que les poli- tiques sont bien conçues, mises en oeuvre efficacement et suivies avec diligence. Par exemple, des ONG qui s'impliquent dans le processus cherchent des façons de surveiller leur propre performance en ce qui a trait à la Stratégie natio- nale de réduction de la pauvreté et au Plan national de développement. Des Plans nationaux de développement sont actuellement mis en oeuvre dans un cer- tain nombre de pays, et l'on espère que cette approche procurera des informa- tions pertinentes sur l'établissement de points de départ et sur la mesure des résultats du développement. Le Plan national de développement joue par exemple un rôle central dans la mise en place d'un système de suivi et d'évalua- tion au Kirghizstan. Un examen récent des CDI a observé que « Des études et des partages d'ex- périence additionnels entre les pays bénéficiaires sont nécessaires pour mieux comprendre comment mettre en place des systèmes de suivi et d'évaluation qui seront pris en charge par les pays... » (Banque mondiale, 2003a, p. 4). Les initiatives et les forces internes en faveur du changement Les partenaires nationaux pressent de plus en plus les gouvernements d'entreprendre des réformes. Il leur faudrait par exemple faire preuve de responsabilité et de trans- parence, élaborer des politiques publiques équitables, et fournir des biens et services d'une façon rapide et efficace. Ces pressions peuvent venir des membres du gouver- nement, du Parlement, des partis d'opposition, des gestionnaires et du personnel des programmes, des citoyens, du milieu des affaires, des ONG, de la société civile et des médias. · Décentralisation, déréglementation, commercialisation et privatisation. Dans de nombreux pays, la mise en oeuvre de diverses réformes (telles que la décentrali- sation, la déréglementation, la commercialisation et la privatisation) incite davantage de gouvernements locaux et régionaux à instaurer des processus de suivi et d'évaluation. Le besoin de surveillance se fait aussi davantage sentir maintenant que de nouveaux fournisseurs de services non gouvernementaux (comme les ONG, le secteur privé et des groupes de la société civile) ont com- mencé à prendre en charge certaines des fonctions du secteur public qui étaient auparavant normalement remplies par les États. À mesure que de telles initiatives seront entreprises, il sera nécessaire de sur- veiller et d'évaluer la performance des activités gouvernementales et non gou- vernementales, ainsi que des nouveaux groupes de partenaires. Par exemple, la Colombie, le Chili et l'Indonésie procèdent en ce moment à une décentralisation fiscale et cherchent à établir et à prolonger au niveau local les responsabilités sur le plan de l'évaluation. Bien que certains gouvernements réduisent leur rôle en ce qui a trait à la four- niture de biens et services publics, ils devront toujours continuer à surveiller et à évaluer l'impact de leurs politiques et programmes, quels que soient ceux qui les exécutent. · Changements dans la taille et les ressources des gouvernements. Les gouverne- ments subissent de nombreuses pressions internes pour réduire leurs effectifs et *MEP corrigée finale-3 2/3/06 8:43 AM Page 10 10 Vers une culture du résultat se réformer. Ils sont confrontés à des contraintes budgétaires qui les forcent à faire des choix et des compromis difficiles lorsqu'ils décident de la meilleure uti- lisation de ressources limitées. Les pressions pour faire plus avec moins ­ tout en accomplissant des résultats concrets ­ se font plus urgentes. Les gouverne- ments reconnaissent de plus en plus le besoin de mettre en place et de soutenir des systèmes de suivi et d'évaluation axés sur les résultats pour montrer qu'ils sont performants. Il existe une multitude de forces, d'initiatives et de parties prenantes, sur les plans national, multilatéral et international, qui demandent aux gouvernements d'être plus responsables et transparents et de démontrer qu'ils peuvent accomplir des résul- tats concrets. Pour pouvoir participer à la mondialisation et en récolter les bénéfices, les pays en développement tout spécialement devront se conformer à des exigences, des standards et des objectifs spécifiques. Les systèmes de suivi et d'évaluation axés sur les résultats peuvent devenir un puissant instrument de gestion publique en les aidant à mesurer leur performance et à suivre leurs progrès dans la poursuite des objectifs établis. DEUXIÈME PARTIE Le suivi et l'évaluation axés sur les résultats ­ Un puissant outil de gestion publique Cette section se penche sur le pouvoir d'influence associé à la mesure des résultats (voir l'encadré i.iv), l'histoire et la définition du suivi-évaluation, la différence entre les systèmes traditionnels de suivi et d'évaluation axés sur la mise en oeuvre et les nouveaux systèmes axés sur les résultats, et les rôles complémentaires du suivi et de l'évaluation. Cette section examine également les nombreuses applications du suivi et de l'évaluation axés sur les résultats. On y traite aussi des défis techniques, orga- nisationnels, et politiques rencontrés lors de la mise en place d'un système de suivi et d'évaluation axé sur les résultats. Enfin, le modèle en dix étapes pour la concep- tion, la construction et le maintien de tels systèmes est présenté de façon prélimi- naire, avec quelques commentaires sur les façons de garantir leur durabilité dans un pays donné. La mesure de la performance procure un pouvoir d'influence considérable. Les anciens Égyptiens surveillaient régulièrement la production de céréales et de bétail de leur pays il y a plus de 5000 ans. En ce sens, le suivi-évaluation ne constitue cer- tainement pas un nouveau phénomène. Les gouvernements contemporains se sont eux aussi livrés à certains types de suivi et d'évaluation traditionnels au cours des dernières décennies. Ils ont cherché à consigner leurs dépenses, leurs recettes, leurs effectifs, leurs ressources, les activités liées aux programmes et projets, les biens et services qu'ils produisent, etc. Les gouvernements possèdent divers types de systèmes de suivi dans leur boîte à outils de gestion. Chaque gouvernement s'appuie nécessairement sur les trois sys- tèmes de base que sont les ressources humaines, les finances et la comptabilité. Mais ils ont aussi besoin de bons systèmes de rétroaction. Un système de suivi et *MEP corrigée finale-3 2/3/06 8:43 AM Page 11 Introduction 11 Encadré i.iv Le pouvoir d'influence associé à la mesure des résultats · Si vous ne mesurez pas les résultats, vous serez incapable de distinguer les succès des échecs. · Si vous ne pouvez reconnaître le succès, vous n'avez aucun moyen de le récompenser. · Si vous ne pouvez récompenser le succès, vous êtes probablement en train de récompenser l'échec. · Si vous ne pouvez reconnaître le succès, vous n'apprendrez rien de lui. · Si vous ne pouvez reconnaître l'échec, vous n'avez aucun moyen de le corriger. · Si vous pouvez faire la preuve de l'atteinte de résultats, vous pouvez obte- nir l'appui du public. Source : d'après Osborne & Gaebler, 1992. d'évaluation axé sur les résultats est fondamentalement un outil de gestion publique que les gouvernements peuvent utiliser pour mesurer et évaluer les réalisations, pour ensuite réintroduire cette information dans les processus continus de gouvernance et de prise de décision. Suivi et évaluation... de quoi s'agit-il ? Les réponses crédibles à la question « Et puis après ? » abordent les préoccupations des partenaires en ce qui concerne la responsabilité, donnent de l'information aux gestionnaires du secteur public sur les progrès accomplis dans la réalisation des cibles et des objectifs déclarés, et procurent des indications substantielles pour justifier tout changement à mi-parcours dans les politiques, les programmes et les projets. La mise en place d'un système de suivi et d'évaluation équivaut dans les faits à l'ajout de la quatrième patte à la chaise de la gouvernance. Ce qui fait typiquement défaut dans les systèmes gouvernementaux est la composante de rétroaction liée aux résultats et aux conséquences de l'action gouvernementale. C'est pourquoi la mise en place d'un système de suivi et d'évaluation procure aux décideurs un outil addi- tionnel de gestion pour le secteur public. L'OCDE (2002a) définit ainsi le suivi et l'évaluation : Le suivi est une fonction permanente qui utilise la collecte systématique de don- nées se rapportant à des indicateurs spécifiques pour fournir aux gestionnaires et aux principaux partenaires d'un projet de développement en cours des renseigne- ments sur l'étendue du progrès et de la réalisation des objectifs ainsi que sur l'uti- lisation des fonds alloués (p. 27). L'évaluation est l'examen systématique et objectif d'un projet, d'un programme ou d'une politique, en cours ou complété, incluant sa conception, sa mise en oeuvre et ses résultats. Le but est de déterminer la pertinence et l'accomplissement des objectifs, l'efficacité, l'impact et la viabilité du développement. Une évaluation devrait fournir de l'information crédible et utile, permettant d'intégrer les leçons *MEP corrigée finale-3 2/3/06 8:43 AM Page 12 12 Vers une culture du résultat apprises lors du processus de prise de décision du récipiendaire ou des donateurs (p. 21). (Voir l'annexe VI pour un glossaire complet des principaux termes relatifs à l'éva- luation et la gestion axées sur les résultats.) En juxtaposant ces deux définitions, il devient immédiatement évident qu'elles sont distinctes même si complémentaires. Le suivi donne de l'information sur le degré d'avancement d'une politique, d'un programme ou d'un projet à un moment donné (et dans le temps) relativement aux cibles et aux résultats. Son but est des- criptif. L'évaluation indique pourquoi les cibles et les résultats ont ou n'ont pas été atteints. Elle vise à expliquer les causes. Il est particulièrement important de noter ici que le concept traditionnel de suivi et d'évaluation prend une dimension nouvelle et se concentre explicitement sur les réalisations et les impacts. L'évaluation complète le suivi ; lorsqu'un système de surveillance envoie des signaux indiquant que les efforts en cours sont sur la mauvaise voie (par exemple, que la population ciblée n'utilise pas les services, que les coûts sont en forte hausse, qu'une véritable résistance se manifeste vis-à-vis l'adoption d'une innovation, etc.), une bonne information au stade de l'évaluation peut alors aider à clarifier les faits et les tendances observés par le système de suivi. « Si l'information sur la perfor- mance annuelle est présentée seule (isolément) sans le contexte et l'apport de l'éva- luation du programme, des gestionnaires de programmes, des législateurs [...] et d'autres intervenants pourraient tirer des conclusions incorrectes en ce qui a trait aux causes des améliorations et des détériorations dans certains domaines... Il n'est habituellement pas possible de dire à quel point les interventions de nos programmes gouvernementaux ont été efficaces en se fiant simplement aux données sur les ten- dances » (ChannahSorah, 2003, p. 7). Une bonne information évaluative durant tout le cycle de vie d'une initiative ­ et non seulement à la fin ­ est nécessaire pour cerner les causes. Le tableau i.i fait ressortir les rôles différents ­ mais complémentaires ­ du suivi et de l'évaluation dans les systèmes axés sur les résultats. Le suivi peut donc être fait au niveau du projet, du programme ou des politiques. Par exemple, si l'on se penche sur la santé infantile, on pourrait faire le suivi au stade du projet en observant le degré de conscientisation concernant l'importance de bons soins prénataux dans six villages cibles. Au stade du programme, on pourrait effec- tuer un suivi pour s'assurer que l'information sur les soins prénataux cible bien les femmes enceintes d'une région entière du pays. Au stade du suivi des politiques, on pourrait surveiller les taux généraux de morbidité et de mortalité pour cette même région. L'évaluation, tout comme le suivi, doit être menée au stade du projet, du pro- gramme et des politiques. Si nous prenons l'exemple de la privatisation de systèmes d'aqueduc, une évaluation de projet pourrait impliquer un examen de l'amélioration dans les taux de perception des tarifs d'eau dans deux provinces. Au stade du pro- gramme, on pourrait envisager d'évaluer la gestion fiscale des systèmes publics d'aqueduc, alors qu'au stade des politiques, on pourrait évaluer différentes approches typiques dans la privatisation des services publics d'aqueduc. *MEP corrigée finale-3 2/3/06 8:43 AM Page 13 Introduction 13 Tableau i.i Les rôles complémentaires du suivi et de l'évaluation axés sur les résultats Suivi Évaluation · Clarifie les objectifs du pro- · Étudie pourquoi les résultats visés gramme ont ou n'ont pas été atteints · Lie les activités et les · Évalue les contributions spéci- ressources correspondantes fiques de certaines activités et aux objectifs leurs effets sur les résultats · Formule les objectifs en indi- · Examine le processus de mise en cateurs de performance et oeuvre définit des cibles · Collecte systématiquement · Étudie les résultats non voulus des données sur ces indica- teurs et compare les résultats obtenus avec les cibles · Rend compte des progrès aux · Détermine les leçons à retenir, gestionnaires et leur signale met en relief les réalisations la présence de problèmes significatives ou le potentiel d'un programme, et suggère des recommandations pour des améliorations Une évaluation dans le contexte d'un système de suivi et d'évaluation ne fait pas uniquement référence à l'approche classique qui consiste à déterminer les attribu- tions dans l'évaluation post factum de projets, programmes ou politiques globales. Les évaluations d'impact abordent effectivement (ou en tout cas essaient de le faire) la question de l'attribution. Mais on considère ici l'évaluation dans un contexte beaucoup plus large, en tant que mode d'analyse toujours disponible qui aide les gestionnaires de programme à acquérir une meilleure compréhension de tous les aspects de leur travail (conception, mise en oeuvre, complétion, consé- quences). On verra plus loin que les gestionnaires ont en fait besoin d'une succes- sion ininterrompue d'information évaluative, et non d'études évaluatives épiso- diques supplémentaires. Les évaluations ont aussi été utilisées à différentes fins au cours des années. Dans les pays membres de l'OCDE par exemple, les premières évaluations dans les années 1960 et 1970 se penchaient sur les façons d'améliorer les programmes sociaux. Dans les années 1980 et 1990, les gouvernements les utilisaient pour procéder à la gestion budgétaire, en étudiant par exemple des façons de réduire les dépenses et de couper dans les programmes publics. Comme nous l'avons déjà noté, les tentatives de déve- lopper des systèmes de suivi et d'évaluation se sont répandues dans les pays en déve- loppement ­ plusieurs de ces tentatives ayant été motivées par la volonté de satis- faire à des exigences spécifiques des donateurs, à des objectifs internationaux de *MEP corrigée finale-3 2/3/06 8:43 AM Page 14 14 Vers une culture du résultat développement, ou, dans certains cas, à des pressions sociales et économiques tant internes qu'externes. Encore une fois, l'évaluation peut être définie comme l'examen, aussi systéma- tique et objectif que possible, d'une intervention au stade de la planification, en cours ou complétée. Le but est de déterminer la pertinence des objectifs, l'efficacité, l'impact et la durabilité de façon à intégrer les leçons apprises dans le processus de prise de décision. Plus spécifiquement, ce type d'évaluation touche les questions liées au « pourquoi », c'est-à-dire qu'est-ce qui a provoqué les changements qui sont l'ob- jet du suivi ; les questions liées au « comment », soit l'enchaînement d'activités ou le processus qui a mené à des résultats fructueux (ou infructueux) ; et les questions de « conformité et responsabilité », c'est-à-dire est-ce que les activités promises ont réel- lement eu lieu tel que prévu ? Les aspects fondamentaux des systèmes de suivi et d'évaluation traditionnels axés sur la mise en oeuvre et des systèmes axés sur les résultats Les systèmes traditionnels de suivi et d'évaluation axés sur la mise en oeuvre sont conçus pour aborder la question de conformité. Les intrants nécessaires ont-ils été mobilisés ? Les activités prévues ont-elles entreprises et complétées ? Les extrants attendus (les produits ou services) ont-ils été fournis ? L'approche axée sur la mise en oeuvre se préoccupe surtout de surveiller et d'évaluer si un projet, un programme ou une politique sont bien exécutés, et elle fait souvent le lien entre la mise en oeuvre et une unité spécifique de responsabilité. Cette approche ne permet toutefois pas aux décideurs politiques, aux gestionnaires et aux partenaires de mieux comprendre la nature des succès ou des échecs de ces projets, programmes ou politiques. Les systèmes de suivi et d'évaluation axés sur les résultats sont conçus pour abor- der la question « Et puis après ? » Qu'est-ce que ça change si les extrants ont été générés ? Qu'est-ce que ça change si les activités ont eu lieu ? Qu'est-ce que ça change si les résultats de ces activités ont été estimés ? Un système axé sur les résul- tats fournit des réactions sur les résultats concrètement obtenus et les objectifs de l'action gouvernementale. Les systèmes axés sur les résultats permettent de répondre aux questions suivantes : · Quels sont les objectifs de l'organisation ? · Sont-ils en voie d'être atteints ? · Comment leur réalisation peut-elle être démontrée ? L'encadré i.v illustre quelques-unes des principales différences entre les systèmes traditionnels axés sur la mise en oeuvre et les systèmes axés sur les résultats. Le suivi axé sur les résultats est un processus continu de collecte et d'analyse d'in- formation dans le but de comparer dans quelle mesure la mise en oeuvre d'un pro- jet, un programme ou une politique correspond aux résultats escomptés. La figure i.i illustre comment le suivi et l'évaluation d'objectifs nationaux de développement devront inclure non seulement l'accent traditionnel sur la mise en oeuvre, mais aussi une préoccupation pour les résultats. Elle montre aussi comment *MEP corrigée finale-3 2/3/06 8:43 AM Page 15 Introduction 15 Encadré i.v Aspects fondamentaux du suivi axé sur la mise en oeuvre versus le suivi axé sur les résultats Éléments du suivi traditionnel axé sur la mise en oeuvre · Une description du problème ou de la situation avant l'intervention. · Des critères de référence pour les activités et les extrants immédiats. · Une production systématique de rapports sur l'approvisionnement en ressources. · Une production systématique de rapports sur la production des extrants. · Le suivi est lié directement à une intervention unique (ou une série d'interventions). · Le suivi est conçu pour fournir de l'information sur des questions adminis- tratives, de mise en oeuvre et de gestion, par opposition à des questions plus larges concernant l'efficacité du développement. Éléments du suivi axé sur les résultats (utilisé pour un ensemble d'in- terventions et de stratégies) · Des données de départ pour décrire le problème ou la situation avant l'intervention. · Des indicateurs pour les réalisations. · Une collecte de données sur les extrants pour voir si et comment ils contri- buent aux réalisations. · Davantage d'intérêt pour les perceptions de changement parmi les partenaires. · Une production systématique de rapports contenant plus d'information qualitative et quantitative sur la progression vers les réalisations. · Effectué conjointement avec les partenaires stratégiques. · Capte l'information sur le succès ou l'échec de la stratégie de partenariat dans la poursuite des réalisations voulues. Source : d'après Fukuda-Parr, Lopes et Malik, 2002, p. 11. les systèmes axés sur les résultats s'inspirent des systèmes traditionnels axés sur la mise en oeuvre et les développent. On peut noter dans la figure i.i que, en caractérisant la production d'un extrant comme un effort de mise en oeuvre plutôt que comme un résultat, on se trouve quelque peu en désaccord avec le glossaire de l'OCDE qui définit les résultats de façon à inclure les extrants en même temps que les réalisations et les impacts. Construire une école, paver une route ou former des travailleurs dans une clinique rurale ne permet pas, selon nous, de répondre à la question «Et puis après?» Quels résultats a-t-on obte- nus en construisant cette école, en pavant cette route, ou en formant ces travailleurs? Comme on peut le voir à la figure i.i, il est important que l'information provienne, dans le cadre logique, de tous les niveaux, à différents moments de l'intervention et en fonction des divers besoins des partenaires. Une stratégie courante pour surveiller la progression vers les objectifs consiste à mesurer les extrants (par exemple le *MEP corrigée finale-3 2/3/06 8:43 AM Page 16 16 Vers une culture du résultat Figure i.i Modèle de suivi pour un objectif national de développement Diminuer les taux de mortalité chez les enfants de Finalité moins de cinq ans Résultats Utilisation accrue de la TRO pour traiter la diarrhée Réalisation infantile · 15 campagnes médiatiques complétées Extrants · 100 professionnels de la santé formés · Les mères connaissent mieux les services entourant la TRO · L'accès aux services de la TRO a été amélioré e oeuvr · Campagne médiatique pour éduquer les mères Activités en · Formation des professionnels de la santé aux techniques de TRO Mise · Formateurs Intrants · Approvisionnement en matériel pour la TRO · Financement · Participants Source : Binnendijk, 2000. Note : TRO = Thérapie par réhydratation orale *MEP corrigée finale-3 2/3/06 8:43 AM Page 17 Introduction 17 nombre de professionnels de la santé qui ont été formés), mais pas les améliorations dans la performance (par exemple l'utilisation accrue de la thérapie par réhydrata- tion orale [TRO] pour traiter la diarrhée infantile). On tient pour acquis que la per- formance institutionnelle s'est améliorée, mais on fournit rarement les preuves à l'appui. Sans résultat provenant d'une mesure, il n'y a aucun moyen d'attester si la tentative a réellement permis d'atteindre les résultats (une utilisation accrue de la TRO), ni en bout de ligne l'objectif national qui s'y rattache (une réduction de la mortalité infantile). Qu'est-ce que tout cela signifie dans le contexte d'un système étatique de suivi et d'évaluation axé sur les résultats ? Comme les gouvernements cherchent à aligner leur cadre de dépenses sur les effets de leurs politiques, il est important de mesurer la performance de l'organisation dans la réalisation de ces effets. L'efficacité dans la fourniture d'un service, la qualité de la mise en oeuvre d'un programme ou d'une politique, et la gestion efficace des ressources, n'en sont que quelques exemples. Aux Philippines, par exemple, le gouvernement commence tout juste à déterminer des indicateurs sur le plan organisationnel pour les réalisations importantes. Le gouver- nement prendra des décisions budgétaires en fonction de ces indicateurs (Banque mondiale, 2001e). Des applications multiples pour le suivi et l'évaluation axés sur les résultats Il existe un nombre important et croissant d'applications pour le suivi et l'évalua- tion axés sur les résultats. Les usages pour les systèmes de suivi et d'évaluation axés sur les résultats ont augmenté au même rythme que les besoins en matière de res- ponsabilité et de résultats tangibles. Applications aux projets, programmes et politiques. Les systèmes de suivi et d'éva- luation axés sur les résultats ont été conçus et utilisés avec succès pour faire un suivi et évaluer autant les projets, les programmes que les politiques. L'information et les données peuvent être recueillies et analysées à chacun des stades de façon à fournir des réactions à différents moments. De cette façon, l'information peut être utilisée pour mieux informer les principaux décideurs, le public en général et les autres partenaires. Le suivi et l'évaluation peuvent et doivent être manifestes pendant tout le cycle de vie d'un projet, d'un programme ou d'une politique, tout comme lorsqu'ils prennent fin. Le suivi et l'évaluation ­ avec sa succession ininterrompue de données et de réac- tions ­ a enrichi chacune des étapes, de la conception à la mise en oeuvre et à l'im- pact. « À chaque stade, l'information spécifique et la complexité de la collecte des données différera, on remarquera que la collecte des données génère des probléma- tiques politiques différentes, et l'information sera employée de différentes façons d'un stade à un autre » (Kusek et Rist, 2001, p. 17). Les applications internes et externes. Le suivi et l'évaluation peuvent également être menés aux niveaux local, régional et national. Bien qu'elles ne soient pas iden- tiques, les applications pour le suivi et l'évaluation sont évidentes, qu'on l'envi- sage du point de vue de la complexité administrative (du projet au programme à la politique) ou dans une optique géographique. Encore une fois, les indicateurs *MEP corrigée finale-3 2/3/06 8:43 AM Page 18 18 Vers une culture du résultat spécifiques différeront, puisque les besoins en information des partenaires varieront aussi pour chaque niveau de gouvernement. Il faut également noter qu'un système fonctionnel de suivi et d'évaluation fournit un flot continu d'information qui peut être utile autant sur le plan interne qu'ex- terne. Les usages internes entrent en jeu lorsque l'information en provenance du sys- tème de suivi et d'évaluation est utilisée en tant qu'outil par les gestionnaires du sec- teur public, un outil qui s'avère crucial dans l'atteinte de résultats et de cibles spécifiques. Le gestionnaire du secteur public a absolument besoin d'information sur le progrès, les problèmes et la performance s'il veut obtenir des résultats. De même, l'information en provenance du système de suivi et d'évaluation est importante pour ceux qui, à l'extérieur du secteur public, s'attendent à des résultats, veulent que l'ac- tion du gouvernement (et l'argent des impôts) produise des impacts concrets, et espèrent ressentir davantage de confiance envers un gouvernement qui cherche à améliorer la vie de ses citoyens. Fondamentalement, le système de suivi et d'évaluation permet de mieux concep- tualiser et de clarifier les finalités et les objectifs. Les gouvernements et les parte- naires peuvent aussi utiliser les systèmes de suivi et d'évaluation pour élaborer et jus- tifier les requêtes financières. Par contraste avec l'approche précédente axée sur la mise en oeuvre, le suivi et l'évaluation axés sur les résultats se consacrent à obtenir des résultats qui importent à l'organisation et à ses partenaires internes et externes. Les systèmes de suivi et d'évaluation peuvent déceler les programmes et les pra- tiques qui sont potentiellement prometteurs. Ils peuvent également dévoiler les conséquences non voulues ­ mais peut-être utiles ­ des projets, programmes et poli- tiques. Inversement, les systèmes de suivi et d'évaluation permettent aux gestion- naires de déceler les faiblesses dans les programmes et de prendre des initiatives pour les corriger. Une stratégie de suivi et d'évaluation peut être utilisée pour apaiser les craintes à l'intérieur des organisations et des gouvernements, et permettre plutôt d'insuffler une atmosphère d'ouverture dans laquelle les gens pourront apprendre de leurs erreurs tout en accumulant des connaissances. Un capital de connaissances. Les bons systèmes de suivi et d'évaluation sont aussi une source de connaissances. Ils permettent aux gouvernements et aux organisations de développer une base de connaissances sur les types de projets, de programmes et de politiques qui réussissent, et plus généralement sur ce qui fonctionne, ce qui ne fonctionne pas, et pourquoi. Les systèmes de suivi et d'évaluation peuvent aussi fournir une rétroaction continue dans le processus managérial de surveillance et d'évaluation de la progression vers un but donné. Dans ce contexte, ils encouragent l'apprentissage au sein de l'organisation. L'accès du public à l'information en provenance des systèmes de suivi et d'évalua- tion axés sur les résultats contribue également de façon importante au développe- ment économique, aussi bien à l'intérieur des pays qu'au niveau de leurs relations économiques. « L'accès à l'information est une composante essentielle d'une straté- gie de développement réussie. Si nous voulons sérieusement réduire la pauvreté à l'échelle mondiale, nous devons libéraliser l'accès à l'information et en améliorer la qualité » (Stiglitz et Islam, 2003, p. 10). *MEP corrigée finale-3 2/3/06 8:43 AM Page 19 Introduction 19 Transparence et responsabilité. Les systèmes de suivi et d'évaluation peuvent éga- lement promouvoir une plus grande transparence et responsabilité au sein des orga- nisations et des gouvernements. Des retombées bénéfiques peuvent aussi se produire lorsque les résultats sont dévoilés. Les partenaires externes et internes ont alors une meilleure idée de l'état des projets, programmes et politiques. Cela permet également de susciter un plus grand appui politique et populaire lorsqu'on détient la capacité de démontrer des résultats positifs. Il existe des coûts et des risques organisationnels et politiques associés à la mise en place de systèmes de suivi et d'évaluation axés sur les résultats. Toutefois, ne pas le faire implique aussi des coûts et des risques très importants. Les défis politiques et techniques liés à la mise en place de systèmes de suivi et d'évaluation axés sur les résultats La mise en place de systèmes axés sur les résultats implique une multitude de défis de nature politique et technique. Les défis politiques sont souvent les plus difficiles à relever. L'aspect politique du suivi et de l'évaluation. Mettre en oeuvre des systèmes de suivi et d'évaluation axés sur les résultats comporte plusieurs défis politiques dans les pays membres de l'OCDE tout comme dans les pays en développement. Par-dessus tout, cela nécessite un leadership et une volonté politiques forts et cohérents ­ habituelle- ment sous la forme d'un champion politique. En introduisant l'information axée sur les résultats dans l'arène publique, il est possible de modifier la dynamique des rela- tions institutionnelles, de la planification budgétaire et de l'affectation des ressources, les ambitions politiques personnelles, et la perception publique de l'efficacité gouver- nementale. Des intérêts puissants peuvent également se sentir attaqués. Il peut y avoir des opposants aux réformes à l'intérieur et à l'extérieur du gouvernement. Le rôle du champion politique est donc crucial pour garantir l'institutionnalisation et la péren- nité des systèmes de suivi et d'évaluation axés sur les résultats. Les systèmes de suivi et d'évaluation axés sur les résultats sont une composante essentielle de la structure de gouvernance ­ et sont donc fondamentalement liés au système politique et à celui du pouvoir au sein des gouvernements. Les systèmes de suivi et d'évaluation fournissent une information critique et donnent aux décideurs les moyens de prendre des décisions en meilleure connaissance de cause. En même temps, la présence de cette information peut réduire ou restreindre d'une quel- conque façon le nombre d'options offertes aux politiciens ­ leur laissant ainsi moins de marge de manoeuvre dans l'élaboration de leurs politiques. Dans les démocraties, l'information sur les retombées des projets, des pro- grammes et des politiques est essentielle et l'on s'attend à l'obtenir dans le dérou- lement normal des opérations gouvernementales. On tient pour acquis que cette information peut aider et guider la prise de décision politique. Cependant, les sys- tèmes de suivi et d'évaluation peuvent présenter des défis particuliers pour les pays qui ont déjà été gouvernés par des régimes politiques centralisés et autoritaires. La mise en place de systèmes de suivi et d'évaluation qui mettront en relief les réalisa- tions ­ aussi bien les succès que les échecs ­ et qui amèneront plus de transparence *MEP corrigée finale-3 2/3/06 8:43 AM Page 20 20 Vers une culture du résultat et de responsabilité peut s'avérer particulièrement difficile et même De nombreuses étrangère à la culture politique de ces pays. Une plus longue période organisations aimeraient d'adaptation de la part de la classe politique, des citoyens et de la cul- mieux conserver leurs ture pourrait s'avérer nécessaire. activités à l'abri du regard. Enfin, il est impossible de construire des économies fortes avec des Elles ne veulent pas gouvernements faibles. Les systèmes de suivi et d'évaluation axés sur les publier de données sur leur résultats peuvent renforcer les gouvernements en accentuant l'impor- performance et leurs tance accordée aux réalisations concrètes. Une meilleure emprise sur le réalisations. Mettre en fonctionnement et les réalisations des programmes et politiques écono- place un système de suivi miques gouvernementales peut contribuer à réduire la pauvreté, à aug- et d'évaluation axé sur les menter la croissance économique et à atteindre un large éventail d'ob- résultats révèle au grand jectifs de développement. jour des questions de L'aspect technique du suivi-évaluation ­ Construire la capacité insti- performance tutionnelle. Concevoir et mettre en place un système de reddition de organisationnelle. Ce ne comptes capable de produire de l'information fiable, pertinente et sont pas tous les opportune sur la performance des projets, programmes et politiques partenaires qui seront globales des gouvernements nécessite de l'expérience, des compétences heureux de faire l'objet ainsi qu'une réelle capacité institutionnelle. Cette capacité de gérer un d'une telle attention système de reddition de comptes axé sur les résultats doit nécessaire- publique. Il s'agit là d'un ment inclure, au minimum, une aptitude à élaborer des indicateurs ; des seul parmi tant d'autres moyens de recueillir, colliger, analyser et présenter les données sur la défis politiques ­ plus que performance en regard des indicateurs et de leurs points de départs ; et techniques ­ posés par les des gestionnaires possédant les habiletés et une compréhension suffi- systèmes de suivi et sante des enjeux pour savoir quoi faire avec l'information obtenue. d'évaluation. Faire en sorte que les gouvernements développent la capacité de gérer ces systèmes constitue une entreprise à long terme. Quelques pays en développement n'ont pas en ce moment la capacité minimale pour mesurer avec succès les intrants, les activités et les extra- nts. Tous les pays devront toutefois ultimement posséder la capacité technique de faire un suivi à chacune des étapes d'un système de suivi et d'évaluation axé sur les résultats ­ à l'étape de l'intrant, de l'activité, En comparaison avec les de l'extrant (mise en oeuvre), de la réalisation et de l'impact (objectif). aspects politiques de la La capacité de produire des statistiques est une composante essen- mise en place de systèmes tielle d'un système axé sur les résultats. L'information et les données de suivi et d'évaluation doivent être valides, vérifiables, transparentes et largement accessibles axés sur les résultats, les au gouvernement et aux partenaires intéressés ­ y compris le grand aspects techniques sont public. Cela peut présenter des difficultés pour certains gouvernements relativement moins qui préféreraient ne pas dévoiler et partager les données pour des rai- complexes et plus faciles sons politiques ou pour dissimuler des problèmes de corruption. à résoudre. Il est également nécessaire d'avoir accès à du personnel et à des ges- tionnaires formés aux techniques, ainsi qu'à des technologies informa- tiques à tout le moins minimales. Dans certains cas, un soutien et une formation techniques appuyés par les donateurs seront d'abord néces- saires pour que le pays puisse produire un minimum d'information et de données et enclencher la mise en place d'un système de suivi et *MEP corrigée finale-3 2/3/06 8:43 AM Page 21 Introduction 21 d'évaluation. Par exemple, un examen récent a observé que les principaux respon- sables nationaux du suivi et de l'évaluation axés sur les résultats et de la planifica- tion budgétaire axée sur la performance en République arabe d'Égypte auront besoin d'une formation pour développer leurs compétences (Banque mondiale, 2001c). Dans le cas de la Colombie, les responsables gouvernementaux ont com- mandé une évaluation externe de certains projets importants tout en renforçant la capacité interne de procéder à ces évaluations. Parfois, une grande quantité de données est recueillie dans un pays, mais on ignore de quelle façon les utiliser. Recueillir et imposer une grande quantité de données aux gestionnaires ne fait pas avancer les choses. Fournir des montagnes de données sans aucune analyse ne permettra pas de générer l'information nécessaire à l'amélioration des programmes. Quelle est la quantité suffisante d'information et de données ? De toute évidence, les décideurs obtiennent rarement toute l'information dont ils ont besoin quand ils en ont besoin. Il s'agit d'un dilemme de gestion courant pour n'importe quelle orga- nisation. Cependant, si le système de suivi et d'évaluation fournit une certaine rétro- action découlant d'une analyse, il aidera les décideurs à prendre des décisions plus éclairées même si les données demeurent imparfaites. Présentation du modèle en dix étapes pour mettre en place un système de suivi et d'évaluation axé sur les résultats Même si la séquence spécifique des étapes pour mettre en place un système de suivi et d'évaluation axé sur les résultats varie selon les experts, tous s'entendent toute- fois sur l'intention générale. Par exemple, différents experts proposent des modèles en quatre ou en sept étapes. Indépendamment du nombre d'étapes, pour mettre en place un système de suivi et d'évaluation, il faut : · formuler les réalisations et les finalités ; · choisir des indicateurs en lien avec les réalisations ; · recueillir de l'information sur la situation actuelle ; · établir des cibles spécifiques à atteindre et des dates limites pour les atteindre ; · recueillir des données régulièrement pour évaluer si les cibles sont en voie d'être atteintes ; · analyser et présenter les résultats. Tous conviennent qu'un bon système doit comprendre certains éléments. On peut alors se demander pourquoi ces systèmes ne font pas partie des pratiques d'affaires normales des agences gouvernementales, des partenaires, des prêteurs et des emprunteurs. Une raison évidente est que ceux qui conçoivent les systèmes de suivi et d'évaluation ne saisissent souvent pas la complexité et les subtilités du contexte propre au pays, au gouvernement ou au secteur en question. De plus, ceux qui amorcent la mise en place du système comprennent souvent trop vaguement les besoins des usagers. Les facteurs organisationnels, politiques et culturels reçoivent aussi trop peu d'attention. Dans ce contexte, le modèle en dix étapes présenté ici (figure i.ii) diffère des autres dans la mesure où il fournit des détails considérables sur comment mettre en *MEP corrigée finale-3 2/3/06 8:43 AM Page 22 22 Vers une culture du résultat place, entretenir et ­ ce qui est peut-être plus important encore ­ maintenir un sys- tème de suivi et d'évaluation axé sur les résultats. Il diffère également des autres approches en ce qu'il comprend un examen de l'état de préparation. Un tel examen doit être mené avant la mise en place d'un système. L'examen de l'état de prépara- tion est à la base du système de suivi et d'évaluation. Tout comme la construction d'un édifice doit débuter avec la pose des fondations, la construction d'un système de suivi et d'évaluation doit être amorcée avec l'examen de l'état de préparation. Sans une bonne compréhension des fondations, la poursuite du processus peut être remplie d'embûches et, en bout de ligne, se solder par un échec. Voilà donc pour l'étape 1. La construction et le maintien de systèmes de suivi et d'évaluation impliquent des processus politiques et participatifs et des partenariats. On entend par là la néces- sité de consulter les principaux partenaires internes et externes afin qu'ils détermi- nent des réalisations, des indicateurs, des cibles, etc. Le modèle met cet aspect en relief. À l'étape 2 du modèle, il est question des choix à effectuer parmi les réalisa- tions à surveiller et à évaluer. Les réalisations montrent le chemin qu'il faut emprunter. L'étape 3 consiste à déterminer les principaux indicateurs de performance pour surveiller les progrès en ce qui a trait aux intrants, activités, extrants, réalisations et impacts. Les indicateurs peuvent fournir une rétroaction continue et une abondance d'information sur la performance. Il existe plusieurs directives qui peuvent faciliter le choix des indicateurs. En bout de ligne, l'élaboration de bons indicateurs consti- tuera un processus itératif. À l'étape 4 du modèle, on détermine des points de comparaison pour la perfor- mance ­ qualitatifs ou quantitatifs ­ qui serviront au début de la période de suivi. On se référera plus tard à ces points de comparaison afin de faire le suivi et d'évaluer les résultats. L'étape 5 poursuit les étapes précédentes et implique la sélection de cibles pour les résultats, c'est-à-dire de points d'arrêt intérimaires vers le résultat à plus long terme. Les cibles peuvent être sélectionnées en examinant les niveaux des indicateurs au départ et les niveaux d'amélioration souhaités. La surveillance des résultats, à l'étape 6 du modèle, inclut à la fois un suivi de la mise en oeuvre et des résultats. Surveiller les résultats signifie qu'il faut recueillir des données de qualité sur la performance, ce pour quoi des directives ont été pré- vues. L'étape 7 aborde les différents types d'évaluation, leurs applications et leur synchronisation. L'étape 8 correspond à la présentation des résultats et se penche sur les façons d'analyser et de présenter les données obtenues de façon à aider les décideurs à pro- céder aux ajustements nécessaires dans les projets, les programmes et les politiques. L'étape 9, qui part des données obtenues, est également une étape importante pour générer et partager les connaissances et les enseignements au sein des gouvernements et des organisations. Enfin, l'étape 10 traite des défis à relever pour maintenir des systèmes de suivi et d'évaluation axés sur les résultats, incluant la demande pour l'instauration d'un système, la définition claire des rôles et des responsabilités, la fiabilité et la crédi- bilité de l'information, la responsabilité, la capacité et les incitations appropriées. *MEP corrigée finale-3 2/3/06 8:43 AM Page 23 Introduction 23 Ce modèle en dix étapes peut être utilisé pour des projets, des programmes et des politiques. Il ne s'agit pas d'un processus linéaire, malgré son aspect rectiligne. Il y aura inévitablement un va-et-vient entre les étapes, et l'on s'attaquera parfois à plu- sieurs étapes à la fois. L'utilisation de ces systèmes de suivi et d'évaluation axés sur les résultats peut entraîner des changements culturels majeurs dans les façons d'opérer des organisa- tions et des gouvernements. Lorsqu'ils sont construits et maintenus correctement, ces systèmes peuvent mener à une plus grande responsabilité et transparence, à des performances améliorées et à la promotion de nouveaux savoirs. Doit-on privilégier l'approche pour l'ensemble du gouvernement, l'approche partielle ou l'approche mixte ? Partout dans le monde, les gouvernements choisissent des systèmes de suivi et d'éva- luation axés sur les résultats distincts. Il existe essentiellement trois approches. La première est l'approche pour l'ensemble du gouvernement. Cette approche a été adoptée par quelques pays qui ont les premiers mis en place un système de suivi et d'évaluation. L'approche pour l'ensemble du gouvernement implique une applica- tion large et exhaustive des processus de suivi et d'évaluation dans toutes les fonc- tions de l'État. Depuis l'adoption des OMD, plusieurs pays en développement cherchent à conce- voir et à instaurer des systèmes exhaustifs de suivi et d'évaluation axés sur les résul- tats dans de nombreux secteurs et politiques. De même, l'aide internationale insis- tant de plus en plus sur l'atteinte de résultat, les gouvernements et les institutions donateurs devront plus que jamais prêter main-forte aux pays en développement dans la construction de systèmes exhaustifs de suivi et d'évaluation. On note une Figure i.ii Dix étapes pour concevoir, mettre en place et maintenir un système de suivi et d'évaluation axé sur les résultats Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation *MEP corrigée finale-3 2/3/06 8:43 AM Page 24 24 Vers une culture du résultat tendance parmi les agences et les gouvernements donateurs à mener des évaluations mixtes impliquant le pays bénéficiaire en tant que participant actif. Souvent, différents ministères se trouvent à des stades divers dans leur capacité d'entreprendre la mise en place d'un système de suivi-évaluation. Il est possible que l'approche pour l'ensemble du gouvernement ne réussisse pas à faire avancer tous les ministères au même rythme ; il pourrait être nécessaire d'espacer le déve- loppement de ces systèmes dans les ministères. Bien souvent, les innovations à un niveau vont s'infiltrer horizontalement et verticalement vers d'autres niveaux du gouvernement. La seconde approche est plus limitée et se concentre sur un secteur du gouverne- ment. Plusieurs pays ­ en particulier des pays en développement ­ pourraient ne pas être encore en position d'adopter des changements d'aussi grande envergure d'une façon exhaustive. D'autres approches plus ciblées sont disponibles, comme de com- mencer par les niveaux de gouvernement local, provincial ou régional, ou faire l'es- sai de systèmes de suivi et d'évaluation dans quelques ministères ou agences clés. Il est intéressant de constater que certains pays comme l'Irlande ont adopté une troisième approche, de nature mixte. Alors que certains domaines sont surveillés et évalués de façon exhaustive (des projets financés par les Fonds structuraux de l'UE par exemple), d'autres reçoivent une attention plus sporadique. Le gouvernement irlandais a développé une approche évaluative plus exhaustive en ce qui concerne ses programmes de dépenses (Lee, 1999). L'approche mixte pourrait également présen- ter une solution plausible pour certains pays en développement. Il est souvent recommandé de faire l'essai de systèmes de suivi et d'évaluation, quelle que soit l'approche adoptée. La meilleure stratégie pour introduire un système de suivi et d'évaluation dans un pays est de tester d'abord un programme dans un ou deux ministères choisis à titre expérimental. L'Albanie a par exemple intégré un programme de SÉ axé sur les résultats dans un cadre de dépenses à moyen terme nouvellement mis en place, et l'expérience était pilotée dans quatre ministères clés. L'Égypte a sélectionné six projets pilotes pour étudier comment pourrait fonction- ner une planification budgétaire orientée vers la performance avant d'appliquer cette approche au gouvernement dans son ensemble. Une autre stratégie pour mettre en pratique un programme axé sur les résultats est de mettre l'accent sur une clientèle particulière. Le gouvernement égyptien sou- haitait améliorer ses programmes et services faisant la promotion des questions féminines. Chaque ministère sectoriel devait déterminer quels programmes en cours adressaient des questions liées au genre et en évaluer la performance. De plus, le Conseil national sur le statut de la femme, une organisation étatique récemment fondée qui vise à améliorer le soutien du gouvernement envers les femmes, devait déterminer un ensemble d'indicateurs de performance clés que le gouvernement pourrait ensuite surveiller pour atteindre les objectifs escomptés sur ce plan. Il revient aux ministères concernés de faire le suivi et de surveiller les indicateurs pour les programmes qui sont sous leur contrôle, et de surveiller attentivement et d'éva- luer les programmes connexes dans le but d'atteindre les résultats (Banque mon- diale, 2001c). Mesurer la performance procure un pouvoir d'influence. Les systèmes de suivi et d'évaluation axés sur les résultats sont un puissant outil de gestion publique qui *MEP corrigée finale-3 2/3/06 8:43 AM Page 25 Introduction 25 permettent aux gouvernements et aux organisations de démontrer les impacts et les réalisations à leurs partenaires respectifs, de même que d'obtenir l'appui du public. Les systèmes axés sur les résultats sont semblables aux systèmes traditionnels de suivi et d'évaluation, mais mettent davantage d'accent sur les réalisations et les impacts ­ plutôt que de s'en tenir à une simple préoccupation pour la mise en oeuvre, c'est-à-dire les intrants, les activités et les extrants. En somme, ces systèmes ont de nombreuses applications et peuvent être utilisés dans le cadre d'un projet, d'un programme ou d'une politique. La mise en place de systèmes de suivi et d'évaluation axés sur les résultats pose plusieurs défis politiques, institutionnels et techniques. De plus, les pays doivent décider s'ils adoptent l'ap- proche pour l'ensemble du gouvernement ou s'ils commencent par une approche partielle à un seul niveau au sein du gouvernement, ou à l'intérieur d'un seul minis- tère ou d'un petit groupe de ministères. Les pays développés et les pays en dévelop- pement ne conçoivent ni n'implantent pas tous leur système de la même façon. TROISIÈME PARTIE Les expériences de suivi et d'évaluation dans les pays développés et en développement Cette section fournit de l'information de base sur les expériences de mise en place de systèmes de suivi et d'évaluation axés sur les résultats dans les pays développés et en développement. Il n'y a pas une seule façon correcte d'entreprendre la construction de tels systèmes. Différents pays ­ développés tout comme en dévelop- pement ­ se trouveront à différentes phases en ce qui a trait à la mise en place de systèmes de suivi et d'évaluation. À l'intérieur des pays, différents ministères ou niveaux de gouvernement pourraient se situer à des stades de développement diffé- rents en ce qui concerne leur capacité de suivi et d'évaluation. Nous nous penche- rons sur quelques-uns des défis particuliers auxquels les pays en développement sont confrontés lorsqu'ils tentent d'instaurer, de faire fonctionner et de maintenir des sys- tèmes de suivi et d'évaluation axés sur les résultats. Les expériences de suivi et d'évaluation dans les pays développés et les pays membres de l'OCDE Une large majorité des 30 pays membres de l'OCDE ont maintenant des systèmes de suivi et d'évaluation axés sur les résultats. Le processus qu'ils ont dû suivre pour en arriver là n'a été ni facile ni linéaire. Les chemins empruntés, les approches, les styles et les niveaux de développement varient parfois substantiellement. Selon une étude récente, l'Australie, le Canada, les Pays-Bas, la Suède et les États-Unis se clas- sent aux premiers rangs pour ce qui est de leur culture d'évaluation parmi les pays membres de l'OCDE (Furubo, Rist et Sandahl, 2002). Les pays membres de l'OCDE ont développé des cultures d'évaluation et des sys- tèmes de suivi et d'évaluation en réponse à diverses pressions internes et externes. Par exemple, la France, l'Allemagne et les Pays-Bas ont développé cette culture autant pour répondre à des pressions internes qu'externes (surtout en provenance de *MEP corrigée finale-3 2/3/06 8:43 AM Page 26 26 Vers une culture du résultat l'UE), alors que des pays comme l'Australie, le Canada, la République La mise en place d'un de Corée et les États-Unis ont surtout été motivés par de fortes pres- système efficace de suivi et sions internes. d'évaluation est plus facile Il est intéressant de constater que les pionniers parmi les pays à dire qu'à faire. Un membres de l'OCDE ont été motivés à adopter des cultures d'évalua- certain nombre de tion en grande partie à cause de fortes pressions internes. Ces pays ont systèmes fonctionnent bien aussi joué un rôle décisif dans la propagation de la culture d'évaluation dans les pays développés, à d'autres pays en disséminant des idées et de l'information sur l'éva- un moins grand nombre luation, et en fondant des organisations consacrées à l'évaluation, des dans les pays en instituts de formation, des réseaux et des firmes de consultants. développement. Le Par contraste, plusieurs des pays retardataires (comme l'Italie, problème n'est pas que les l'Irlande et l'Espagne) ont réagi surtout à cause de fortes pressions gouvernements ne externes. Ils ont également été fortement influencés par la culture d'éva- fournissent pas luation des pays pionniers, de même que par la culture d'évaluation qui suffisamment d'efforts. s'est enracinée dans les organisations internationales avec lesquelles ces Pour instaurer de tels pays interagissent. systèmes, cela requiert des Les encadrés i.vi, i.vii et i.viii donnent un bref aperçu des expériences ressources, un de suivi et d'évaluation dans trois pays membres de l'OCDE ­ environnement politique l'Australie, la France et la Corée. Les motivations, approches et straté- gies diffèrent d'un pays à l'autre. Des conclusions et des leçons impor- stable ­ et des champions tantes peuvent être tirées de ces expériences. énergiques qui ne faibliront pas aux premiers Des signes de progrès dans les pays membres de l'OCDE. Une enquête obstacles. de l'OCDE offre une vue d'ensemble utile qui permet de constater à quel point une préoccupation pour les résultats s'est répandue et a pris racine dans les systèmes et les pratiques de planification budgétaire et de ges- tion au sein des pays membres de l'OCDE. « La plupart des gouverne- ments ajoutent aujourd'hui de l'information sur la performance dans leur documentation budgétaire, et cette information est sujette à une forme ou une autre de vérification dans la moitié des pays. Même si le débat actuel sur la distinction entre réalisations et extrants au sein de la communauté internationale de gestion publique et de planification bud- gétaire est relativement nouveau, cette distinction entre les deux catégo- ries de résultats est prise en compte par la plupart ou la totalité des orga- nisations dans 11 des 27 pays » (OCDE, 2002b, p. 12). Même si des progrès substantiels ont été accomplis sur un certain nombre de fronts dans les pays membres de l'OCDE, il reste encore de la place à l'amélioration. L'enquête de l'OCDE a démontré que «un petit nombre de pays seulement associent les cibles de performance aux dépenses pour tous les programmes gouvernementaux, bien qu'environ la moitié aient établi de tels liens pour quelques-uns de leurs programmes. Un nombre limité de pays utilisent des cibles de performance sans aucune relation avec les dépenses» (OCDE, 2002b, p. 12). Une autre faiblesse dénotée chez les pays membres de l'OCDE est que seulement «la moitié des pays ont fait état de l'utilisation d'information sur la performance à des fins d'affectation des ressources au cours du processus budgétaire, *MEP corrigée finale-3 2/3/06 8:43 AM Page 27 Introduction 27 mais aussi que cette utilisation se limite à l'affectation au sein de ministères et de pro- grammes» (OCDE, 2002b, p. 12). Ainsi, même si l'on remarque des progrès dans l'établissement de systèmes et de procédures de suivi et d'évaluation axés sur les résul- tats dans plusieurs pays membres de l'OCDE, il reste encore beaucoup à faire. Encadré i.vi Le modèle de suivi et d'évaluation pour l'ensemble du gouvernement de l'Australie L'Australie a été l'un des pionniers du développement des systèmes de suivi et d'évaluation, s'y attaquant dès 1987. Ce pays possédait déjà certains avantages intrinsèques qui favorisaient la construction d'une culture et d'une structure d'évaluation solides : · une forte capacité dans le secteur public sur les plans humain, institution- nel et de la gestion ; · une fonction publique reconnue pour son intégrité, son honnêteté et son professionnalisme ; · des systèmes financiers, budgétaires et comptables bien développés ; · une tradition de responsabilité et de transparence ; · des leaders politiques crédibles et légitimes. Un ensemble de facteurs ont contribué au succès de l'Australie dans la mise en place de solides systèmes de suivi et d'évaluation. Au début, des contraintes budgétaires ont poussé le gouvernement à chercher des façons de maximiser la valeur de ses dépenses. L'Australie avait également deux champions institution- nels importants qui défendaient la notion d'évaluation ­ le ministère des Finances et le Bureau national de vérification. L'Australie a décidé d'adopter la stratégie pour l'ensemble du gouverne- ment. Une telle stratégie vise à engager tous les ministères dans le processus ­ ceux qui appuient le mouvement et ceux qui sont réticents. Ces efforts rece- vaient aussi le soutien de membres du cabinet et de ministres clés pour qui il était important d'utiliser les données évaluatives dans le but de prendre de meilleures décisions. Le système d'évaluation australien a évolué, passant d'une approche stricte- ment centralisée de la part du ministère des Finances à une approche plus volontariste et fondée sur des principes de dévolution. Cette dernière approche a contribué à accroître l'engagement envers l'évaluation et la prise en charge au niveau des programmes. Aujourd'hui, chaque ministère et agence est responsable de faire son suivi et son évaluation. Les exigences formelles sur le plan du suivi et de l'évaluation ont été considérablement assouplies, et les ministères font leur suivi et leur évaluation selon leurs propres priorités. Les ministères doivent cependant tou- jours inclure l'information sur la performance dans les documents budgétaires et les conclusions des évaluations lorsqu'elles sont disponibles. Par ailleurs, cer- taines évaluations continuent d'être mandatées par le cabinet. Les plus gros ministères sont particulièrement actifs lorsqu'il s'agit de commander des éva- luations formelles et d'en utiliser les conclusions. Source : Mackay, 2002. *MEP corrigée finale-3 2/3/06 8:43 AM Page 28 28 Vers une culture du résultat Encadré i.vii France : des réformes gouvernementales en mode accéléré malgré un retard initial Par contraste avec les autres pays membres de l'OCDE, la France a mis du temps avant d'adopter un système de suivi et d'évaluation axé sur les résultats. La France traînait même derrière plusieurs économies en transition et en déve- loppement. De nombreuses tentatives de réformes progressives ont été menées vers la fin des années 1980 et durant les années 1990. En 2001, le gouvernement français a toutefois adopté une législation d'en- vergure. Celle-ci remplaçait le règlement constitutionnel sur les finances de 1959 (qui avait abrogé la planification budgétaire par objet de dépenses) et instituait une nouvelle approche sur le plan des programmes. Le nouveau règlement constitutionnel, qui sera graduellement mis en vigueur durant une période de cinq ans (2001-2006), comporte deux buts fondamentaux : réformer le cadre de gestion publique pour l'orienter davantage vers les résultats et la performance ; et renforcer la supervision parlementaire. Comme l'a noté l'ex- premier ministre Lionel Jospin, « la présentation du budget sous la forme de programmes regroupant les dépenses pour chaque politique publique impor- tante devrait donner aux membres du Parlement ainsi qu'aux citoyens une image plus claire des priorités du gouvernement et des coûts et résultats de son action. » Environ 100 à 150 programmes ont été ciblés, et les ressources financières nécessaires ont été mises de côté. Chaque budget de programme soumis devant le Parlement doit inclure une déclaration contenant des objectifs précis et des indicateurs de performance. Les gestionnaires publics détiennent plus de liberté et d'autonomie pour l'affectation des ressources, mais ils sont en retour davan- tage tenus responsables pour les résultats. Le nouveau processus budgétaire est donc entièrement déterminé par l'obtention de résultats. Les budgets à venir contiendront des plans annuels de performance, présen- tant en détail les résultats attendus pour chaque programme versus les résultats obtenus. Des rapports annuels sur la performance sont également inclus dans les examens budgétaires. En conséquence, les membres du Parlement peuvent éva- luer la performance de ces programmes gouvernementaux. Conformément aux observations précédentes sur la nature politique du suivi et de l'évaluation, cette réforme a modifié certains rapports politiques et insti- tutionnels au sein du gouvernement français. Dans ce contexte, on a accordé des pouvoirs accrus au Parlement en matière de planification budgétaire. « L'article 40 de la Constitution interdisait auparavant aux membres du Parlement de déposer des amendements pour augmenter les dépenses ou dimi- nuer les recettes. Ils seront dorénavant capables de modifier la distribution des crédits budgétaires entre les programmes pour une mission donnée. » Le Parlement peut voter sur les estimations de recettes, l'allocation des crédits budgétaires pour chaque mission, les limites au nombre d'emplois créés dans la fonction publique, les comptes spéciaux et les budgets spécifiques. De plus, les comités parlementaires des finances ont maintenant des responsabilités de suivi et de supervision en ce qui concerne le budget. Source : République française, 2001. *MEP corrigée finale-3 2/3/06 8:43 AM Page 29 Introduction 29 Encadré i.viii République de Corée: en route vers le suivi et l'évaluation Pour l'évaluation des politiques publiques, le gouvernement coréen emploie deux approches: un système d'évaluation de la performance introduit en 1962 et un système de vérification et d'inspection établi en 1948. L'évaluation de la performance est menée par des organismes qui font partie ou sont sous le contrôle du bureau du premier ministre. La vérification et l'inspection sont effectuées par le Conseil de vérification (l'institution supérieure de vérification) et comprennent la vérification des comptes et l'inspection des agences gouvernementales. Le Conseil de vérification a connu une expansion de sa taille et de ses pouvoirs au cours des dernières années, et se concentre maintenant à améliorer l'efficacité et la transparence des audits et des inspections. La crise financière asiatique de la fin des années 1990 a provoqué des change- ments dans les pratiques d'évaluation au sein de la branche exécutive. « Selon le nouveau gouvernement coréen, la crise économique nationale, provoquée par des mouvements dans les réserves de monnaies étrangères, trouve son origine dans le manque d'efficacité de la gestion du secteur public. Cette constatation a servi de tremplin, et le gouvernement de la Corée a entrepris une restructuration sans pré- cédent des organisations gouvernementales ainsi que non gouvernementales... » (Lee, 2002, p. 194). En ce qui concerne l'évaluation au sein du secteur public en Corée, huit approches différentes sont maintenant utilisées : · l'évaluation institutionnelle, incluant l'évaluation des principales mesures de politiques publiques, la capacité de mise en oeuvre des politiques, et les enquêtes sur la satisfaction du public envers les services gouvernementaux; · l'évaluation des principaux programmes et projets, incluant un nombre restreint de projets clés, choisis selon l'importance du ministère, la concordance avec les politiques du gouvernement et leur importance pour le public; · l'évaluation de la capacité de mise en oeuvre des politiques, qui comprend une autoévaluation par les ministères ainsi qu'une évaluation de la capacité institu- tionnelle à entreprendre des réformes, à innover et à améliorer les services; · des enquêtes sur la satisfaction du public envers les principales politiques publiques et les services administratifs, les programmes et les services gouvernementaux; · l'évaluation des projets spéciaux, qui inclut par exemple les tâches de l'État et les projets de déréglementation ; · l'évaluation interne des ministères, ou autoévaluation, qui comprend l'évalua- tion des principales mesures et programmes cibles de politiques publiques, ainsi que les tentatives d'innovation par chacun des ministères ; · l'évaluation des principales mesures et programmes de politiques publiques; · l'évaluation des tentatives d'innovation par chacun des ministères. Bien que la Corée ait beaucoup progressé sur le plan du suivi et de l'évaluation, des défis restent encore à surmonter. La coopération et la coordination entre les institutions de suivi et d'évaluation ont besoin d'être renforcées. L'analyse et l'éva- luation des politiques ainsi que la vérification et l'inspection ont été excessivement centralisées. La Corée manque encore de personnel professionnel et qualifié formé pour le suivi et l'évaluation. Enfin, il faudrait améliorer l'efficacité des propositions qui découlent des évaluations, qui pour le moment n'ont pas force de loi. Source : Lee, 2002. *MEP corrigée finale-3 2/3/06 8:43 AM Page 30 30 Vers une culture du résultat Les conclusions et leçons à tirer des expériences des pays membres de l'OCDE. Un certain nombre de facteurs ont contribué à l'adoption d'une culture d'évaluation dans les pays pionniers. Plusieurs de ceux qui ont adopté des systèmes de suivi et d'évaluation au tout début étaient prédisposés à le faire parce qu'ils possédaient des systèmes politiques démocratiques, de fortes capacités de collecte de données sur le terrain, des fonctionnaires formés dans les sciences sociales (par opposition à une formation purement légale), et des systèmes et institutions administratives effi- cientes. En effet, la mise en place de systèmes de suivi et d'évaluation axés sur les résultats est d'abord et avant tout une activité politique à laquelle il faut ajouter cer- tains éléments de nature technique. Les pays dont les dépenses en éducation, en santé et en assistance sociale sont éle- vées ont aussi adopté des mécanismes d'évaluation qui ont ensuite été repris dans d'autres domaines de politiques publiques. L'évaluation doit satisfaire un besoin. «Il s'agit d'un mélange complexe de conditions institutionnelles préalables, de culture politique, de contacts avec des traditions intellectuelles, ainsi que de préoccupations sectorielles dominant les débats politiques...» (Furubo, Rist et Sandahl, 2002, p.16). Les défis particuliers du suivi et de l'évaluation auxquels font face les pays en développement Le défi qui consiste à concevoir et à mettre en place un système de suivi et d'éva- luation axé sur les résultats dans un pays en développement est difficile à surmon- ter et ne doit pas être sous-estimé. La construction d'un tel système est une entre- prise sérieuse, qui ne se concrétisera pas du jour au lendemain. Il ne faut toutefois pas non plus l'écarter comme quelque chose de trop compliqué, trop exigeant ou trop sophistiqué pour un pays en développement. Tous les pays ont besoin de bons systèmes d'information de façon à faire le suivi de leur performance ­ les pays en développement autant que les autres. Les pays en développement qui instaurent leurs propres systèmes de suivi et d'éva- luation axés sur les résultats sont confrontés à des défis qui ressemblent à et diffè- rent de ceux des pays développés. Les pays en développement éprouveront plus de difficulté à exiger et à prendre en charge ­ des préalables essentiels ­ un tel système. Par exemple, une récente étude de la Banque mondiale et de la Banque africaine de développement a observé que « ...le principal obstacle à un développement réussi des capacités de suivi et d'évaluation en Afrique subsaharienne est l'absence de demande. L'absence de demande prend racine dans l'absence d'une forte culture d'évaluation, qui elle découle de l'inexistence d'une orientation vers la performance dans le secteur public » (Schacter, 2000, p. 15). Ainsi, en ce qui a trait à la demande, un minimum d'intérêt et d'engagement de la part des partenaires est nécessaire pour que le système soit instauré et s'enracine dans quelque pays que ce soit ­ développé ou en développement. Par contraste avec les pays développés, les pays en développement pourraient trouver plus difficile de procéder à une planification stratégique à long terme sur le plan économique et sur le plan des investissements et des politiques. Une faible volonté politique et une faible capacité institutionnelle sont susceptibles de ralentir le progrès. Des obstacles à la coopération et à la coordination interministérielles *MEP corrigée finale-3 2/3/06 8:43 AM Page 31 Introduction 31 peuvent aussi ralentir la planification stratégique. Une coopération et une coordina- tion insuffisantes peuvent toucher aussi bien les pays développés que les pays en développement. Il est aussi nécessaire de pouvoir se fier à des champions qui occupent des postes importants qui sont prêts à prendre les risques politiques associés à la défense de sys- tèmes de suivi et d'évaluation axés sur les résultats ­ ce qui démontre une fois de plus la nature politique de la construction de ces systèmes. Ils sont parfois présents, comme c'est le cas en Égypte (le ministre des Finances), en Zambie (le secrétaire au Cabinet) et en République du Kirghizstan (le ministre de la Santé), alors qu'ailleurs, comme au Bangladesh, ils sont absents. La présence d'un champion national peut exercer une forte influence et aider un pays à développer et à maintenir des systèmes de suivi-évaluation. Plusieurs pays en développement éprouvent encore de la difficulté à mettre en place des institutions fortes et efficaces. Certains nécessitent peut-être une réforme de la fonction publique, ou une réforme des cadres légal et réglemen- taire. Ils reçoivent l'appui de la communauté internationale du développement dans l'aménagement de ces composantes de base. Tenter à la fois d'ériger des ins- titutions, d'entreprendre des réformes de l'administration et de la fonction publique, et de modifier les codes légal et réglementaire ­ tout en instaurant des systèmes de suivi et d'évaluation ­ peut s'avérer tout un défi. Il faut toutefois se rappeler que l'établissement de systèmes de suivi et d'évaluation peut contribuer à informer et à guider le gouvernement dans ses tentatives de procéder à ces réformes nécessaires. Les pays en développement doivent d'abord avoir, ou mettre en place, un sys- tème traditionnel de suivi et d'évaluation axé sur la mise en oeuvre. Quelques pays en développement avancent dans cette direction. Ceux-ci nécessiteront des sys- tèmes de base capables de traiter les statistiques et les données, de même que des systèmes de planification budgétaire. Les données et l'information doivent être d'une qualité et d'une quantité appropriées. Les pays en développement ­ comme les pays développés ­ doivent connaître leurs conditions de départ, c'est-à-dire la situation dans laquelle ils se trouvent par rapport à un programme ou à une poli- tique donnée. Le personnel doit démontrer des compétences pour développer, appuyer et main- tenir ces systèmes. Les responsables doivent recevoir une formation concernant les méthodes modernes de collecte des données, de suivi et d'analyse. Cela peut s'avé- rer difficile pour plusieurs pays en développement. Par exemple, les pays d'Afrique subsaharienne souffrent d'un grave manque de compétences locales, une situation qui est empirée par l'émigration de personnes hautement qualifiées vers d'autres régions (Schacter, 2000, p. 8). Il peut être nécessaire d'offrir une assistance et une formation techniques pour contribuer au développement des capacités et des institutions. Les donateurs se montrent souvent désireux de financer et de soutenir de telles activités, et de parta- ger les leçons tirées de leur propre expérience2. En même temps, les donateurs devraient harmoniser leurs exigences envers les pays bénéficiaires en ce qui a trait aux évaluations. *MEP corrigée finale-3 2/3/06 8:43 AM Page 32 32 Vers une culture du résultat Dans le cadre de leurs efforts pour soutenir les capacités locales dans les pays en développement, les donateurs s'efforcent aussi de créer des réseaux de développe- ment ­ des réseaux sur Internet et des communautés participatives qui partagent leur expertise et de l'information. « On peut toujours soutenir que les circonstances au Bangladesh, en Chine, au Costa Rica ou au Mali sont uniques et distinctes, et que l'expérience d'un pays ne sera pas nécessairement adaptable dans un autre. Mais à partir du moment où l'on reconnaît qu'il y a très peu de savoir générique dans le domaine du développement ­ que tout savoir doit être recueilli puis analysé, modi- fié, démonté et recombiné pour correspondre aux besoins locaux ­, l'origine n'a alors plus d'importance. On consacre alors la devise : Explorer mondialement, réin- venter localement » (Fukuda-Parr, Lopes et Malik, 2002, p. 18). Les pays en développement devront établir une culture politique et administrative qui se souciera de la responsabilité et de la transparence ainsi que des questions d'éthique et de conflit d'intérêts. Les réformateurs doivent cependant garder à l'es- prit que toute tentative de faire la lumière sur l'affectation des ressources et les résul- tats concrets pourrait susciter résistance, hostilité et opposition sur le plan politique. De plus, compte tenu du type de gouvernement en place dans de nombreux pays en développement, la construction d'un système de suivi et d'évaluation pourrait entraîner un réalignement considérable des rapports politiques. La création d'un système de suivi et d'évaluation plus stable dépend de l'interdé- pendance, de l'alignement des actions et de la coordination à plusieurs niveaux de gouvernement. Cela peut constituer un défi puisque, dans plusieurs pays en déve- loppement, les parties du gouvernement sont lâchement rattachées les unes aux autres, et l'on travaille toujours à mettre en place une culture administrative forte et des systèmes financiers transparents. En conséquence, certains gouvernements pour- raient n'avoir qu'une vague connaissance des ressources disponibles et de leur affec- tation, et ne pas trop savoir si les ressources sont, dans les faits, utilisées aux fins établies. Mesurer la performance du gouvernement dans un tel environnement demeure un exercice approximatif. Les pays développés tout comme les pays en développement cherchent encore à rattacher des notions de performance à leur cadre ou leur stratégie de dépenses publiques. Sans ces liens, il n'existerait aucune façon de déterminer si les fonds bud- gétaires alloués à des programmes contribuent en bout de ligne à un succès ou à un échec. De plus, il serait impossible de déterminer si un ajustement fiscal ne devrait pas être fait pour modifier les projets ou les programmes en cours, et ainsi accroître la probabilité d'atteindre les résultats escomptés. Certains pays en développement font des progrès sur ce plan. Par exemple, au cours des années 1990, l'Indonésie a commencé à lier des objectifs de performance à son processus annuel d'allocation budgétaire. « L'évaluation est perçue comme un outil pour corriger les politiques et les programmes de dépenses publiques en les liant plus directement au Plan national de développement et au processus d'affecta- tion des ressources » (Guerrero, 1999, p. 5). Quelques pays en développement ­ le Brésil, le Chili et la Turquie ­ ont de plus fait des progrès dans l'arrimage des dépenses avec des extrants et des réalisations cibles. Le gouvernement du Brésil publie également un rapport officiel distinct sur les réalisations cibles (OCDE, 2002b). *MEP corrigée finale-3 2/3/06 8:43 AM Page 33 Introduction 33 Plusieurs pays en développement fonctionnent toujours avec deux systèmes bud- gétaires ­ un pour les dépenses courantes et un autre pour les dépenses d'équipe- ment. Jusqu'à récemment, le ministère des Finances égyptien supervisait le budget courant et le ministère de la Planification supervisait le budget d'immobilisations. La consolidation de ces budgets dans un seul ministère a permis au gouvernement d'envisager un système de suivi et d'évaluation pour garantir que les finalités et objectifs du pays seront atteints. Tenter de mettre en place une approche de suivi et d'évaluation pour l'ensemble du gouvernement ­ comme l'ont fait l'Australie, le Canada et les États-Unis ­ peut s'avérer trop ambitieux pour certains pays en développement. Compte tenu des difficultés particulières auxquelles font face les pays en développement dans la mise en place de systèmes de SÉ, l'adoption d'une approche partielle, dans laquelle les systèmes de suivi et d'évaluation sont d'abord testés et adoptés dans quelques ministères ou départements, est peut-être préférable. Par exemple, une enquête sur l'état de préparation menée en 2002 en République du Kirghizstan recommandait que le ministère de la Santé ­ où une certaine capacité d'évaluation existe déjà ­ soit envisagé comme modèle pour l'instauration éventuelle d'un système de suivi et d'évaluation axé sur les résultats dans l'ensemble du gouvernement (Kusek et Rist, 2003). Les expériences de suivi et d'évaluation dans les pays en développement Plusieurs pays en développement implantent graduellement des systèmes de suivi et d'évaluation. Les encadrés i.ix et i.x proposent deux exemples, la Malaisie et l'Ouganda, qui témoignent des multiples défis auxquels font face les pays en développement. Ces deux pays ont intégré des mesures nouvelles ­ bien que dif- férentes ­ à leur processus budgétaire pour le rendre plus transparent, responsable et axé sur les résultats. Les pays en développement font face à de nombreux problèmes. Les approches varient et une période de temps considérable peut être nécessaire avant d'aboutir à une approche de suivi et d'évaluation axé sur les résultats. Les expériences du monde entier montrent cependant que les fondations d'un processus d'évaluation sont en voie d'être établies dans plusieurs pays en développement. (Voir les annexes IV et V pour plus de détails sur les efforts des pays en développement en matière de suivi-évaluation.) On observe à l'échelle mondiale une tendance plus marquée vers la démonstra- tion de responsabilité et de résultats tangibles. Cette tendance incitera assurément davantage de pays en développement à adopter des systèmes de suivi et d'évalua- tion axés sur les résultats. L'accent mis par la communauté internationale des dona- teurs sur l'impact du développement signifie que plus de donateurs voudront s'im- pliquer pour s'assurer que les pays en développement reçoivent l'assistance nécessaire pour mettre en place de tels systèmes. L'instauration de systèmes de suivi et d'évaluation axés sur les résultats a posé des défis aussi bien aux pays développés qu'aux pays en développement ­ bien que ces derniers doivent affronter des difficultés particulières. Il n'y a pas une seule voie ou une seule approche correcte. Il faut un engagement, des efforts, du temps et des *MEP corrigée finale-3 2/3/06 8:43 AM Page 34 34 Vers une culture du résultat Encadré i.ix Malaisie: planification budgétaire axée sur les réalisations, cohésion nationale et compétitivité mondiale La Malaisie compte parmi les premiers pays en développement à avoir instauré des réformes de l'administration publique, surtout dans les domaines budgétaire et financier. Ces réformes ont été entreprises dans les années 1960 dans le cadre des efforts du gouvernement pour développer le pays selon une approche stra- tégique. Le secteur public était alors perçu comme le principal outil de dévelop- pement, et la nécessité de renforcer la fonction publique par des réformes admi- nistratives constituait une préoccupation majeure. La réforme budgétaire misait surtout sur l'accroissement de la responsabilité et de la discipline fiscale parmi les multiples agences gouvernementales char- gées d'appliquer les plans de développement socioéconomique du pays. Au- delà de la responsabilité accrue du secteur public et d'une meilleure perfor- mance du système budgétaire, le gouvernement a entrepris un certain nombre de réformes, incluant une plus grande conformité des décisions financières, une gestion axée sur la qualité, des opérations gouvernementales caractérisées par la productivité et l'efficacité, et une meilleure gestion des efforts nationaux de développement. Plus récemment, les tentatives de réformer le système budgétaire de la Malaisie tenaient davantage compte du programme Vision 2020, un pro- gramme qui prône la cohésion nationale et la compétitivité mondiale et qui vise à faire de la Malaisie un pays complètement développé dès 2020. Sur le plan de la réforme budgétaire, la Malaisie a adopté le Système de plani- fication budgétaire axé sur la performance des programmes (Program Performance Budgeting System ­ PPBS) en 1969 et a continué de l'utiliser jusque dans les années 1990. Le PPBS substituait un système budgétaire axé sur les réali- sations à une planification budgétaire par objet de dépenses. Même si les agences utilisaient la structure de planification fondée sur les programmes et les activités, en pratique la mise en oeuvre ressemblait toujours à une planification budgétaire par objet de dépenses et à une approche graduelle. En 1990, le gouvernement a introduit le Système de planification budgétaire modifié (Modified Budgeting System ­ MBS) pour remplacer le PPBS. Un plus grand accent a été mis sur les extrants et l'impact des programmes et activités du gouvernement. Avec le PPBS, les liens entre intrants et extrants étaient mini- maux. Les politiques continuaient de recevoir du financement sans que les résultats soient évalués. L'approche MBS a de nouveau été modifiée en 2001, lorsque le pays s'est engagé dans une autre réforme complémentaire en adoptant un cycle budgétaire bian- nuel. On pourra observer les effets de ce nouveau système dans plusieurs années. Bien que la Malaisie figure au premier rang pour ce qui est des réformes de l'ad- ministration publique et de la planification budgétaire, ces efforts parfois incohé- rents ont rencontré des obstacles au fil des années. Malgré cela, cette initiative audacieuse de la part du gouvernement malaisien démontrait son esprit de pré- voyance et d'innovation, son dynamisme et son engagement à s'assurer d'en obte- nir pour son argent dans la mise en oeuvre des projets et des politiques globales. Source : Banque mondiale, 2001b. *MEP corrigée finale-3 2/3/06 8:43 AM Page 35 Introduction 35 Encadré i.x L'Ouganda et la réduction de la pauvreté ­ propulsé vers le suivi et l'évaluation « Le gouvernement de l'Ouganda s'est engagé à fournir des services publics effi- caces dans le cadre de ses priorités de réduction de la pauvreté. Reconnaître l'effi- cacité de la fourniture des services comme un impératif de la gestion nationale de développement est une indication manifeste d'un engagement envers l'obtention de résultats, qui transparaît également dans plusieurs des priorités et activités de gestion publique qui sont actuellement en cours » (Hauge, 2001, p. 16). Au cours de la dernière décennie, l'Ouganda s'est soumis à de vastes réformes économiques et a aujourd'hui atteint une stabilité macroéconomique. L'Ouganda a élaboré un Plan d'action pour l'éradication de la pauvreté (PAÉP) en réponse au Cadre de développement intégré (CDI), et ce plan est maintenant intégré au Document de stratégies de réduction de la pauvreté. Le PAÉP fixe comme objectif un taux de pauvreté absolu de 10 % d'ici 2017, alors que ce taux s'établissait à 44 % vers la fin des années 1990. L'Ouganda a été le premier pays à être déclaré éligible et à bénéficier des mesures pour les pays pauvres très endettés (PPTE). Plus récemment, l'Ouganda s'est qualifié pour un allégement additionnel de sa dette au titre du programme PPTE en reconnaissance de l'efficacité de sa stratégie de réduction de la pauvreté, du processus de consultation impliquant la société civile, et de l'engagement continu du gouvernement à maintenir la stabilité macroéconomique. L'Ouganda a introduit de nouvelles mesures pour rendre le processus budgétaire plus ouvert et transparent vis-à-vis les partenaires internes et externes. Le gouverne- ment est en train de moderniser son système fiscal et s'est engagé dans un pro- gramme de décentralisation vers les autorités locales de la planification des pro- grammes, de la gestion des ressources et de la fourniture des services. Le ministère des Finances, de la Planification économique et du Développement (MFPÉD) mettra éga- lement en place un processus de planification budgétaire orienté vers les résultats. De plus, les institutions étatiques seront renforcées et responsabilisées envers le public. Le pays connaît toujours certaines difficultés de coordination et d'harmonisation en ce qui a trait au suivi et à l'évaluation et au PAÉP. « La caractéristique la plus évi- dente du régime de suivi et d'évaluation associé au PAÉP est la séparation du suivi de la pauvreté et du suivi des ressources, même si les deux sont coordonnés par le MFPÉD. Les deux réseaux parallèles de suivi et d'évaluation ont chacun leurs acteurs et leurs rapports, et utilisent des critères d'évaluation différents. Le suivi des res- sources financières est associé aux intrants, aux activités et, de plus en plus, aux extrants, alors que le suivi de la pauvreté se fonde sur une analyse globale des réa- lisations sur le plan de la pauvreté » (Hauge, 2001, p. 6). D'autres questions concer- nant la coordination du suivi et de l'évaluation touchent à la création de la nouvelle Administration nationale de planification et aux groupes de travail sectoriels. L'Ouganda devra maintenir et tirer des leçons de ses progrès en matière de réduc- tion de la pauvreté au moyen du PAÉP et de sa Stratégie nationale de réduction de la pauvreté, ce qui constitue tout un défi au chapitre du suivi et de l'évaluation. Le suivi et l'évaluation ne peuvent être isolés des pratiques de prise de décision et des motivations qui sous-tendent les systèmes et processus nationaux de développement. Sources : Hauge, 2001 ; Banque mondiale, 2002b. *MEP corrigée finale-3 2/3/06 8:43 AM Page 36 36 Vers une culture du résultat ressources pour se rendre jusqu'au bout. En même temps, il faut se rap- Les pays en peler qu'il y a aussi des coûts à ne pas mettre en place ces systèmes et à développement méritent ne pas répondre aux demandes des partenaires internes et externes qui une bonne gouvernance exigent plus de responsabilité, de transparence et de résultats. tout autant que les autres pays. Notes 1. Une liste complète des OMD ­ incluant les cibles et les indicateurs ­ est disponible à l'annexe III. 2. « Les dépenses à titre de coopération technique ont totalisé 14,3 mil- liards $US en 1999, selon le Comité d'aide au développement de l'OCDE. Il s'agit d'un montant considérable, presque le double de la somme dépensée en 1969. Si l'on incluait le personnel et la for- mation dans le domaine de l'investissement et dans d'autres projets, la somme atteindrait 24,6 milliards $ (Baris et al., 2002) » (Fukuda- Parr, Lopes et Malik, 2002, p. 34). *MEP corrigée finale-3 2/3/06 8:43 AM Page 37 Chapitre 1 Étape 1 : Procéder à un examen de l'état de préparation Figure 1.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation Nous avons analysé dans l'introduction les nouveaux défis ­ une plus grande res- ponsabilité publique, une meilleure gouvernance et des résultats tangibles ­ qui caractérisent la gestion dans le secteur public. Ce nouvel outil de gestion publique, le système de suivi-évaluation axé sur les résultats, permettra aux décideurs de répondre aux exigences croissantes pour une meilleure performance de la part des ONG, de la société civile et des partenaires nationaux, multilatéraux et internatio- naux. Enfin, nous avons également traité des différentes expériences en matière de suivi et d'évaluation dans les pays développés et en développement, et souligné les défis particuliers qui attendent les économies en développement. Dans ce chapitre, nous nous penchons sur l'étape 1 du modèle en dix étapes (figure 1.1) ­ l'examen de l'état de préparation. Cette étape constitue un ajout unique par rapport aux nombreux autres modèles de suivi et d'évaluation qui exis- tent. En effet, cet examen procure un cadre analytique pour évaluer la capacité orga- nisationnelle d'un pays et sa volonté politique de surveiller et d'évaluer ses objectifs, et donc de développer un cadre de gestion orienté vers la performance. On oublie malheureusement trop souvent d'effectuer cette étape cruciale qui aide les pays, par- ticulièrement ceux en développement, à mettre en place leurs propres systèmes de suivi-évaluation axés sur les résultats. *MEP corrigée finale-3 2/3/06 8:43 AM Page 38 38 Vers une culture du résultat Plus spécifiquement, ce chapitre se penchera sur : (a) l'importance de mener un examen de l'état de préparation ; (b) les trois principales parties de cet examen ; (c) les huit principaux domaines de diagnos- tic dont il faut tenir compte dans tout examen de l'état de prépara- tion ; (d) quelques exemples de récents examens de l'état de prépara- tion menés dans des pays en développement ; et (e) les leçons tirées de ces expériences. L'annexe I propose une version détaillée d'un examen « Évaluer la capacité des pays à mettre en place des systèmes de suivi et d'évaluation axés sur la performance », dont les pays peu- vent s'inspirer. PREMIÈRE PARTIE On insistera tout au long du présent guide sur le fait Pourquoi effectuer un examen de l'état de préparation ? que la mise en place d'un système de suivi-évaluation Les experts ont élaboré un certain nombre de modèles pour mettre en axé sur les résultats est place des systèmes de suivi-évaluation, mais ils ne saisissent souvent pas d'abord et avant tout une les complexités et les nuances propres à un pays. En général, les experts activité politique qui qui tentent de fournir de l'assistance technique connaissent seulement comporte des dimensions vaguement les besoins du pays bénéficiaire. Toutes leurs bonnes inten- techniques, et non le tions visent à promouvoir la conception, la création et l'utilisation des contraire. systèmes de suivi-évaluation axés sur les résultats, et ils mettent trop peu d'accent sur les facteurs et les contextes politiques, organisationnels et culturels existants. La plupart des modèles qui existent actuellement se lancent directe- ment dans la construction d'un système de suivi-évaluation axé sur les résultats ­ sans même connaître un certain nombre de facteurs critiques pour le pays donné, incluant les rôles, responsabilités et capacités orga- nisationnelles ; les motivations et les demandes pour un tel système ; la capacité d'une organisation de maintenir des systèmes ; et ainsi de suite. Quelques modèles comportent des questions clés sur l'état de prépara- tion (voir Mackay, 1999 ; Banque mondiale, 2003a). La plupart des experts se posent les questions suivantes : Quels sont les objectifs ? Quels sont les indicateurs ? Ils négligent par contre de se demander « Pourquoi ? » Pourquoi vouloir mesurer quelque chose ? Pourquoi un pays en particulier devrait-il réfléchir à ces questions ? Pourquoi se lancer dans la construction de systèmes de suivi-évaluation axés sur les résultats ? Pour répondre à ces questions, une quantité importante de travail préparatoire doit être réalisée avant qu'on puisse passer à la construc- tion même d'un système de suivi. Ce travail préparatoire prend la forme de l'examen de l'état de préparation présenté ici. Étape par étape, nous clarifierons certains des enjeux, préoccupations et questions d'une importance capitale qui doivent être abordés avant de se lancer dans la construction d'un système de suivi-évaluation. *MEP corrigée finale-3 2/3/06 8:43 AM Page 39 Étape 1. Procéder à un examen de l'état de préparation 39 Certains pourraient également se demander : En quoi un examen de l'état de pré- paration diffère-t-il d'un examen des besoins ? N'est-ce pas la même chose ? En fait, non. Dans un examen des besoins, on essaie de déterminer si les gouvernements ont besoin de tels systèmes. Un examen de l'état de préparation tient pour acquis que les gouvernements ont besoin de mettre en place ces systèmes, et tente plutôt de déter- miner s'ils sont prêts et capables d'aller de l'avant. Par exemple, quelle est la capa- cité d'un gouvernement en ce qui a trait au suivi-évaluation en général ? Mesure-t-il simplement les extrants, ou est-il capable de mesurer les réalisations ? (Rappelons que l'étude de la capacité organisationnelle ne suffit pas. Un examen de l'état de pré- paration aborde et répond à de nombreuses autres questions clés.) Un examen de l'état de préparation fournit le cadre analytique pour estimer la capacité d'un pays à surveiller et évaluer sa progression dans l'atteinte des objectifs de développement désignés. On y évalue la compréhension, la capacité et l'utilisation actuelles des sys- tèmes existants de suivi-évaluation dans un pays. Les trois parties principales de l'examen de l'état de préparation L'examen de l'état de préparation est un outil diagnostique qui permet de détermi- ner la position d'un pays donné1 par rapport à la situation requise pour la mise en place d'un système de suivi-évaluation axé sur les résultats. Il comporte trois parties principales. Les motivations et les demandes pour concevoir et mettre en place un système de suivi-évaluation axé sur les résultats. Il est important de déterminer si les motivations appropriées ­ politiques, institutionnelles ou personnelles ­ existent avant de débuter la conception et la construction du système. Ces motivations sont illustrées par les cinq questions fondamentales suivantes : · Qu'est-ce qui sous-tend le besoin de mettre en place un système de suivi- évaluation ­ des exigences législatives ou légales, une demande de la part des citoyens, des exigences des donateurs (Plan national de développement, Stratégie nationale de réduction de la pauvreté, ou autres), des réformes poli- tiques ou du secteur public ? · Qui sont les champions qui promeuvent la construction et l'utilisation d'un tel sys- tème ­ le gouvernement, le Parlement, la société civile, les donateurs, ou d'autres? · Qu'est-ce qui motive ceux qui se font les champions de la mise en place d'un système de suivi et d'évaluation ­ des projets de réforme politique, des pressions de la part des donateurs, des ambitions politiques personnelles, des directives politiques ? · Qui bénéficiera du système ­ les politiciens, les administrateurs, la société civile, les donateurs, les citoyens ? · Qui ne bénéficiera pas de la construction d'un système de suivi-évaluation ­ les politiciens, les administrateurs, la société civile, les donateurs, les citoyens? Existe- t-il des opposants à la réforme à l'intérieur ou à l'extérieur du système politique? Rôles, responsabilités, et structures existantes pour évaluer la performance du gouvernement. Un examen de l'état de préparation repère les rôles et les *MEP corrigée finale-3 2/3/06 8:43 AM Page 40 40 Vers une culture du résultat responsabilités ainsi que les structures existantes qui permettent déjà de surveiller et d'évaluer les objectifs de développement. · Quels sont les rôles des ministères centraux et des ministères sectoriels dans l'évaluation de la performance ? · Quel est le rôle du Parlement ? · Quel est le rôle de l'agence supérieure de vérification ? · Les ministères et les agences se transmettent-ils de l'information ? · Les données produites reflètent-elles un programme politique en particulier ? · Quel est le rôle de la société civile ? · Qui produit les données ? ­ le gouvernement national, incluant les ministères centraux, les ministères sectoriels, les unités ou bureaux spécialisés, y compris le bureau national de vérification ; ­ les gouvernements infranationaux ou régionaux, incluant les ministères cen- traux et sectoriels provinciaux, les gouvernements locaux, les ONG, les donateurs, etc. · Où les données sont-elles utilisées au sein du gouvernement ? ­ la préparation des budgets ; ­ l'affectation des ressources ; ­ l'élaboration des programmes ; ­ les législations et la responsabilité envers le Parlement ; ­ la planification ; ­ la gestion fiscale ; ­ l'évaluation et la supervision. Le renforcement des capacités requis pour implanter un système de suivi-évaluation axé sur les résultats. L'examen de l'état de préparation comprend aussi une enquête sur les capacités actuelles de suivi et d'évaluation qui tient compte : des compétences techniques, des compétences managériales, de l'existence et de la qualité des systèmes de données, de la technologie disponible, des ressources fiscales disponibles, et de l'expérience institutionnelle. Dans les pays en développement, cet examen constitue un élément clé de l'évaluation puisqu'il permet de déceler les failles dans les capaci- tés requises pour construire et maintenir des systèmes axés sur les résultats. Une telle enquête attire également l'attention sur les barrières existantes ou poten- tielles à la construction d'un système de suivi-évaluation, incluant un manque de res- sources fiscales, de volonté politique, de champions politiques, d'expertise, de stra- tégie ou d'expérience préalable. Dans ce contexte, il faut examiner un certain nombre de questions clés : · Quelles sont les compétences des fonctionnaires du gouvernement national dans chacun des domaines suivants : ­ Gestion des projets et des programmes ? ­ Analyse des données ? ­ Détermination des objectifs des projets et des programmes ? ­ Gestion du budget ? ­ Vérification de la performance ? *MEP corrigée finale-3 2/3/06 8:43 AM Page 41 Étape 1. Procéder à un examen de l'état de préparation 41 · Le pays bénéficie-t-il ou a-t-il bénéficié d'une assistance technique, d'un renfor- cement des capacités ou d'une formation en suivi et en évaluation au cours des deux dernières années ? Si oui, à quel niveau de gouvernement (national, régio- nal ou local) ? Qui a fourni cette aide et à l'intérieur de quel cadre ou de quel processus de réforme ? · Existe-t-il, au niveau du pays, des instituts, centres de recherche, organisations privées ou universités capables de fournir une assistance technique et une for- mation en suivi et en évaluation axé sur la performance à des fonctionnaires et à d'autres intervenants ? On traitera ces notions de manière plus approfondie dans la prochaine partie. DEUXIÈME PARTIE L'examen de l'état de préparation : Huit questions clés L'examen de l'état de préparation est un outil diagnostique qui permet de détermi- ner si les conditions requises pour construire un système de suivi-évaluation axé sur les résultats sont en place. Il vise à appuyer, pour leur bénéfice, les gouvernements individuels, la communauté des donateurs, et les nombreux partenaires du dévelop- pement impliqués dans les réformes du secteur public2. L'examen de l'état de préparation s'intéresse à huit domaines qui doivent être abordés et examinés pour déterminer si un pays ou une organisation a la capacité et la volonté d'aller de l'avant avec un système de suivi-évaluation axé sur les résultats. Qu'est-ce qui pousse potentiellement le secteur public à adopter un système de suivi et d'évaluation ? Il est important de savoir d'où émane la demande pour la création d'un système de suivi et d'évaluation et pourquoi. Les demandes et les pressions viennent-elles des partenaires internes, multilatéraux ou internationaux, ou d'une certaine combinai- son parmi eux ? Une réponse appropriée va de pair avec la reconnaissance et la prise en compte de ces demandes. Tel que noté dans l'introduction, les demandes internes peuvent découler d'appels pour réformer la gouvernance et pour une plus grande responsabilité et transparence du secteur public. Les campagnes anticorruption peuvent aussi entraîner des demandes. Parfois, ce sont les opposants politiques, qui se méfient des intentions ou des actions du gouvernement, qui exigent de mettre en place un système axé vers les résultats. Sur le plan externe, les pressions peuvent survenir de la communauté des dona- teurs, qui souhaitent que leurs investissements produisent des résultats tangibles. Des organisations internationales telle l'Union européenne exigent qu'un système de rétroaction fondé sur le suivi-évaluation et mesurant la performance du secteur public existe dans chacun des pays adhérents. Les pressions concurrentielles liées à la mondialisation peuvent aussi jouer un rôle ; un pays qui respecte la primauté du droit et qui possède un solide système de gouvernance ainsi que des règles du jeu clairement articulées attirera davantage d'investissements étrangers. Les détenteurs *MEP corrigée finale-3 2/3/06 8:43 AM Page 42 42 Vers une culture du résultat de capitaux et le secteur privé veulent s'assurer que le climat d'investissement est stable et transparent, et que leur propriété et leurs brevets seront bien protégés, avant d'investir dans un pays. Il existe une multiplicité de pressions auxquelles les gouvernements peuvent avoir à répondre, et ces pressions vont motiver la construc- tion d'un système de suivi-évaluation axé sur les résultats. Qui fait la promotion d'un système de suivi et d'évaluation ? La présence de champions au sein du gouvernement est un élément critique dans le maintien et le succès d'un système de suivi-évaluation axé sur les résultats. Un cham- pion qui détient un poste important au gouvernement peut promouvoir des prises de décision plus éclairées, et peut désamorcer et isoler les attaques de la part des oppo- sants aux réformes qui ont tout intérêt à empêcher la construction d'un tel système. Au sein d'une organisation donnée, certains individus ou groupes vont probable- ment se réjouir d'une telle initiative et l'appuyer, alors que d'autres s'y opposeront ou chercheront activement à y mettre un frein. Il est important de savoir qui sont les champions et où ils se trouvent dans l'appareil gouvernemental. Leur appui et leurs plaidoyers joueront un rôle crucial dans le succès et le maintien éventuels du système. Si toutefois le champion qui se manifeste se trouve loin des centres de prise de déci- sion et a peu d'influence sur les décideurs clés, il sera difficile, sinon impossible, d'en- visager que le système soit utilisé et suscite la confiance. Il sera difficile d'assurer la viabilité du système dans de telles circonstances. Il est nécessaire que l'information soit perçue comme étant pertinente, fiable, utilisable et disponible en temps opportun pour assurer cette viabilité. Les systèmes de suivi-évaluation qui reçoivent l'appui de champions qui se trouvent en périphérie du processus de prise de décisions auront plus de difficulté à satisfaire aux exigences de viabilité. Qu'est-ce qui motive le champion à appuyer un tel projet ? La construction d'un système de suivi-évaluation axé sur les résultats est un acte intrinsèquement politique qui implique autant des risques que des bénéfices poli- tiques. Produire de l'information sur la performance du gouvernement et renforcer la responsabilité constituent des activités risquées sur le plan politique. Au chapitre des bénéfices, les champions peuvent obtenir des récompenses et une reconnaissance aux niveaux institutionnel et individuel. Ils peuvent être motivés par un sens de la responsabilité publique. Ils peuvent également gagner l'approbation des Parlements, des partenaires publics et privés, de la société civile et de la communauté interna- tionale des donateurs en remplissant leurs promesses, en étant perçus comme des réformateurs (ce qui est une source de capital politique) et en faisant la preuve de leur responsabilité et de leur capacité à obtenir des résultats. Qui s'appropriera le système ? À qui bénéficiera le système ? Quelle quantité d'information veut-on obtenir ? On néglige trop souvent, lors de la mise en place des systèmes de suivi-évaluation, de tenir compte des facteurs politiques. On oublie aussi régulièrement de mener un *MEP corrigée finale-3 2/3/06 8:43 AM Page 43 Étape 1. Procéder à un examen de l'état de préparation 43 examen institutionnel rigoureux ­ en particulier, un examen qui rendrait compte de la capacité réelle des utilisateurs de créer, utiliser et maintenir En analysant les le système. motivations politiques, on Un examen de l'état de préparation minutieux permet de déterminer peut mieux comprendre de de quelle façon il convient de concevoir le système afin qu'il réponde quelle façon les aux besoins en matière d'information. Il permet également d'évaluer intervenants aborderont le les capacités de ceux qui produiront et utiliseront l'information et système de d'établir les ressources disponibles pour la mise en place du système. suivi-évaluation, ainsi que Le niveau de complexité et de complétude du système ira en fonction la raison pour laquelle de ces éléments. certaines personnes ou Pour qu'un système de suivi-évaluation axé sur les résultats fonc- organisation choisiront de tionne de manière efficace, il doit fournir, au moment opportun, de l'in- s'impliquer à fond dans le formation et des données accessibles, compréhensibles et pertinentes. projet ou, au contraire, Ces critères accentuent la nécessité de faire un examen de l'état de pré- éviteront de prendre des paration avant de concevoir le système, en particulier en ce qui risques politiques. Les concerne des facteurs tels que la prise en charge du système, de même champions doivent aussi que ses avantages et son utilité pour les partenaires clés. D'un point de tenir compte des vue technique, les questions qui doivent être abordées incluent la capa- motivations politiques afin cité du gouvernement ou de l'organisation à recueillir et à analyser les de déterminer ce qu'il leur données, à produire des rapports, à gérer et entretenir le système, et à utiliser l'information produite. faudra accomplir pour Ainsi, l'examen de l'état de préparation fournira de l'information et défendre de tels systèmes des données importantes servant de repères ­ si nécessaire ­ pour conce- et, du même coup, assurer voir et mettre en oeuvre les activités de renforcement des capacités. leur succès. De plus, il est absolument impératif de ne pas recueillir plus d'infor- mation qu'il n'est requis. Maintes et maintes fois, des systèmes de suivi- évaluation ont été surchargés dès leur conception par une surabon- dance de données ­ sans savoir au préalable si ces données seront effectivement utilisées ni de quelle manière. Il faudra constamment éva- luer si la conception s'avère excessivement détaillée et complexe. Le sys- tème connaîtra aussi une érosion continue à laquelle il faudra s'atta- quer. Et les partenaires pourraient tenter de tirer le système dans trop de directions différentes à la fois. En bref, les choses changent constam- ment dans l'arène politique. Maintenir un système de suivi-évaluation en fonction demandera de la vigilance et de la constance (d'où l'impor- tance des champions). Comment le système contribuera-t-il directement à une meilleure affectation des ressources et à l'atteinte des objectifs programmatiques ? Le suivi et l'évaluation ne constituent pas une fin en soi. Ce sont des outils qui doivent être utilisés pour promouvoir une bonne gouver- nance, des pratiques de gestion modernes, de l'innovation et des réformes, ainsi qu'une responsabilité accrue. Lorsque utilisés de façon appropriée, ces systèmes peuvent produire une information fiable, *MEP corrigée finale-3 2/3/06 8:43 AM Page 44 44 Vers une culture du résultat transparente et pertinente. Les systèmes de suivi-évaluation peuvent aider les déci- deurs à suivre à la trace et à améliorer les réalisations et les impacts de l'affectation des ressources. Par-dessus tout, en fournissant continuellement des réactions sur les résultats, ils aident les gouvernements et les organisations à prendre des décisions et à adopter des politiques en meilleure connaissance de cause. L'expérience montre que la création d'un système de suivi-évaluation obtient sou- vent de meilleurs résultats lorsqu'elle est liée à d'autres programmes ou initiatives de réforme du secteur public, tels que la formulation d'un cadre de dépenses à moyen terme, une restructuration de l'administration publique ou l'établissement d'une Stratégie nationale de réduction de la pauvreté. En liant la construction des systèmes de suivi-évaluation à de telles initiatives, on crée des interdépendances et des struc- tures de renforcement qui jouent un rôle crucial dans la durabilité globale de ces sys- tèmes. L'examen de l'état de préparation peut déterminer si des liens de ce type sont structurellement et politiquement possibles. Comment l'organisation, les champions et le personnel réagiront-ils à l'information négative générée par le système de suivi-évaluation ? Il est difficile de bien faire fonctionner un système de suivi-évaluation dans une orga- nisation ou un climat politique où règne la peur. Les systèmes de suivi-évaluation produiront inévitablement (mais pas nécessairement fréquemment) des données embarrassantes ou politiquement délicates pour des gens au pouvoir. De la même manière, l'information pourrait s'avérer dommageable pour des unités ou des indi- vidus au sein d'une organisation. (Il arrive souvent que les organisations « punissent le messager ».) Si l'examen de l'état de préparation montre clairement que le système de suivi- évaluation générera uniquement des informations politiquement populaires ou « cor- rectes », cette vulnérabilité mettra la viabilité du système en péril dès le début. Il ne sera pas perçu comme crédible par ceux qui ne font pas partie de l'organisation. Il finira par être vu comme un exercice futile. Dans un tel environnement politique, il est important de construire le système prudemment et lentement. Le mieux est alors de repérer des unités au sein des organisations qui sont prêtes à voir circuler de l'in- formation potentiellement dommageable ­ y compris à propos de leur propre per- formance. Si on ne parvient pas à trouver de telles unités, il n'y a pas vraiment de rai- son ou de justification pour aller de l'avant dans la conception du système. Il faudra se contenter de mettre l'accent sur le suivi traditionnel axé sur la mise en oeuvre. Les gouvernements qui acceptent d'utiliser l'information sur la performance pour concevoir leurs politiques ont en général atteint un certain niveau de démocratie et d'ouverture. Mais, même dans ces pays, on montre souvent une réticence à mesurer et à faire un suivi puisque le processus pourrait contraindre les leaders de même que les partenaires à envisager de mauvaises nouvelles. La construction de tels systèmes implique des limites politiques bien réelles. On ne peut pas s'attaquer simultanément à toutes les barrières lors de la concep- tion du système. En reconnaissant la présence de ces barrières et en s'y attaquant le plus rapidement possible, on évite d'être confronté à une résistance plus élevée et qui dure plus longtemps que nécessaire. Il faut faire un choix stratégique entre *MEP corrigée finale-3 2/3/06 8:43 AM Page 45 Étape 1. Procéder à un examen de l'état de préparation 45 consacrer du temps et de l'énergie à éliminer les barrières ou consacrer des efforts à renforcer les champions et à appuyer les progrès émer- gents. Nous penchons fortement vers la seconde option. Quels sont les départements capables d'appuyer un système de suivi-évaluation axé sur les résultats ? L'examen de l'état de préparation permet de déterminer les nombreux endroits où l'on peut trouver des données et de l'information sur la per- formance. Par exemple, existe-t-il des unités organisationnelles au sein Un examen de l'état du gouvernement qui possèdent déjà une capacité de suivi et d'évalua- de préparation décelera les tion et qui pourraient entreprendre des évaluations ? Les ministères cen- barrières et les obstacles ­ traux ou sectoriels chargés de la planification ont-ils accès à des sys- structurels, culturels, tèmes de données et, si oui, lesquels ? Cela peut inclure des données budgétaires, des données sur les extrants, les réalisations ou les impacts, politiques ou individuels ­ des audits financiers, des rapports finaux sur les projets et les pro- dans une organisation grammes, et de l'information fournie par les donateurs. Les ONG, les donnée. universités, les instituts de recherche et les centres de formation possè- dent également une partie de la capacité technique nécessaire pour appuyer un système de suivi-évaluation axé sur les résultats. Comment le système de suivi-évaluation reliera-t-il les projets, les programmes, les secteurs et les objectifs nationaux ? L'une des principales fonctions d'un examen de l'état de préparation est de déterminer s'il est pertinent de relier l'information disponible de façon cohérente à travers les différentes sections du gouvernement et quels sont les risques qui y sont associés. Dans une situation idéale, les données sur la performance des projets alimenteraient les évaluations de programmes, qui à leur tour seraient liées aux objectifs et cibles sec- toriels, régionaux et nationaux. En d'autres termes, le personnel de chaque niveau aurait une vision claire, ou une bonne compréhension, de chacun des autres niveaux et de leurs interrelations. Un système de suivi-évaluation axé sur les résultats qui a été implanté au sein d'un projet sans tenir compte spécifiquement des objectifs de programmes n'a aucune utilité au-delà de l'information restreinte qu'il fournit sur un projet donné. L'information doit circuler librement entre les niveaux pour être réellement utile. Chaque niveau doit contribuer à informer le niveau suivant pour atteindre les résultats souhaités. Il est également important de s'assurer que chaque niveau s'engage à utiliser et à partager horizontalement l'information obtenue à la suite de la col- lecte et de l'analyse des données. Le but est de créer un système de suivi- évaluation transparent dont chaque niveau est aligné sur l'autre. L'information devrait circuler vers le haut et vers le bas dans un système gouvernemental, au lieu d'être recueillie, entreposée et utilisée à un seul *MEP corrigée finale-3 2/3/06 8:43 AM Page 46 46 Vers une culture du résultat niveau ­ et jamais partagée avec les autres. Une libre circulation de l'information contribue à garantir que les politiques, les programmes et les projets seront coor- donnés entre eux. En bout de ligne, la véritable question est de savoir si le système permet à chaque niveau d'être à la fois producteur et consommateur d'une infor- mation axée sur les résultats. TROISIÈME PARTIE Les examens de l'état de préparation dans les pays en développement : le Bangladesh, l'Égypte et la Roumanie L'examen de l'état de préparation peut aider les gouvernements, les donateurs et leurs partenaires à faire face aux défis posés par la conception et la construction de systèmes de suivi-évaluation axés sur les résultats, notamment en ce qui a trait à la formation, le renforcement des capacités organisationnelles, et l'enchaînement des efforts. Il fournit la base d'un plan d'action pour le pays en question. Pour commencer, un examen de l'état de préparation devrait inspecter les données déjà produites par les systèmes traditionnels de suivi-évaluation orientés vers la mise en oeuvre, et déterminer si des examens des dépenses publiques, des transactions financières, des données ou des procédures de passation des marchés ont été effec- tués. Le pays progresse-t-il vers des réformes économiques, légales et politiques ? Vers plus de démocratie et d'ouverture ? Vers plus de responsabilité et de transpa- rence ? (On découvre parfois que plusieurs examens diagnostiques différents sont effectués simultanément. Au début de 2002 par exemple, on a constaté qu'une Revue de la performance du portefeuille de projets, un Examen des dépenses publiques et un examen du suivi et de l'évaluation se déroulaient en même temps dans la République du Kirghizstan.) Après avoir examiné la situation d'un pays en ce qui concerne les réformes de la gestion publique, une mission sur le terrain devrait être entreprise. Pendant la visite, de l'information sera recueillie sur le terrain auprès des sources clés, incluant des responsables gouvernementaux, des membres de la société civile et des ONG. Il est important de discuter avec des ministres et avec un large éventail de fonctionnaires impliqués dans des secteurs spécifiques afin de dénicher un champion potentiel intéressé à mettre en place un système axé sur la performance pouvant améliorer la conception des politiques. Idéalement, l'examen de l'état de préparation devrait être effectué par quelqu'un de familier avec les techniques de renforcement des capacités en suivi-évaluation. Les examens de l'état de préparation : Le cas de trois pays en développement Penchons-nous maintenant sur trois exemples concrets en provenance des pays en développement ­ le Bangladesh, l'Égypte et la Roumanie ­ pour voir comment les examens de l'état de préparation peuvent orienter et façonner les systèmes de suivi- évaluation axés sur les résultats (encadrés 1.1 à 1.3). Nous tirerons également des leçons qui pourraient s'avérer utiles aux autres pays en développement. *MEP corrigée finale-3 2/3/06 8:43 AM Page 47 Étape 1. Procéder à un examen de l'état de préparation 47 Encadré 1.1 Le cas du Bangladesh ­ Construire en commençant par le bas L'examen de l'état de préparation effectué au Bangladesh signalait très peu d'éléments positifs censés inciter le pays à construire un système de suivi- évaluation axé sur les résultats. Parmi les 91 pays classés par Transparency International en 2001, le Bangladesh apparaissait comme le plus corrompu. Le secteur de l'État le plus corrompu comprenait les agences chargées de faire respecter la loi, suivi par l'éducation, les gouvernements locaux et la santé. En 2002, le Bangladesh était de nouveau classé comme le plus cor- rompu parmi les 102 pays observés. Les systèmes corrompus empêchent l'in- formation d'atteindre la sphère publique ­ ce qui est un obstacle majeur au suivi-évaluation. L'examen de l'état de préparation ne décela aucun champion pour le suivi- évaluation où que ce soit au sein du gouvernement national, incluant les ministères centraux et sectoriels. On ne releva aucune réforme en cours pro- pice à la construction d'un système de suivi-évaluation. De plus, on ne distin- guait aucune exigence légale ou réglementaire pour l'utilisation du suivi- évaluation. Quelques systèmes de suivi dans les domaines de l'éducation, de l'électrifi- cation et des subventions alimentaires existaient dans des régions rurales du pays. On avait également certaines indications selon lesquelles des ONG et la communauté des donateurs surveillaient activement les résultats des projets de développement, sans toutefois inciter le gouvernement à faire de même. L'Office de la statistique du Bangladesh était considéré comme une agence gouvernementale solide. Si jamais le gouvernement choisit de développer un système de suivi-évaluation axé sur les résultats, l'Office pourrait jouer un rôle crucial dans la collecte et l'analyse des données. En termes de compétences techniques, l'examen constatait une faible capa- cité pour le suivi-évaluation et une capacité de formation technique mini- male dans les universités et les centres de recherche. L'examen notait aussi une expérience organisationnelle minimale au sein du gouvernement natio- nal pour ce qui est de gérer des systèmes d'information crédibles. À la suite de l'examen de l'état de préparation, on conclut qu'il n'était actuellement pas réaliste ni faisable d'introduire un système de suivi- évaluation axé sur les résultats au sein du gouvernement national. Un appui politique solide et un renforcement soutenu des institutions seront néces- saires avant qu'une telle initiative puisse être entreprise. Il existe tout de même une lueur d'espoir pour le Bangladesh. À la suite de l'examen de l'état de préparation, le gouvernement a élaboré une Stratégie nationale de réduction de la pauvreté qui inclura des composantes de suivi- évaluation. Dans le but de renforcer certaines de leurs compétences et de leur permettre de poser des gestes modestes et bien ciblés, l'examen de l'état de préparation recommandait cinq stratégies aux donateurs et aux ONG qui ont des opérations au Bangladesh. Source : Banque mondiale, 2002c. *MEP corrigée finale-3 2/3/06 8:43 AM Page 48 48 Vers une culture du résultat Encadré 1.2 Le cas de l'Égypte ­ Des progrès lents mais systématiques vers un système de suivi-évaluation L'un des aspects les plus importants dans l'examen de l'état de préparation d'un pays est la décou- verte ou non d'un champion désireux d'assurer la prise en charge du système. L'examen de l'état de préparation effectué en Égypte dévoila un intérêt significatif de la part de nombreux respon- sables gouvernementaux haut placés pour l'évaluation de la performance. Le président lui-même lança un appel pour que les décisions économiques s'appuient sur une information de meilleure qualité. Le ministre des Finances se révéla être l'un des principaux champions de l'intérêt grandissant du gouvernement égyptien pour un système axé sur les résultats. Le ministre s'était renseigné sur l'im- plantation de tels systèmes dans d'autres pays comme la Malaisie et les pays membres de l'OCDE. Le ministre souligna l'importance d'améliorer la gestion des finances publiques en allant de l'avant avec une série d'essais pilotes visant à démontrer comment un suivi-évaluation axé sur les résultats pour- rait contribuer à une meilleure gestion de l'allocation des fonds budgétaires. On peut s'attendre à ce que le ministre des Finances joue un rôle de leadership central dans toute tentative d'introduire un suivi-évaluation axé sur les résultats en Égypte. Un certain nombre d'autres responsables de haut niveau qui pourraient jouer un rôle important furent identifiés. La Première Dame d'Égypte, qui préside le Conseil national sur le statut de la femme, s'efforce de développer un système pour surveiller et évaluer le travail qui se fait dans plu- sieurs ministères pour améliorer la condition des femmes. Pour que ces efforts soient fructueux et durables, il faut toutefois que les ministères sectoriels responsables de l'affectation des ressources et de la supervision des programmes spécifiques y trouvent leur compte (ou aient l'impression d'être en charge). Plusieurs ministères sectoriels témoignaient également de l'intérêt pour surveiller et éva- luer les résultats, notamment le ministère de l'Électricité et de l'Énergie et le ministère de la Santé. L'examen de l'état de préparation révéla aussi la présence de compétences considérables en Égypte pour appuyer une stratégie axée sur les résultats. On identifia de plus un certain nombre de personnes possédant une formation en évaluation à l'Université du Caire, à l'American University of Cairo et dans des organisations privées de recherche. De plus, l'Agence centrale pour la mobilisation publique et les statistiques, de même que le Centre d'appui à l'information et à la prise de décision du cabinet, jouent des rôles clés dans la collecte, l'analyse et la diffusion de données qui seront uti- lisées autant par le gouvernement que par des chercheurs et décideurs dans le secteur privé. L'élaboration d'une stratégie bien publicisée est un critère essentiel pour développer une approche axée sur les résultats. Le diagnostic soulignait par contre que la stratégie pour faire pro- gresser les efforts en cours était fragmentée. Une série de tests avaient provisoirement été déter- minés, mais les critères pour les instituer en tant que tests de performance étaient peu nombreux, sinon inexistants. Aucune structure de gestion n'avait non plus été mise en place au sein du gou- vernement pour gérer efficacement le projet dans son ensemble. Le ministre des Finances avait cependant tracé les grandes lignes d'une approche qui ferait avancer les choses si elle était mise en oeuvre. Le ministre était bien décidé à agir lentement et à permettre aux tests de s'améliorer, tout en tirant des leçons de l'expérience. Les résultats de l'examen de l'état de préparation indiquaient que le gouvernement égyptien sem- blait prêt à prendre en charge le processus et à amorcer lentement et systématiquement l'introduc- tion des concepts de la gestion axée sur les résultats. Il existe des compétences bien visibles sur les- quelles on pourra s'appuyer pour soutenir le projet. De façon significative, le soutien politique pouvant fournir le leadership nécessaire est bien présent. (L'examen de l'état de préparation de l'É- gypte est reproduit dans son entièreté dans l'annexe II.) Source : Banque mondiale, 2001c. *MEP corrigée finale-3 2/3/06 8:43 AM Page 49 Étape 1. Procéder à un examen de l'état de préparation 49 Encadré 1.3 Le cas de la Roumanie ­ Progresser vers un système de suivi-évaluation La Roumanie poursuit des négociations avec l'Union européenne et espère en devenir membre d'ici 2007. Le gouvernement est clairement engagé politiquement sur la voie des réformes et a développé une stratégie économique à moyen terme. La Roumanie possède également une main-d'oeuvre compétente dans la collecte et l'utilisation des données. De ce point de vue, elle est en avance sur plusieurs autres économies en développement ou en transition. En même temps, la Roumanie continue de subir les effets négatifs de son héritage communiste de diverses façons, parmi lesquelles on retrouve une mentalité de planification centralisée tou- jours présente dans certaines parties du gouvernement, des institutions publiques précaires, peu de responsables gouvernementaux formés dans les principes et les pratiques de gestion publique moderne, et une société civile inexpérimentée et sans tradition de participation active dans les affaires publiques. L'examen de l'état de préparation révéla d'autres obstacles. Ceux-ci incluent un manque de compréhension de la part du secteur public roumain de ce qu'implique le développement d'une culture de gestion axée sur la performance, ainsi que des conflits avec d'autres priorités d'en- semble du gouvernement. La Roumanie avait effectué une série de tests sur la performance budgétaire pour lesquels cinq agences devaient soumettre un ensemble de mesures de performance en tant qu'annexe au budget annuel. Le programme pilote comprenait au départ cinq agences gouvernementales, puis huit l'année suivante, treize deux ans plus tard, pour enfin s'étendre à toutes les agences. Au moment de l'examen de l'état de préparation, le gouvernement était toujours en phase d'es- sai avec un nouveau budget incluant treize tests. Les tests qui mettaient l'accent sur l'allocation de fonds aux agences sur la base des indica- teurs de performance furent largement ignorés par les gestionnaires de l'État et pris peu au sérieux par le Parlement. Les tests leur permirent tout de même d'apprendre comment élaborer des indicateurs de performance appropriés dans le but de surveiller l'efficacité du budget. Le ministre des Finances apparaissait déterminé à fournir ces efforts et pourrait fournir le leader- ship politique nécessaire pour amorcer et maintenir une tentative plus large d'instaurer une gestion orientée vers les résultats. Deux autres champions potentiels furent identifiés, soit le ministère de la Justice et un conseiller du premier ministre. Tous deux encouragent les efforts pour améliorer la gestion du gouvernement roumain, et ils reconnaissent l'importance de publiciser les stratégies efficaces. L'engagement du gouvernement à instaurer un système de suivi-évaluation se trouve renforcé par de nouvelles lois, par le processus d'adhésion à l'UE, et par des attentes de plus en plus élevées en provenance de la société civile. Par exemple, l'une des modifications dans le cadre légal inclut une série de lois favorisant le développement d'une administration en ligne. Cette initiative pourrait améliorer la transparence du gouvernement et transmettre à la société civile les résultats des pro- grammes de réforme du gouvernement. Le développement d'une administration en ligne peut s'avérer un puissant instrument au service de la responsabilité gouvernementale. Finalement, l'examen de l'état de préparation suggère une liste d'opportunités pour appuyer l'introduction d'un système de suivi-évaluation axé sur les résultats. La tentative actuelle de pla- nification budgétaire en fonction de la performance ainsi que d'autres réformes gouvernemen- tales pourraient entraîner une préoccupation considérable pour l'approche axée sur les résul- tats et servir d'agent catalyseur. Il existe également un leadership politique de haut niveau suffisant pour donner un élan au suivi-évaluation dans au moins trois domaines sous essai : le budget, la lutte anticorruption et les programmes de lutte contre la pauvreté. Source : Banque mondiale, 2001d. *MEP corrigée finale-3 2/3/06 8:43 AM Page 50 50 Vers une culture du résultat QUATRIÈME PARTIE Les fruits de l'expérience Quelles leçons peut-on tirer de ces trois exemples ? Les incitations et les demandes pour concevoir et construire un système de suivi-évaluation axé sur les résultats Il est important de comprendre la situation dans un pays donné en ce qui a trait aux huit domaines esquissés dans l'examen de l'état de préparation. Si, par exemple, l'examen de l'état de préparation n'avait pas été effectué au Bangladesh, les tenta- tives de concevoir et de construire un système de suivi-évaluation axé sur les résul- tats se seraient peut-être déroulées dans un environnement où n'auraient été pré- sentes que quelques-unes des conditions requises pour un suivi-évaluation. De la même façon, en Égypte tout comme en Roumanie, l'examen de l'état de préparation a permis d'obtenir une information cruciale sur les secteurs susceptibles d'être plus réceptifs à la conception et à la construction d'un système de suivi-évaluation et ayant l'avantage de posséder des champions déterminés ainsi qu'un environnement plus largement favorables aux réformes. Avant d'introduire des programmes, il faut d'abord s'assurer qu'on a obtenu le mandat d'instaurer un climat propice à l'évaluation des résultats et que ce mandat a fait l'objet d'un consensus et d'une certaine médiatisation. Comme nous l'avons déjà noté, cela peut survenir en réponse à des initiatives et des forces internes ou externes. Par exemple, le mandat peut inclure une loi visant à réformer la gestion budgétaire, un plan d'adhésion à l'UE, des pressions de la part de citoyens conscien- tisés, la nécessité de réduire la masse salariale trop imposante de la fonction publique, ou encore la volonté de remplir des promesses politiques. Il faudrait encourager une demande constante pour de l'information sur la per- formance qui ferait pression sur le gouvernement. Celui-ci serait tenu de faire la démonstration des résultats obtenus ­ c'est-à-dire qu'il prouve que les politiques et les programmes répondent aux attentes. Il faut inciter les gouvernements à s'assurer que la diffusion des résultats devienne une activité régulière et routinière. Un système réussi de suivi-évaluation axé sur les résultats a aussi besoin d'un leader- ship soutenu. Bien qu'il soit important que de bons gestionnaires de programmes super- visent la mise en oeuvre des programmes et projets, il doit également y avoir un appui politique fort aux plus hauts niveaux du gouvernement. Pour développer ces systèmes, le pays, par l'entremise de son gouvernement, doit assurer une véritable prise en charge. Sans la présence d'un champion déterminé et en position d'influence désireux de prendre en charge un système de suivi-évaluation axé sur les résultats, le système ne sera pas construit ou utilisé. Les rôles et les responsabilités, et les structures existantes pour évaluer la performance du gouvernement Le taux élevé de renouvellement parmi les responsables gouvernementaux consti- tue un défi pour la mise en place de systèmes de suivi-évaluation. Les fréquents *MEP corrigée finale-3 2/3/06 8:43 AM Page 51 Étape 1. Procéder à un examen de l'état de préparation 51 changements de personnel au sein des ministères font en sorte qu'il est difficile d'identifier et de continuer à travailler avec les champions. C'est peut-être là une rai- son supplémentaire de chercher des champions au sein de la société civile, dans les ONG et au Parlement. Dans de nombreux pays en développement, les divers ministères et sections du gouvernement se trouveront à des stades différents en ce qui concerne leur capacité à effectuer un suivi-évaluation. Il ne faut pas nécessairement présumer que tout le gouvernement progresse au même rythme. On observera inévitablement un certain enchaînement et un étalement dans le temps des étapes qui ont trait à la construc- tion de systèmes de suivi-évaluation. L'examen de l'état de préparation permet de déterminer le niveau de capacité des ministères et agences gouvernementales à sur- veiller et évaluer. Les sections du gouvernement qui sont prêtes à progresser plus rapidement vers le développement d'une culture de suivi-évaluation méritent ainsi qu'on leur accorde davantage de soutien. L'existence de liens clairement définis entre le processus budgétaire et les autres processus d'affectation des ressources est également nécessaire à la transition vers une culture de gestion axée sur les résultats. Dans la plupart des gouvernements, il existe plus d'une agence qui s'occupe d'un programme en particulier. L'examen de l'état de préparation peut déceler les che- vauchements entre les agences de telle façon que la performance globale du pro- gramme puisse être mesurée et atteinte plus efficacement. Dans les faits, l'examen de l'état de préparation peut clarifier les tâches des agences qui ont des missions iden- tiques ou similaires. Ceux qui conçoivent les politiques au sein du gouvernement se doivent de com- muniquer et de travailler en partenariat avec ceux chargés de collecter et de diffuser l'information ­ en particulier dans des domaines tels que les OMD. Des sphères d'action politique, d'appui et de renforcement des capacités qui évoluent séparément n'auront pas d'impact. Le système de suivi-évaluation doit être intégré dans le pro- cessus de détermination des politiques concernant les OMD pour que tous les par- tenaires voient clairement pourquoi il est important de recueillir des données, com- ment l'information sera utilisée pour orienter les efforts du gouvernement et de la société civile et quel type d'information il faut obtenir. Le renforcement des capacités nécessaires à la mise en place d'un système de suivi-évaluation Les décisions de politique et de gestion devraient être prises sur la base d'une information fiable. Le Bangladesh, l'Égypte, la Roumanie ­ comme tant d'autres pays en développement ­ ne possèdent pas les capacités suffisantes ni plusieurs des ressources nécessaires à la construction de systèmes de suivi-évaluation. Cela ne constitue pas un obstacle insurmontable. L'expertise, la stratégie et l'expérience peuvent s'acquérir avec du temps et de l'argent. Cependant, l'absence de volonté politique et de champion freinera toute progression vers une culture de suivi- évaluation. Le pays doit éventuellement démontrer sa propre capacité à concevoir, mettre en oeuvre et utiliser un système de suivi-évaluation. Il ne suffit pas d'acquérir des *MEP corrigée finale-3 2/3/06 8:43 AM Page 52 52 Vers une culture du résultat compétences telles que la recherche en sciences sociales, la gestion publique, la sta- tistique ou la gestion de données par l'entremise de contrats accordés à des firmes internationales de consultants. Les compétences doivent, d'une façon ou d'une autre, être présentes à l'intérieur même du pays ­ et être disponibles lorsque vient le temps de contribuer à un programme ou d'évaluer sur une base régulière la perfor- mance du gouvernement. Si ces compétences ne sont pas présentes en quantité suf- fisante, il sera alors nécessaire d'établir un programme concerté de renforcement des capacités. Les pays devront développer des îlots d'innovation qui serviront de champs de pratique ou de programmes pilotes. La capacité d'effectuer des tests et des essais deviendra particulièrement importante lorsque nous examinerons la sélection d'in- dicateurs de performance au chapitre 3. L'un des défis soulevés par la conception et la construction de système de suivi- évaluation est qu'il y a souvent un grand nombre de donateurs qui demandent au gouvernement de rendre compte des progrès sur les mêmes objectifs de développe- ment. Les donateurs peuvent coordonner leurs exigences face aux systèmes de suivi- évaluation ainsi que leurs activités de renforcement des capacités et des institutions à l'aide de l'examen de l'état de préparation. Une telle coordination permet au pays d'utiliser au maximum les ressources des donateurs, en particulier en évitant les écueils découlant de chevauchements, de sous-financement ou d'un mauvais agen- cement des priorités. Il ne faut pas sous-estimer les défis posés par la conception et la construction d'un système de suivi-évaluation axé sur les résultats dans un pays en développement. La construction d'un tel système est une entreprise sérieuse et ne peut arriver du jour au lendemain. Il ne faut toutefois pas non plus l'écarter comme quelque chose de trop compliqué, trop exigeant ou trop sophistiqué pour un pays en développement. Tous les pays ont besoin de bons systèmes d'information pour faire le suivi de leur performance ­ les pays en développement autant que les autres. En conséquence, les pays en développement méritent que les responsables politiques et leurs partenaires du développement investissent du temps et montrent de l'intérêt envers leurs efforts. Notes 1. Même si nous parlons ici du pays comme unité d'analyse, nous voudrions sou- ligner que le concept d'examen de l'état de préparation s'applique également à un secteur, une région, un programme ou un projet individuel. Il s'applique de même à la société civile et au secteur privé. 2. L'annexe I contient une version de l'examen de l'état de préparation pour les pays, les ministères et les organisations de développement qui voudraient s'au- toévaluer : « Assessing Results-Based M&E Capacity : An Assessment for Countries, Development Institutions and Their Partners ». Voir également « A Diagnostic Guide and Action Framework » (Mackay, 1999). Certains aspects de l'examen de l'état de préparation dont on traite dans le présent guide sont tirés de cet ouvrage. *MEP corrigée finale-3 2/3/06 8:43 AM Page 53 Chapitre 2 Étape 2 : S'entendre sur les réalisations à surveiller et à évaluer Figure 2.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation Peu importe le niveau de gouvernement, le processus de prise de décision s'effectue nécessairement en fonction d'objectifs fixés. Tous les gouvernements ont des objectifs ­ bien que tous n'aient pas la capacité de faire un suivi-évaluation. Lorsqu'un pays ou une organisation est effectivement en position d'aller de l'avant dans la construc- tion d'un système de suivi-évaluation axé sur les résultats, il convient alors de choi- sir et de s'entendre sur les réalisations (découlant des objectifs) à surveiller et à éva- luer (figure 2.1). Il est essentiel de savoir où l'on va avant de s'engager dans la voie. Plus spécifiquement, ce chapitre se penche sur (a) l'importance des réalisations ; (b) les questions à considérer dans le choix des réalisations à surveiller et à évaluer ; (c) l'importance d'un processus participatif et consultatif qui implique les princi- paux partenaires ; et (d) le processus général pour déterminer et s'entendre sur les réalisations. On y trouve également quelques exemples à évaluer et à discuter. L'importance des réalisations Au départ, il est important de distinguer les objectifs des réalisations. Les objectifs, par exemple les OMD, ont d'ordinaire un horizon temporel plus éloigné. Puis, nous passons des objectifs aux réalisations, qui ont un horizon temporel intermédiaire (de *MEP corrigée finale-3 2/3/06 8:43 AM Page 54 54 Vers une culture du résultat cinq à dix ans). Des réalisations à atteindre, nous tirons enfin des cibles, « Si vous ne savez pas qui sont généralement à court terme ­ dans le contexte des OMD, il où vous allez, n'importe s'agit de cibles à atteindre d'ici un à trois ans. quelle route vous y Pourquoi est-il important à ce stade-ci de se préoccuper des réalisa- mènera » tions ? Pourquoi ne pas déterminer directement les indicateurs ? Parce (Les Aventures d'Alice au qu'en décrivant les réalisations, on obtient une meilleure idée de ce à Pays des merveilles, quoi le succès ressemblera. Par contraste, les indicateurs ne sont perti- Lewis Carroll, 1865). nents que pour prendre une mesure en regard des objectifs. Ainsi, une mesure des indicateurs montrera le progrès accompli en fonction des objectifs convenus. Les décideurs et les parties prenantes sont en mesure d'expliciter autant que possible les réalisations escomptées par l'action gouverne- mentale. On ne peut pas établir des indicateurs avant d'avoir déterminé les réalisations parce que ce sont les réalisations ­ et non les indicateurs ­ qui produisent en bout de ligne les bénéfices. Les réalisations prouve- ront que les efforts ont été couronnés de succès. En bref, les réalisations montreront le chemin à suivre. Il est essentiel de déterminer des réalisations pour construire un sys- tème de suivi-évaluation axé sur les résultats. La construction du sys- tème est fondamentalement un processus déductif dans lequel les intrants, les activités et les extrants découlent tous des réalisations. Les indicateurs, les données témoins et les cibles (qui seront traités dans les chapitres subséquents), qui sont tous des éléments cruciaux du cadre de performance, découlent des réalisations et sont fondées sur elles. Les questions à considérer dans le choix des réalisations à surveiller et à évaluer Quelles sont les priorités stratégiques ? Quelles sont les réalisations sou- En général, on diffuse les haitées ? Voilà les questions que toute organisation, tout niveau de gou- résultats sans les mesurer vernement, de même que les parties intéressées dans la société civile, directement. peuvent poser ­ à eux-mêmes et aux autres. Dans la partie qui suit, nous verrons surtout en quoi cela concerne le gouvernement national. Tous les pays ont des ressources budgétaires limitées et doivent éta- blir des priorités. En conséquence, il est important de garder à l'esprit la distinction suivante : on planifie le budget en fonction des extrants, et on gère en fonction des réalisations. Plusieurs questions doivent être examinées lorsqu'on choisit les réalisa- tions qu'il faudra surveiller et évaluer. Par exemple, les réalisations peu- vent être liées à des enjeux de développement économique ou de prêts internationaux, incluant une Stratégie nationale de réduction de la pau- vreté, un Plan national de développement, l'Initiative PPTE ou les OMD. Si le pays a un plan pour adhérer à l'UE, les décideurs doivent éva- luer une série de critères socioéconomiques et politiques et préciser les réalisations spécifiques souhaitées qui permettront d'y répondre, de façon à pouvoir formellement se joindre à ce bloc régional important. *MEP corrigée finale-3 2/3/06 8:43 AM Page 55 Étape 2. S'entendre sur les réalisations à surveiller et à évaluer 55 Au niveau du pays, on a peut-être déjà défini un certain nombre d'objectifs nationaux, régionaux ou sectoriels. Des engagements poli- tiques et électoraux ont peut-être promis une performance gouverne- mentale supérieure dans un domaine donné. De plus, des sondages d'opinion ont pu indiquer certaines préoccupations au sein de la société. Avant de déterminer les objectifs nationaux à atteindre, on peut également s'intéresser aux activités parlementaires et aux lois habili- tantes. Il pourrait également y avoir une série d'objectifs simples pour un projet ou un programme donnés, ou pour une région particulière du pays. On peut établir des réalisations spécifiques pour ces objectifs. Il faut noter que la formulation des réalisations nationales peut poser des défis particuliers aux pays en développement. Ceux-ci peuvent trou- Entourez-vous. Ne ver difficile de fixer des priorités gouvernementales, notamment en rai- choisissez jamais seul les son d'un manque de volonté politique, des capacités de planification et réalisations. d'analyse déficientes, ou d'une agence centrale trop faible. Cependant, tous les gouvernements doivent tout de même avoir des objectifs, et il existe des façons de construire un consensus national et de développer les capacités nécessaires pour fixer des priorités et formuler les réalisa- tions désirées. Cela nécessite la mise en place d'un processus participa- tif impliquant les principaux partenaires. Un appui des donateurs pour renforcer les institutions et les capacités peut aussi lancer le processus technique et analytique consistant à formuler les réalisations nationales souhaitées. L'importance d'un processus participatif et consultatif qui implique les principaux partenaires Si l'on fixe des objectifs de façon isolée, cela mène à une absence de prise en charge de la part des principaux partenaires internes et externes. De la même façon, lorsqu'on choisit les réalisations, il est cru- cial de mettre en place un processus participatif et consultatif impli- quant les parties prenantes. Le processus participatif développe d'abord les objectifs, détermine ensuite les réalisations puis établit un système d'indicateurs. (La responsabilité des indicateurs ne peut être simple- ment déléguée aux techniciens, puisque les milieux politiques doivent être consultés et doivent s'entendre autant sur les objectifs que sur les indicateurs. Nous analyserons cette question plus en détail à l'Étape 3, qui traite de la manière de déterminer des indicateurs.) Les nouvelles réalités liées à la gouvernance, à la mondialisation, aux prêts dans le cadre de l'aide internationale et aux attentes des citoyens nécessitent une approche qui est à la fois consultative, coopérative et centrée vers l'obtention d'un consensus. Les opinions et les points de vue des partenaires devraient être activement sollicités. Par le biais de l'approche participative, on implique les principaux partenaires et l'on contribue à créer des consensus et à susciter un engagement à atteindre les réalisations voulues. *MEP corrigée finale-3 2/3/06 8:43 AM Page 56 56 Vers une culture du résultat Le processus général pour déterminer et s'entendre sur les réalisations Il faut savoir où l'on s'en va, pourquoi on y va, et comment on saura qu'on est arrivé. Déterminer et s'entendre sur les réalisations souhaitées implique un proces- sus politique. Chaque partie du processus est d'une importance critique pour susci- ter un consensus sur les réalisations parmi les parties prenantes. Identifier les représentants spécifiques des partenaires Qui sont les principales parties impliquées dans une question donnée (santé, éduca- tion, etc.)? À quelle catégorie ­ par exemple, ONG, gouvernement, donateurs ­ se rat- tachent-elles? Quels sont les intérêts et les points de vue qui obtiendront la priorité ? Découvrir les principales préoccupations des parties prenantes On peut utiliser des techniques de collecte d'information telles que des réunions de dis- cussion, des groupes témoins, des sondages et des entrevues pour découvrir les intérêts des groupes impliqués. De nombreuses voix doivent être entendues ­ et pas seulement les plus fortes, les plus riches ou celles qui ont les meilleurs contacts. Les gens doivent être intégrés au processus pour améliorer et appuyer un secteur public démocratique. Traduire les problèmes en énoncés d'améliorations possibles Un énoncé axé sur les réalisations permet de distinguer la route et la destination devant soi. Il convient de formuler les problèmes en tant que réalisations positives. En effet, nous encourageons une formulation positive plutôt que négative des réali- sations (figure 2.2) puisque les partenaires vont réagir et se rallier plus facilement à des énoncés positifs tels que : « Nous voulons améliorer la santé des bébés et des enfants », plutôt que « Nous voulons que moins de bébés et d'enfants soient Figure 2.2 Comment formuler des énoncés de réalisations Reformuler les préoccupations des partenaires en réalisations souhaitables : DE À Les récoltes en provenance des Améliorer l'accès des milieux ruraux se perdent avant fermiers aux marchés d'arriver au marché Inciter les familles à Les enfants abandonnent l'école maintenir les enfants à l'école On n'est plus en sécurité Améliorer la sécurité au sein lorsqu'on sort après la tombée des communautés du jour *MEP corrigée finale-3 2/3/06 8:43 AM Page 57 Étape 2. S'entendre sur les réalisations à surveiller et à évaluer 57 malades ». Des énoncés positifs qui sont à la portée des partenaires semblent conte- nir plus de légitimité. Il est plus facile d'obtenir un consensus politique en référant positivement aux réalisations souhaitées. Simplifier de façon à se concentrer sur la principale réalisation souhaitée Les réalisations devraient être suffisamment fractionnées pour que chaque déclara- tion se concentre sur un seul champ d'amélioration. Une réalisation typique serait d'« accroître le pourcentage de personnes qui occupent un emploi ». Pour savoir si cette réalisation a été atteinte, l'objectif doit être suffisamment simplifié pour répondre aux questions suivantes : · Pour qui ? · Où ? · Combien ? · Pour quand ? Cette réalisation se divise en parties plus spécifiques en examinant la hausse de l'emploi chez les groupes cibles, par secteur, en fonction du pourcentage de change- ment et des délais. Par exemple, la réalisation fractionnée pourrait être d'« accroître l'emploi parmi les jeunes des régions rurales de 20 % au cours des quatre prochaines années ». On ne saura si la réalisation a été atteinte avec succès que si l'on spécifie ses composantes et qu'on exprime clairement les détails. En simplifiant et en distillant les réalisations à ce stade-ci, on réussit à éviter les com- plications lorsqu'on commence à construire un système d'indicateurs, de données témoins et de cibles permettant de surveiller et d'évaluer. En fractionnant les réalisa- tions, on peut établir des indicateurs et mesurer les résultats pour chaque composante. Établir un plan pour déterminer comment un gouvernement ou une organisation atteindra les réalisations Lorsqu'on effectue un suivi au moyen des outils traditionnels axés sur la mise en oeuvre (les intrants, les activités et les extrants), la nécessité de viser des réalisations clairement définies est moins apparente. Les gestionnaires assemblent les intrants, assignent des activités et attendent de voir apparaître les extrants. Le défaut de cette approche est que la somme de toutes les activités peut ou peut ne pas signifier qu'on a atteint les réalisations voulues. Même si toutes les activités ont été complétées à l'intérieur du délai prévu, les réalisations souhaitées n'ont pas nécessairement été atteintes. Cela ne veut pas dire que les activités ne sont pas importantes. Les actes qui doi- vent être posés pour gérer et mettre en oeuvre les programmes, utiliser les ressources et fournir les services gouvernementaux jouent un rôle crucial dans le processus. Ils sont nécessaires ­ mais pas suffisants. Des exemples et des approches possibles Comment choisit-on des réalisations ? L'exemple ci-dessous illustre un scénario qui pourrait être utile. *MEP corrigée finale-3 2/3/06 8:43 AM Page 58 58 Vers une culture du résultat Situation Après de vastes consultations auprès des prin- cipaux partenaires, un président a établi cer- tains objectifs nationaux et sectoriels impor- tants qui seront intégrés dans le plan quinquennal de développement économique. Le premier ministre a à son tour reçu du prési- dent le mandat : (a) de traduire ces objectifs en une série de réalisations qui doivent être atteintes ; et (b) de faire la démonstration qu'on a progressé sur le plan de la vision stratégique. Actions Le premier ministre demande au ministre des Finances de prendre dix semaines pour établir les réalisations souhaitées. Le ministre des Finances met sur pied un groupe de travail qui inclut des représentants des partenaires du pays. Les partenaires inclus Le gouvernement, la société civile, les donateurs. Le motif Créer un consensus autour du processus. Les trois principales Le ministre des Finances confère au nouveau responsabilités groupe de travail trois principales responsabili- tés: (a) identifier les représentants spécifiques des partenaires; (b) découvrir les principales préoc- cupations des partenaires; et (c) traduire la liste de préoccupations en une liste de réalisations positives qu'il serait souhaitable d'atteindre. Traduire les problèmes en énoncés positifs est essentiel au processus. Il est préférable de On commence par les problèmes dans un pays donné, puis on refor- s'entendre sur les priorités mule ces préoccupations en une série de réalisations souhaitées. En et les réalisations d'autres termes, les enjeux et les problèmes doivent être remaniés de stratégiques, puis de les façon à apparaître comme une série de solutions. Les figures 2.3 et 2.4 utiliser pour agir sur fournissent des exemples pratiques pour illustrer le processus, d'une l'affectation des ressources façon correcte (figure 2.3) et d'une façon incorrecte (figure 2.4). et sur les activités. Considérons maintenant l'importance d'exprimer une seule réalisa- tion dans chaque énoncé de réalisation. (Cette question deviendra déci- sive lorsque nous nous pencherons sur les indicateurs à l'Étape 3.) La figure 2.4 contient quatre exemples qui illustrent comment NE PAS for- muler un énoncé de réalisation. Les énoncés énumèrent plusieurs champs d'amélioration, ce qui complique le processus ultérieur de fixa- tion des indicateurs. Dans les exemples de la figure 2.4, il devrait y avoir deux énoncés de Il ne suffit pas d'être réalisation séparés alors qu'ils sont présentement combinés. Ainsi, le occupé pour atteindre des premier énoncé devrait se lire tout d'abord « Améliorer les édifices sco- résultats. laires de façon à respecter les exigences d'une économie de marché » et ensuite « Améliorer les standards académiques de façon à respecter les *MEP corrigée finale-3 2/3/06 8:43 AM Page 59 Étape 2. S'entendre sur les réalisations à surveiller et à évaluer 59 Figure 2.3 Énoncés de réalisations dérivés des problèmes et enjeux qui ont été définis DOMAINE D'INTERVENTION : L'ÉDUCATION DE À Les édifices scolaires ne sont pas Améliorer les édifices scolaires de entretenus et sont constitués de façon à respecter les exigences matériaux de mauvaise qualité d'une économie de marché De nombreux enfants dans les Les enfants des régions rurales régions rurales ne peuvent obtiennent un accès égal aux parcourir de longues distances services éducationnels jusqu'à l'école Les écoles n'offrent pas l'ensei- Un programme d'enseignement gnement dont les jeunes ont amélioré qui satisfait aux besoin pour réussir dans une standards d'une économie de économie de marché marché Les personnes pauvres et plus Les enfants qui en ont le plus vulnérables tirent de l'arrière et besoin reçoivent une assistance n'obtiennent pas une éducation pédagogique convenable Figure 2.4 Comment NE PAS formuler des énoncés de réalisation DOMAINE D'INTERVENTION : L'ÉDUCATION DE À Améliorer les édifices scolaires et Les édifices scolaires ne sont pas les standards académiques de entretenus et sont constitués de façon à respecter les exigences matériaux de mauvaise qualité d'une économie de marché De nombreux enfants dans les Les enfants des régions régions rurales ne peuvent rurales obtiennent un accès égal parcourir de longues distances aux services éducationnels et jusqu'à l'école médicaux Les écoles n'offrent pas l'ensei- Un programme d'enseignement gnement dont les jeunes ont et des installations améliorés qui besoin pour réussir dans une satisfont aux standards d'une économie de marché économie de marché Les personnes pauvres et plus Les enfants qui en ont le plus vulnérables tirent de l'arrière et besoin reçoivent une assistance n'obtiennent pas une éducation pédagogique et nutritionnelle convenable *MEP corrigée finale-3 2/3/06 8:43 AM Page 60 60 Vers une culture du résultat Figure 2.5 Formuler des réalisations pour un seul champ d'intervention EXEMPLE : L'ÉDUCATION Réalisation Indicateurs Données témoins Cibles 1. Améliorer l'accès des enfants du pays aux programmes préscolaires 2. Améliorer l'apprentissage des enfants dans les écoles primaires exigences d'une économie de marché ». De la même façon, le second énoncé contient lui aussi deux réalisations, et devrait se lire plutôt « Les enfants des régions rurales obtiennent un accès égal aux services éducationnels » et « Les enfants des régions rurales obtiennent un accès égal aux services médicaux ». Le troisième énoncé devrait contenir deux réalisations : « Un programme d'enseignement amélioré qui satisfait aux standards d'une économie de marché » et « Des installations améliorées qui satisfont aux standards d'une économie de marché ». Enfin, le quatrième énoncé peut lui aussi se traduire par deux réalisations : « Les enfants qui en ont le plus besoin reçoivent une assistance pédagogique » et « Les enfants qui en ont le plus besoin reçoivent une assistance nutritionnelle ». Choisir les réalisations est la première étape vers la construction d'une matrice de performance. La figure 2.5 fournit des exemples de réalisations possibles dans le développement de l'éducation. Les indicateurs, les données témoins et les cibles découleront de cette étape initiale. Nous verrons dans les chapitres suivants com- ment spécifier des indicateurs, des données témoins et des cibles. Nous avons examiné l'importance critique de la sélection des réalisations, les enjeux qu'implique le choix des réalisations à surveiller et à évaluer, et l'importance de mettre en place un processus politique participatif et consultatif qui inclut les prin- cipaux partenaires. Nous avons établi la séquence des étapes à suivre pour détermi- ner les réalisations, de même que quelques lignes directrices pour formuler des énon- cés de réalisations qui peuvent être mesurés par une série d'indicateurs. Nous passons maintenant à l'Étape 3, soit établir des indicateurs pour surveiller les réalisations. *MEP corrigée finale-3 2/3/06 8:43 AM Page 61 Chapitre 3 Étape 3 : Déterminer les principaux indicateurs pour surveiller les réalisations Figure 3.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation Comment saurons-nous que nous avons atteint les réalisations souhaitées ? Après avoir examiné l'importance de déterminer des réalisations atteignables et bien défi- nies, et les enjeux et processus qui en découlent, nous nous penchons maintenant sur la sélection des principaux indicateurs (figure 3.1). Les indicateurs de réalisation ne sont pas la même chose que les réalisations. Les indicateurs sont les variables quan- titatives et qualitatives qui fournissent un moyen simple et fiable de mesurer ce qu'on a atteint, de mettre en lumière les changements liés à une intervention, ou de mesurer la performance d'une organisation en regard des réalisations prescrites. Des indicateurs devraient être développés pour tous les niveaux d'un système de suivi- évaluation axé sur les résultats, en ce sens que des indicateurs sont nécessaires pour suivre le progrès des intrants, des activités, des extrants, des réalisations et des objec- tifs. Le progrès doit être surveillé à tous les niveaux du système de façon à fournir une rétroaction sur les champs où l'intervention est un succès et ceux où des amé- liorations pourraient être requises. Les indicateurs de réalisation permettent de répondre à deux questions fonda- mentales : « Comment saurons-nous que nous avons atteint le but ou le succès visés ? Avançons-nous vers l'atteinte des réalisations souhaitées ? » Voilà les questions qui sont de plus en plus souvent posées aux gouvernements et aux *MEP corrigée finale-3 2/3/06 8:43 AM Page 62 62 Vers une culture du résultat organisations du monde entier. En conséquence, établir des indicateurs appro- priés pour répondre à ces questions devient une partie cruciale de notre modèle en dix étapes. Développer des indicateurs clés pour surveiller les réalisations permet aux ges- tionnaires d'estimer dans quelle mesure les réalisations escomptées ou promises sont en voie d'être atteintes. Le développement des indicateurs est une activité centrale dans la construction d'un système de suivi-évaluation axé sur les résul- tats. Elle détermine toute la collecte de données, l'analyse et la production de rapports qui viendront par la suite. Il existe aussi d'importantes considérations politiques et méthodologiques liées à la création de bons indicateurs efficaces. Ce chapitre examinera spécifiquement : (a) les indicateurs requis pour tous les niveaux d'un système de suivi-évaluation axé sur les résultats ; (b) la traduction des réalisations en indicateurs ; (c) les meilleurs critères pour sélectionner de bons indi- cateurs ; (d) l'utilisation d'indicateurs intermédiaires ; (e) les avantages et désavan- tages d'utiliser des indicateurs préconçus ; (f) la construction d'indicateurs et le suivi de l'information sur la performance ; et (g) l'établissement d'indicateurs à la lumière de l'expérience des pays en développement. Des indicateurs sont requis pour tous les niveaux d'un système de suivi-évaluation axé sur les résultats Il est important d'établir des indicateurs pour mesurer le progrès accompli sur le plan des intrants, des activités, des extrants, des réalisations et des objectifs de façon à fournir la rétroaction nécessaire au système de gestion. Cela aide les ges- tionnaires à déceler les parties d'une organisation ou de l'État qui atteignent ou non les résultats tel que prévu. En mesurant sur une base régulière et constante les indi- cateurs de performance, les gestionnaires et les décideurs peuvent savoir si les pro- jets, les programmes et les politiques sont sur la bonne voie ou non, ou même s'ils dépassent les cibles de performance prévues. On obtient ainsi l'occasion de faire des ajustements, de remettre les choses sur la bonne voie, et de gagner une expé- rience et un savoir précieux sur le plan institutionnel. En bout de ligne, cela accroît évidemment la probabilité d'atteindre les réalisations souhaitées. Traduire les réalisations en indicateurs Mesurer des « résultats » signifie ici mesurer des réalisations, et pas seulement des intrants et des extrants. Il faut toutefois traduire ces réalisations en une série d'indi- cateurs de performance que l'on peut mesurer. C'est en évaluant les indicateurs de performance clés que l'on peut déterminer si les réalisations sont en voie d'être atteintes. Par exemple, dans le cas d'une réalisation qui vise à « améliorer l'apprentissage des élèves », un indicateur pourrait être l'évolution des résultats des élèves lors des tests scolaires. Si les élèves obtiennent des résultats qui vont toujours en s'amélio- rant à ces tests, on peut présumer que leur apprentissage général s'est aussi amélioré. On peut aussi donner l'exemple de la réalisation qui consiste à « réduire les compor- tements à risque chez les personnes fortement susceptibles de contracter le *MEP corrigée finale-3 2/3/06 8:43 AM Page 63 Étape 3. Déterminer les principaux indicateurs pour surveiller les réalisations 63 VIH/sida ». Les nombreux indicateurs directs consisteraient en une mesure des différents comportements des individus qui sont le plus à risque. Comme dans le cas de la sélection des réalisations, on doit également tenir compte des intérêts des nombreux partenaires en choisissant les Quel est le nombre idéal indicateurs. Nous avons déjà souligné que les réalisations doivent être d'indicateurs pour une traduites en une série d'indicateurs de performance que l'on peut mesu- réalisation ? Il s'agit du rer. Quels indicateurs doit-on choisir ? Le processus de sélection devrait plus petit nombre qui tenir compte des préoccupations des partenaires intéressés. Il revient permet de répondre à la aux gestionnaires de condenser les intérêts des partenaires en indica- question : « La réalisation teurs fiables et utilisables. Les réalisations doivent donc être fraction- a-t-elle été atteinte ? » nées pour s'assurer que les indicateurs conservent une pertinence par rapport aux préoccupations de plusieurs groupes partenaires ­ et non pour un seul. Surtout, la pertinence des indicateurs est importante pour les gestionnaires parce que le point central d'un tel système touche à la performance et à son amélioration. Si la réalisation est d'améliorer l'apprentissage des élèves, l'un des groupes partenaires est évidemment les élèves eux-mêmes. En mettant en place un système axé sur les résultats pour mesurer l'apprentissage, les responsables de l'éducation et les gouvernements pourraient toute- fois vouloir également mesurer des indicateurs qui répondraient aux préoccupations des enseignants et des parents, ainsi que l'accessibilité scolaire et le matériel pédagogique. Des indicateurs additionnels pour- raient ainsi mesurer le nombre d'enseignants qualifiés, la prise de conscience par les parents de l'importance d'inscrire les filles à l'école, ou encore la disponibilité d'un matériel approprié. Notre intention n'est pas de suggérer qu'il y ait un indicateur pour chaque groupe partenaire. La sélection des indicateurs est un proces- sus compliqué où les intérêts de nombreux partenaires doivent être réconciliés. Il devrait à tout le moins y avoir des indicateurs qui mesu- rent directement les réalisations souhaitées. Dans le cas de l'améliora- tion de l'apprentissage des élèves, il doit y avoir un indicateur pour les élèves. Les résultats aux examens pourraient constituer cet indicateur particulier. Avec l'ajout d'indicateurs (figure 3.2), nous pouvons compléter le cadre de performance pour l'éducation introduit au chapitre précédent. Les meilleurs critères pour sélectionner de bons indicateurs de réalisations Il existe cinq critères essentiels pour sélectionner de bons indicateurs de performance pour un projet, un programme ou une politique (Schiavo- Campo, 1999, p. 85). Les indicateurs de performance doivent être clairs, pertinents, économiques, adéquats et aptes au suivi. Ces critères sont l'équivalent d'une police d'assurance, parce que plus les indica- teurs sont précis et cohérents, plus la stratégie sera bien ciblée. *MEP corrigée finale-3 2/3/06 8:43 AM Page 64 64 Vers une culture du résultat Figure 3.2 Développer une série d'indicateurs pour un domaine d'intervention EXEMPLE : L'ÉDUCATION Réalisation Indicateurs Données témoins Cibles 1. Améliorer l'accès 1. Proportion d'enfants éli- des enfants du pays gibles des régions aux programmes urbaines inscrits dans des préscolaires programmes préscolaires 2. Proportion d'enfants éli- gibles des régions rurales inscrits dans des programmes préscolaires 2. Améliorer 1. Proportion des élèves l'apprentissage des de 6e année qui obtien- enfants dans les nent au moins 70 % aux écoles primaires examens standardisés de mathématiques et de sciences Clair Précis et sans ambiguïté Pertinent Convient au sujet en question Économique Disponible à un coût raisonnable Adéquat Fournit une base suffisante pour évaluer la performance Apte au suivi Susceptible d'être validé de façon indépendante Si l'un de ces cinq critères n'est pas rempli, des indicateurs de performance qui semblent formellement adaptés en pâtiront et deviendront moins utiles1. Les indicateurs de performance devraient être clairs, directs et sans ambiguïté. Les indicateurs peuvent être de nature qualitative ou quantitative. Pour la mise en place de systèmes de suivi-évaluation axés sur les résultats, nous recommandons toutefois de débuter avec un système simple et quantitativement mesurable plutôt que d'inté- grer immédiatement des indicateurs qui se mesurent qualitativement. Les indicateurs de nature quantitative devraient être exprimés par un nombre (nombre, moyenne, médiane) ou un pourcentage spécifiques. « Les pourcentages peuvent aussi être exprimés d'une multiplicité de façons, par exemple, des pourcen- tages qui se situent dans une catégorie de réalisations particulière... des pourcen- tages qui se situent au-dessus ou en dessous d'une valeur cible quelconque... et des pourcentages qui reviennent à certains intervalles dans une réalisation donnée... » (Hatry, 1999, p. 63). « Les indicateurs sont souvent exprimés en tant que nombre ou pourcentage (proportion ou taux). Les programmes devraient envisager d'inclure les deux formes. Le nombre de réussites (ou d'échecs) en soi ne révèle rien du taux de réussite (ou d'échec). Le pourcentage n'indique pas par lui-même l'ampleur du *MEP corrigée finale-3 2/3/06 8:43 AM Page 65 Étape 3. Déterminer les principaux indicateurs pour surveiller les réalisations 65 succès. Pour estimer correctement la portée d'une réalisation, on doit disposer de nombres et de pourcentages » (Hatry, 1999, p. 60). « Les indicateurs et cibles de nature qualitative entraînent des évaluations quali- tatives... [c'est-à-dire] un examen de la conformité, de la qualité, de l'étendue et du niveau [...]. Les indicateurs de nature qualitative [...] fournissent des aperçus des changements dans les processus institutionnels, les attitudes, les croyances, les moti- vations et les comportements des individus » (FNUAP, 2000, p. 7). Un indicateur de nature qualitative peut mesurer les perceptions, comme par exemple le niveau d'au- tonomisation que les fonctionnaires des gouvernements locaux considèrent néces- saire pour remplir leur tâche adéquatement. Les indicateurs de nature qualitative peuvent aussi inclure la description d'un comportement, tel que le niveau de maî- trise d'une compétence récemment acquise. Les données qualitatives sont perti- nentes, mais il faut davantage de temps pour les recueillir, les mesurer et les distiller, surtout dans les premières phases. De plus, les données qualitatives sont difficiles à valider parce qu'elles impliquent souvent des jugements subjectifs et circonstanciels. Les indicateurs de nature qualitative devraient être utilisés avec précaution. La ges- tion publique ne s'appuie pas uniquement sur la perception que les choses avancent. Elle s'appuie sur l'obtention d'une information objective des progrès réels qui aidera les gestionnaires à prendre des décisions stratégiques en meilleure connaissance de cause, à réaligner les budgets et à gérer les ressources. Le progrès réel est important parce que, en bout de ligne, les systèmes de suivi-évaluation contribueront à transmettre de l'in- formation aux politiciens, aux ministres et aux organisations sur ce qu'ils peuvent pro- mettre et accomplir de façon réaliste. Les parties prenantes, de leur côté, seront surtout intéressées dans les réalisations en tant que telles, et feront pression pour que les ges- tionnaires soient tenus responsables du progrès vers l'atteinte de ces réalisations. Les indicateurs de performance devraient avoir une pertinence pour la réalisation souhaitée et ne pas être influencés par d'autres questions qui n'ont qu'un lien mar- ginal avec la réalisation. Il faut également prendre en considération les coûts économiques lorsqu'on éta- blit les indicateurs. Cela signifie que les indicateurs devraient être déterminés en son- geant aux dépenses entraînées par la collecte et l'analyse des données. Par exemple, dans le Document de stratégie de réduction de la pauvreté (DSRP) de la République du Kirghizstan, on retrouve environ 100 indicateurs nationaux et infranationaux qui se rattachent à plus d'une douzaine de champs de réforme des politiques publiques. Parce que chaque indicateur implique la collecte et l'analyse de données et la production de rapports, le gouvernement kirghiz aura besoin de conce- voir et de construire 100 systèmes distincts de suivi-évaluation simplement pour esti- mer le progrès parcouru dans le cadre de sa Stratégie de réduction de la pauvreté. Pour un pays pauvre avec des ressources limitées, cela nécessitera beaucoup d'effort. De la même façon, le DSRP en Bolivie contenait initialement 157 indicateurs de niveau national. Il est rapidement devenu évident qu'il serait impossible de construire un système de suivi-évaluation pour un si grand nombre d'indicateurs. Le DSRP préliminaire de la Bolivie ne contient maintenant que 17 indicateurs. Les indicateurs doivent être adéquats. Ils ne devraient pas être indirects et fournir des données trop intermédiaires, ni être si abstraits que l'évaluation de la perfor- mance devient compliquée et difficile. *MEP corrigée finale-3 2/3/06 8:43 AM Page 66 66 Vers une culture du résultat Les indicateurs devraient être aptes à faire l'objet d'un suivi, c'est- Chaque indicateur à-dire qu'ils peuvent être validés ou vérifiés de façon indépendante, ce implique des coûts et une qui est une raison de plus de recourir à des indicateurs quantitatifs plu- certaine quantité de travail. tôt que qualitatifs. Les indicateurs devraient être fiables et bien fondés Fondamentalement, pour garantir que ce qui est mesuré à un moment donné est la même lorsqu'on tente de chose que ce qui est mesuré plus tard ­ et que ce qui est mesuré est en construire des systèmes de effet ce qu'on avait l'intention de mesurer. suivi-évaluation, on Il faudrait aussi faire attention de ne pas choisir les indicateurs en envisage un nouveau fonction de la facilité à recueillir les données. « Trop souvent, les système de suivi-évaluation agences fondent leur sélection d'indicateurs sur la disponibilité des don- pour chaque indicateur. nées plutôt que sur l'importance de l'indicateur et sa pertinence face Pour cette raison, les aux réalisations à atteindre » (Hatry, 1999, p. 55). indicateurs devraient être La figure 3.3 propose une liste de contrôle pour évaluer les indica- choisis minutieusement et teurs proposés. judicieusement. L'utilisation d'indicateurs intermédiaires En ce qui concerne les indicateurs, la précision n'est pas toujours garan- tie, mais on peut tenter d'être juste de façon approximative. Parce qu'il s'avère parfois difficile de mesurer les indicateurs directement, l'utilisa- tion d'indicateurs intermédiaires est nécessaire. Les indicateurs indi- rects, ou intermédiaires, devraient être utilisés uniquement lorsque des données provenant d'indicateurs directs ne sont pas disponibles, lorsque la collecte de données sera trop coûteuse, ou s'il n'est pas fai- sable de recueillir des données à intervalles réguliers. Il faut cependant être prudent lorsqu'on utilise des indicateurs intermédiaires, puisqu'il faut présumer qu'ils fournissent des données approximatives sur la per- formance (encadré 3.1). Par exemple, s'il est difficile de mener des enquêtes à domicile de façon périodique dans les quartiers résidentiels dangereux, on peut uti- liser le nombre de toits en fer-blanc ou d'antennes de télévision comme mesure intermédiaire de la croissance du revenu familial. Ces indica- teurs intermédiaires suivent peut-être correctement la réalisation sou- haitée, mais d'autres facteurs pourraient aussi entrer en jeu ; par Il vaut mieux être juste exemple, l'augmentation du revenu peut être attribuable à de l'argent de façon approximative provenant du trafic de drogue ou généré sur le marché noir, ou à l'élec- que d'errer de façon trification récente qui permet l'achat de téléviseurs. Ces facteurs per- précise. mettraient plus difficilement d'attribuer les changements à l'effet d'une politique ou d'un programme de développement économique. Les avantages et désavantages des indicateurs préconçus Les indicateurs préconçus sont ceux qui sont établis indépendamment d'un pays, d'une organisation, d'un programme ou d'un contexte sec- toriel particuliers. Par exemple, un certain nombre d'institutions impli- quées dans le développement ont créé des indicateurs pour suivre les objectifs du développement, incluant ceux-ci : *MEP corrigée finale-3 2/3/06 8:43 AM Page 67 Étape 3. Déterminer les principaux indicateurs pour surveiller les réalisations 67 Figure 3.3 Liste de contrôle pour évaluer les indicateurs proposés Réalisation devant être mesurée : Indicateur sélectionné : L'indicateur est-il... 1. Un reflet aussi direct que possible de la réalisation elle- même ? 2. Suffisamment précis pour garantir une mesure objective ? 3. Susceptible d'entraîner la collecte de données la plus pra- tique et la moins coûteuse ? 4. Sensible aux changements dans la réalisation, tout en étant relativement insensibles aux autres changements ? 5. Fractionné tel qu'il convient pour la rédaction du rapport sur la réalisation ? Source : United Way of America, 1996. Encadré 3.1 Des dilemmes dans le choix des indicateurs Le Musée de la science et de l'industrie de Chicago ­ un grand musée caverneux comprenant plusieurs expositions de taille monumentale, incluant un sous- marin complet et une mine de charbon ­ souhaitait déterminer laquelle de ses expositions présentait le plus grand intérêt pour ses visiteurs. Les responsables du musée se sont rendu compte qu'il était impossible de calculer le nombre de visiteurs pour chaque exposition, et ont donc décidé d'utiliser un indicateur intermédiaire. Ils ont donc observé à quel endroit ils devaient remplacer les tuiles du plancher le plus souvent. Et où ont-ils découvert les tuiles qui nécessi- taient un remplacement plus fréquent ? Devant la couveuse, où l'on peut voir les poussins qui sortent de leur oeuf. Source : Webb et al., 1966. · les OMD ; · les objectifs de développement humain durable du Programme des Nations Unies pour le développement (PNUD) ; · le Guide du développement rural de la Banque mondiale ; · les indicateurs de solvabilité financière du Fonds monétaire international (FMI). Les OMD contiennent huit objectifs, avec des cibles correspondantes et des indi- cateurs assignés à chacune d'elles. Par exemple, l'objectif 4 est de réduire la mortalité infantile, alors que la cible est de réduire des deux tiers le taux de mortalité chez les enfants de moins de cinq ans entre 1990 et 2015. Les indicateurs comprennent (a) le taux de mortalité chez les moins de cinq ans ; (b) le taux de mortalité infantile ; et *MEP corrigée finale-3 2/3/06 8:43 AM Page 68 68 Vers une culture du résultat (c) la proportion des enfants de un an qui sont vaccinés contre la rougeole. (Pour voir une liste complète des indicateurs des OMD, consultez l'annexe III.) Le PNUD a créé l'Indice de développement humain (IDH) en 1990 afin de mesu- rer le progrès et la qualité de vie dans tous les pays du monde. « L'IDH constitue la première tentative de mesurer les réalisations dans le domaine du développement dans une perspective humaine, exprimée par des indicateurs numériques qui per- mettent de faire des comparaisons entre les pays et dans le temps... L'indice fournit également un outil de travail qui pourrait être davantage développé et raffiné, et qui pourrait guider un pays dans ses efforts pour établir des bases de données perti- nentes » (PNUD, 2001). Plus spécifiquement, « l'Indice de développement humain du PNUD mesure les réalisations d'un pays selon trois aspects du développement humain : la longévité, le savoir et le niveau de vie. La longévité se mesure par l'espérance de vie à la nais- sance ; le savoir par une combinaison du taux d'alphabétisation de la population adulte et du taux brut de scolarisation pour l'éducation primaire, secondaire et supé- rieure ; enfin, le niveau de vie est mesuré par le PIB per capita » (PNUD, 2001). Le Guide du développement rural de la Banque mondiale, fondé sur les Indicateurs de développement mondial, définit et diffuse des statistiques internatio- nales sur une large série d'indicateurs liés au bien-être rural, à l'amélioration de l'économie rurale, au développement des marchés ruraux, à l'amélioration de l'ac- cessibilité aux communications, à la gestion durable des ressources, et au cadre poli- tique et institutionnel. Les indicateurs spécifiques incluent par exemple la propor- tion de la population rurale qui vit sous le seuil de pauvreté, le produit domestique brut agricole, les exportations agricoles, le nombre de routes pavées, les terres potentiellement arables, et les recettes fiscales locales. De cette façon, le Guide des indicateurs du développement rural contribue à dévelop- per une approche uniformisée pour suivre et évaluer le progrès autant à l'intérieur d'un pays qu'entre des pays qui utilisent un ensemble d'indicateurs communs clairement défi- nis. Le Guide contient également une Fiche de parcours rural ­ un indicateur composite qui peut par exemple être utilisé pour estimer le progrès global (ou l'absence de progrès) d'un pays vers l'objectif de réduire la pauvreté rurale (Banque mondiale, 2000). À la lumière des crises financières régionales qui ont secoué diverses régions du monde, le FMI est en train d'élaborer une série d'indicateurs de solvabilité finan- cière. Ces indicateurs reflètent la santé et la solvabilité financière actuelle des insti- tutions financières, des entreprises et des ménages d'un pays donné. Ils comprennent des indicateurs sur les réserves de capitaux, la qualité des actifs, les revenus et la ren- tabilité, les liquidités et la sensibilité aux risques du marché (FMI, 2003). De façon plus générale, le FMI surveille également et publie une série d'indicateurs macroéconomiques qui peuvent être utiles aux gouvernements et aux organisations. On retrouve parmi ceux-ci des indicateurs sur la production, la fiscalité et la mon- naie, la balance des paiements, la dette extérieure, et d'autres du même type. Il existe certains avantages et désavantages à utiliser des indicateurs préconçus : Avantages : · Ils peuvent être utilisés simultanément pour plusieurs projets, programmes et politiques. *MEP corrigée finale-3 2/3/06 8:43 AM Page 69 Étape 3. Déterminer les principaux indicateurs pour surveiller les réalisations 69 · Leurs coûts sont moins élevés que si l'on procédait à la construction de nom- breux systèmes uniques de mesure. · Une plus grande harmonisation des exigences des donateurs est possible. Désavantages : · Ils sont souvent déphasés par rapport aux objectifs spécifiques d'un pays. · Ils sont souvent perçus comme imposés par les instances supérieures. · Ils ne favorisent pas la participation et la prise en charge par les principaux partenaires. · Ils peuvent mener à l'adoption de plusieurs indicateurs en concurrence les uns avec les autres. De plus, on est confronté à certains écueils lorsqu'on tente de décider sur la base de quels critères on choisira un ensemble d'indicateurs préconçus plutôt qu'un autre. Les indicateurs préconçus pourraient ne pas être pertinents dans le contexte d'un pays ou d'une organisation. Il pourrait y avoir des pressions de la part de partenaires externes pour adopter des indicateurs préconçus, mais nous croyons que les indica- teurs devraient, dans la mesure du possible, être déterminés par des forces internes et adaptés aux besoins de l'organisation et aux exigences des gestionnaires en termes d'information. Par exemple, plusieurs pays devront utiliser certains indicateurs pré- conçus pour s'attaquer aux OMD, mais chaque pays devrait par la suite fractionner ces objectifs de façon à ce qu'ils s'accordent avec leurs propres objectifs stratégiques particuliers et avec les besoins en information de chacun des secteurs touchés. Idéalement, il est préférable de développer des indicateurs pour satisfaire aux besoins spécifiques tout en impliquant les partenaires dans un processus participa- tif. L'utilisation d'indicateurs préconçus peut facilement compromettre la participa- tion, un élément important du processus. La construction d'indicateurs La construction d'indicateurs nécessite beaucoup de travail. Il est particulièrement important que les experts compétents sur les questions techniques, les questions de fond et les politiques participent au processus de construction des indicateurs. Toutes les perspectives doivent être prises en compte ­ celles des questions de fond, des questions techniques et des politiques ­ lorsqu'on considère des indicateurs. Les indicateurs peuvent-ils être construits pour répondre aux questions de fond, sont-ils techniquement réalisables, sont-ils pertinents au regard des politiques ? Si l'on reprend l'exemple d'une réalisation qui vise à améliorer l'apprentissage des élèves, il est très important de s'assurer que les professionnels de l'éducation, les spécialistes techniques qui établissent les indicateurs pour mesurer l'apprentissage, et les experts politiques qui déterminent la pertinence des indicateurs sur le plan des politiques, soient tous inclus dans la discussion entourant la sélection des indicateurs. Les indicateurs devraient être construits de manière à combler des besoins spéci- fiques. Ils doivent également constituer un reflet direct de la réalisation elle-même. Et à mesure que le temps passe, de nouveaux indicateurs seront probablement adop- tés et d'autres abandonnés. C'est normal. Il faut toutefois éviter d'abandonner ou de modifier des indicateurs avant d'avoir effectué au moins trois mesures. *MEP corrigée finale-3 2/3/06 8:43 AM Page 70 70 Vers une culture du résultat En effectuant au moins trois mesures, il est possible d'établir un point de comparaison et une tendance à travers le temps. Il faut répondre à deux questions importantes avant de changer ou d'abandonner un indi- cateur : Avons-nous suffisamment testé cet indicateur pour savoir s'il On ne peut développer de fournit l'information qui permet de mesurer efficacement la progres- bons indicateurs du sion de la réalisation souhaitée ? Cet indicateur fournit-il de l'informa- premier coup. Il faut du tion qui en fait un outil de gestion utile ? temps pour arriver à un Il faudrait aussi noter que lorsqu'on change des indicateurs, les points ensemble définitif de comparaison par rapport auxquels on mesure le progrès changent d'indicateurs appropriés. également. On doit établir de nouveaux points de comparaison pour chaque nouvel indicateur la première fois qu'on recueille des données. (On discute plus amplement de cette question au chapitre 4.) En bref, il faut bien réfléchir avant de prendre une décision concer- nant les indicateurs. Ils ne devraient pas être modifiés ni substitués (et jamais sur un coup de tête), puisque cela peut semer le chaos dans le système global de collecte de données. Tous les intervenants dans le sys- tème, des décideurs de haut niveau jusqu'aux responsables de la collecte des données sur le terrain, devraient s'entendre clairement sur la logique et la justification derrière chaque indicateur. Les indicateurs de performance peuvent et doivent être utilisés pour surveiller les réalisations et fournir une rétroaction continue et un flot de données tout au long du cycle du projet, du programme ou de la politique. En plus de faire le suivi des intrants, des activités, des extra- nts et des réalisations, les indicateurs peuvent produire une grande quantité d'information liée à la performance en ce qui a trait au pro- cessus et au progrès vers l'atteinte de ces réalisations. L'information fournie par les indicateurs peut contribuer à attirer l'attention des ges- « La fonction centrale de tionnaires sur les divergences de performance, les insuffisances dans n'importe quel processus l'atteinte des cibles, et d'autres variations ou déviations par rapport à de mesure de performance la réalisation souhaitée. est de fournir des données Ainsi, les indicateurs procurent aux organisations et aux gouverne- régulières et valides sur les ments l'occasion de faire des corrections de mi-parcours, dans la mesure où cela est approprié, pour gérer la progression vers la réalisa- résultats des indicateurs de tion souhaitée. L'utilisation des indicateurs pour suivre les processus et performance » les progrès illustre bien comment un système de suivi-évaluation axé sur (Hatry, 1999, p. 17). les résultats constitue un puissant outil de gestion publique. Établir des indicateurs : l'expérience des pays en développement De plus en plus de pays en développement ­ et même des régions ­ éta- blissent des indicateurs pour suivre le progrès vers leurs objectifs de développement. Les encadrés 3.2 à 3.4 passent en revue les expériences en Afrique, en Albanie et au Sri Lanka. *MEP corrigée finale-3 2/3/06 8:43 AM Page 71 Étape 3. Déterminer les principaux indicateurs pour surveiller les réalisations 71 Encadré 3.2 Les indicateurs de bien-être de la Région Afrique On s'efforce actuellement, dans la Région Afrique, de créer les composantes de base statistiques et techniques d'un système de suivi-évaluation. Parmi ces composantes se trouvent les enquêtes sur les indicateurs essentiels qui ont été menées dans un certain nombre de pays africains, incluant le Ghana, le Malawi, le Mozambique, le Nigeria et le Lesotho. Le Questionnaire sur les indicateurs essentiels de bien-être (CWIQ) a été créé conjointement par la Banque mondiale, le PNUD et l'UNICEF pour surveiller les objectifs de développement par l'utilisation d'indicateurs avancés et d'indicateurs sociaux. « Les indicateurs avancés sont des indicateurs qui anticipent l'arrivée d'un impact, dont l'émergence pourrait être reportée ou difficile à mesurer » (http://www4.worldbank.org/afr/stats/pdf/cwiq.pdf). Plus spécifiquement, le CWIQ aide les gouvernements à recueillir des données sur le bien-être des ménages et sur l'accès, l'utilisation et la satisfaction des usagers envers les services essentiels sur une base annuelle. Les caractéristiques du CWIQ comprennent : · un ensemble fixe de questions essentielles avec des modules flexibles ; · une entrée des données et une validation rapides ; · une production de rapport simplifiée ; · un large échantillon ; · un court questionnaire ; · une collecte des données facile. « Le CWIQ n'est pas une enquête compliquée. Il incorpore un ensemble de caractéristiques qui, lorsqu'elles sont réunies, garantissent un vaste champ d'application et un temps d'exécu- tion rapide » (http://worldbank.org/afr/stats/pdf/ghcoreinds.pdf). De plus, le CWIQ « ...fournit des indicateurs sociaux clés pour les différents sous-groupes de la population ­ à l'intérieur et entre les pays ; [il surveille] les changements qui surviennent avec le temps dans les principaux indicateurs sociaux ; et il procure aux pays un outil simple qui produit des résultats rapides » (Banque mondiale, p. 1). En même temps, utiliser le CWIQ n'empêche d'aucune façon les pays participants de déve- lopper leurs propres indicateurs socioéconomiques spécifiques. Pour consulter un exemple de CWIQ qui a été complété, voir le document à http://worldbank. org/afr/stats/pdf/ghcoreinds.pdf, qui contient les Indicateurs essentiels de bien-être pour le Ghana (http://www4.worldbank.org/afr/stats/pdf/cwiqloop.pdf). Source : Banque mondiale. Dans la mesure du possible, les indicateurs devraient être développés sur la base des besoins particuliers d'un pays ou d'une organisation donnés. « ...[L]e choix d'in- dicateurs de performance appropriés diffère d'un pays, d'une période et d'un secteur à l'autre. Ainsi, lorsqu'il est approprié et rentable de mesurer la performance, il faut chercher à le faire selon une combinaison d'indicateurs d'intrant, de réalisation et de processus qui sont réalistes et appropriés pour l'activité, le secteur, le pays et la période en question » (Schiavo-Campo, 1999, p. 80-81). Encore une fois, il faut être conscient que le développement de bons indicateurs n'est pas instantané et qu'il faut du temps avant d'arriver à un ensemble définitif d'indicateurs. *MEP corrigée finale-3 2/3/06 8:43 AM Page 72 72 Vers une culture du résultat Encadré 3.3 Le Plan d'action triennal de l'Albanie Des systèmes de suivi et d'évaluation ­ aussi bien ceux axés sur la mise en oeuvre que ceux axés sur la performance ­ seront développés et utilisés par le gouvernement de l'Albanie pour fournir une rétro- action concernant les principaux programmes qui constituent le Plan d'action triennal. (Cela inclut toutes les principales initiatives stratégiques en cours dans le secteur public albanais: la Stratégie nationale pour le développement social et économique [SNDSÉ]; le Cadre de dépenses à moyen terme; l'Accord sur la stabilisation et l'association; le Plan d'action contre la corruption; et la Stratégie pour la décentralisation et l'autonomie locale.) Le gouvernement a désigné le Département de la coordination au sein du conseil des ministres pour superviser et coordonner la mise en oeuvre d'un suivi du Plan d'action triennal. Des responsabilités similaires pour le suivi de la performance de la SNDSÉ seront assignées au département de la SNDSÉ au sein du ministère des Finances. Le ministère des Finances doit superviser la gestion globale de la performance et de la mise en oeuvre par les douze ministères sectoriels qui sont concernés par la SNDSÉ. Ces responsabilités com- prennent: (a) des procédures pour déterminer les indicateurs qui seront suivis et qui feront l'objet de rapports; (b) des instructions aux ministères sectoriels sur la façon de sélectionner des indica- teurs; (c) des procédés pour sélectionner des indicateurs pour garantir qu'ils mesurent les résultats escomptés par les principaux partenaires; et (d) des procédures pour clarifier la façon dont l'infor- mation doit être recueillie par rapport aux indicateurs afin d'assurer une cohérence dans la vérifi- cation et les rapports. Des avancées sont également réalisées au ministère de l'Éducation, qui a récemment développé une matrice préliminaire pour suivre le progrès de la SNDSÉ. Une nouvelle unité de suivi-évaluation a aussi été mise en place au sein du ministère de l'Éducation, qui comprend six représentants de dif- férents départements. Des indicateurs liés au domaine de l'éducation seront développés en rapport avec diverses initiatives du gouvernement dont la Stratégie de croissance et de réduction de la pau- vreté, les Crédits en appui à la réduction de la pauvreté, le Projet Éducation, et Éducation pour tous. Les indicateurs du domaine de l'éducation incluent notamment la fréquentation scolaire par niveau, les salaires des enseignants, la portion du PIB dédiée à l'éducation, le rapport élèves- enseignant, le pourcentage du personnel enseignant qui se conforme aux normes ministérielles de qualification, la taille moyenne des classes, les taux de diplomation, et les niveaux d'éducation dis- tincts pour les régions rurales et les familles pauvres. De façon plus générale, le gouvernement albanais possède des compétences de base en statis- tique (même s'il y a place à amélioration) et a récemment établi une unité d'analyse des politiques. Le gouvernement a aussi des indicateurs en place pour les OMD. Source : Banque mondiale, 2002a. Ce que nous construisons en bout de ligne est un cadre de performance pour four- nir aux pays et aux organisations les moyens de développer des stratégies, d'établir des réalisations, de construire des indicateurs, de fixer des points de comparaison et des cibles. Ce processus contribuera à une meilleure utilisation des budgets, des res- sources et du personnel dans l'atteinte des réalisations souhaitées. Les encadrés qui suivent donnent des exemples d'indicateurs à différents niveaux. L'encadré 3.5 offre quelques exemples utiles d'indicateurs aux stades des projets et des programmes. L'encadré 3.6 fournit un exemple de réalisation et quelques indi- cateurs possibles. *MEP corrigée finale-3 2/3/06 8:43 AM Page 73 Étape 3. Déterminer les principaux indicateurs pour surveiller les réalisations 73 Encadré 3.4 La Politique nationale d'évaluation du Sri Lanka La Politique nationale d'évaluation du gouvernement du Sri Lanka vise à : (a) créer une culture de l'évaluation et utiliser l'évaluation pour gérer les résultats ; (b) promouvoir l'évaluation par un renforcement des capacités du personnel, des institutions, des outils et des méthodologies ; (c) tirer des leçons des expériences passées ; (d) améliorer la conception des politiques et pro- grammes de développement en intégrant les conclusions des évaluations ; et (e) instaurer de la responsabilité, de la transparence et une bonne gouvernance. Dans le cadre de sa politique d'évaluation, le gouvernement a donné le mandat d'utiliser des indicateurs de performance pour toutes les initiatives visant la préparation d'une politique, d'un programme ou d'un projet. Dans cette optique, le gouvernement encourage les partenariats avec des organisations de la société civile (par exemple, l'Association pour l'évaluation du Sri Lanka) et des ONG pour introduire des évaluations participatives dans le secteur public. Le gou- vernement encourage également les universités et les institutions de formation du secteur public à inclure des modules d'évaluation de façon à partager le savoir sur les techniques et les méthodologies d'évaluation. Voir également l'annexe IV : Le Plan national de développement du Sri Lanka pour le suivi et l'évaluation. Source : Association pour l'évaluation du Sri Lanka et ministère du Développement public, 2003. Encadré 3.5 Des indicateurs pour les projets et les programmes : un exemple du secteur de l'irrigation Nom du projet Renforcer le système d'irrigation dans un secteur rural spécifique Objectifs du projet Améliorer la productivité agricole Accroître le revenu agricole INDICATEURS Indicateurs de réalisation Un nouveau secteur irrigué Des rendements supérieurs Une production en hausse Un revenu agricole en hausse Indicateurs d'extrants La construction de dix nouveaux systèmes d'irrigation La reconstruction de cinq anciens systèmes d'irrigation De la formation pour 25 fermiers Source : d'après IFAD, 2002, p. 19. *MEP corrigée finale-3 2/3/06 8:43 AM Page 74 74 Vers une culture du résultat Encadré 3.6 Une réalisation : une participation accrue des fermiers aux marchés locaux Indicateurs de réalisation potentiels : · le pourcentage de changement dans le revenu annuel ; · le pourcentage de changement dans la quantité de récoltes perdues ; · le pourcentage de changement dans les prix des récoltes qui est dû à la concurrence ; · le pourcentage de changement dans l'emploi agricole. Note 1. Il existe d'autres modèles pour établir de bons indicateurs de performance. Par exemple, le PNUD utilise une autre formule, le principe SMART ; les bons indi- cateurs se caractérisent par les qualités suivantes : spécifique, mesurable, attei- gnable, pertinent et apte au suivi (en anglais : S=specific, M=measurable, A=attainable, R=relevant, et T=trackable) (Kahn, 2001, p. 24). *MEP corrigée finale-3 2/3/06 8:43 AM Page 75 Chapitre 4 Étape 4 : Établir des points de comparaison et recueillir des données sur les indicateurs Figure 4.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation À l'étape précédente, nous avons décortiqué le processus de sélection des principaux indicateurs de performance pour surveiller les réalisations. Nous passons mainte- nant à l'Étape 4, qui consiste à établir des données témoins, c'est-à-dire établir où nous sommes en ce moment par rapport à la réalisation que nous tentons d'atteindre (figure 4.1). On ne peut pas projeter un niveau de performance dans le futur (fixer des cibles) sans avoir d'abord établi de point de comparaison. Le point de compa- raison est la première mesure d'un indicateur. Il définit les conditions actuelles par rapport auxquelles les changements à venir pourront être comparés. Par exemple, il informe les décideurs sur les circonstances qui prévalent actuellement avant de fixer des cibles pour un programme, une politique ou un projet donné. Ainsi, le point de comparaison sert à en savoir plus sur les niveaux actuels ou récents de performance et les tendances qui s'en dégagent. Il est important de retenir que les points de compa- raison fournissent les données qui permettent aux décideurs de mesurer la perfor- mance à venir des politiques, programmes ou projets. Ce chapitre traitera spécifiquement des éléments suivants: (a) établir des données témoins pour les indicateurs ; (b) construire une base de données de comparaison ; (c) déterminer des sources de données pour les indicateurs; (d) concevoir et comparer les méthodes de collecte de données; (e) l'importance d'effectuer des tests; et (f) la col- lecte de données, à la lumière des expériences dans certains pays en développement. *MEP corrigée finale-3 2/3/06 8:43 AM Page 76 76 Vers une culture du résultat Établir des données témoins pour les indicateurs La troisième partie du cadre de performance consiste à établir des points de com- paraison. Les points de comparaison sont tirés des réalisations et des indicateurs. Le fait d'établir des points de comparaison ne constitue pas en soi une pratique inhabituelle. Dans notre propre vie, nous confrontons notre performance person- nelle à nos propres points de comparaison. Par exemple, nous vérifions notre pres- sion sanguine et la comparons à ce qu'elle a déjà été, nous comparons notre capa- cité actuelle à faire de l'exercice avec notre performance passée, et nous gardons un oeil sur l'évolution de notre poids par rapport à ce qu'il était. Un point de comparaison de la performance est une information ­ qualitative ou quantitative ­ qui fournit des données prises au début, ou juste avant, la période de suivi. Les données témoins sont la première mesure cruciale des indicateurs. La figure 4.2 contient un exemple de données témoins pour un champ d'inter- vention particulier. Il part du cadre de performance introduit au chapitre 1. (Nous compléterons ce cadre lorsque nous discuterons de l'Étape 5, la sélection des cibles.) Le défi consiste à obtenir une information témoin adéquate pour chacun des indi- cateurs de performance et chacune des réalisations. Cela peut rapidement devenir un processus complexe. Il est important de faire preuve de discernement en choisissant le nombre d'indicateurs parce que chaque indicateur devra être appuyé par un sys- tème de collecte de données, d'analyse et de production de rapports. Figure 4.2 Développer des données témoins pour un champ d'intervention EXEMPLE : L'ÉDUCATION Réalisation Indicateurs Données témoins Cibles 1. Améliorer l'accès 1. Proportion d'enfants éli- 1. En 1999, 75 % des des enfants du pays gibles des régions enfants de trois à cinq aux programmes urbaines inscrits dans des ans préscolaires programmes préscolaires 2. En 2000, 40 % des 2. Proportion d'enfants éli- enfants de trois à cinq gibles des régions ans rurales inscrits dans des programmes préscolaires 2. Améliorer 1. Proportion des élèves 1. En 2002, 75 % ont l'apprentissage des de 6e année qui obtien- obtenu au moins 70 % enfants dans les nent au moins 70 % aux en mathématiques, et écoles primaires examens standardisés 61 % ont obtenu au de mathématiques et de moins 70 % en sciences sciences *MEP corrigée finale-3 2/3/06 8:43 AM Page 77 Étape 4. Établir des points de comparaison et recueillir des données sur les indicateurs 77 Construire une base de données de comparaison On devrait se poser huit questions lorsqu'on construit une base de données témoins pour chaque indicateur. (Ces questions sont encore pertinentes lorsqu'on tente par la suite de mesurer l'indicateur.) 1. Quelles sont les sources des données ? 2. Par quelles méthodes les données sont-elles recueillies ? 3. Qui recueillera les données ? 4. À quelle fréquence les données seront-elles recueillies ? 5. Quels coûts et quelles difficultés la collecte de données entraîne-t-elle ? 6. Qui analysera les données ? 7. Qui diffusera les résultats ? 8. Qui utilisera les données ? Pour chaque indicateur, nous devrons compléter le tableau 4.1 en répondant à ces questions. Tableau 4.1 Construire une base de données de comparaison Indicateur Source des Méthode Qui Fréquence Coûts et Qui Qui Qui données de collecte recueillera de la difficultés analysera diffusera utilisera des les collecte de la les les les données données ? collecte données ? résultats ? données ? 1 2 3 Les systèmes statistiques dans les pays développés peuvent très souvent fournir une information précise sur les trois stades du suivi traditionnel axé sur la mise en oeuvre ­ les intrants, les activités et les extrants. Toutefois, les pays en déve- loppement possèdent en général des systèmes moins sophistiqués. Le système de données pourrait ne pas être disponible ou faire preuve d'une précision variable. Certains pays sauront avec une précision raisonnable combien d'enfants de régions rurales vont à l'école, alors que d'autres n'auront que des estimations brutes. D'autres pays connaîtront les taux d'utilisation des lits d'hôpitaux, alors que certains l'ignoreront. Les indicateurs de performance sélectionnés, et les stratégies de collecte de don- nées utilisées pour suivre ces indicateurs, doivent s'arrimer à des réalités incon- tournables telles que les systèmes de données en place, les données qui peuvent présentement être produites, et la capacité d'élargir et d'approfondir la collecte et l'analyse de données. *MEP corrigée finale-3 2/3/06 8:43 AM Page 78 78 Vers une culture du résultat Déterminer les sources de données pour les indicateurs Chaque indicateur comporte son propre système miniature de suivi et d'évaluation. La première chose à envisager en débutant la mise en place d'un système d'information est donc de déterminer quelles sources d'information fourniront les données pertinentes pour un indi- Lorsqu'on parle de cateur donné. « sources », on fait Il faut considérer certaines questions lorsqu'on détermine les sources référence à qui ou à des données. Les données sont-elles accessibles d'une manière pra- qu'est-ce qui fournit des tique ? Les sources de données fournissent-elles des données de qualité ? données ­ et non pas à la Peut-on accéder aux sources de données sur une base régulière et à des méthode pour recueillir les moments opportuns ? L'utilisation de la source d'information comme données. source primaire de données est-elle faisable et rentable ? Il est important de recueillir uniquement les données que l'on a l'in- tention d'utiliser. Après tout, l'information sur la performance est cen- sée être un outil de gestion ­ il n'y a donc aucune raison de recueillir de l'information que les gestionnaires n'utiliseront pas. « En règle géné- rale, ne recueillez que des données témoins qui sont directement liées aux questions de performance et aux indicateurs que vous avez déter- minés. Ne perdez pas de temps à recueillir d'autre information » (FIDA, 2002, section 5, p. 32). Les sources de données pour les indicateurs peuvent être primaires ou secondaires. Les données primaires sont recueillies directement auprès des organisations concernées et incluent des données administratives, budgétaires ou personnelles ; des enquêtes ; des entrevues ; et des obser- vations directes. Les données secondaires sont recueillies par des orga- nisations externes et sont rassemblées à des fins différentes de celles des organisations concernées, comme par exemple des données d'enquête recueillies par une autre agence (PNUD ou UNESCO), des données sur les marchés financiers ou des données provenant d'enquêtes sur la démographie et la santé. L'utilisation de données secondaires pour déterminer les tendances dans l'évolution de la performance comporte des avantages et des désa- vantages. Du côté positif, les données secondaires peuvent être plus effi- cientes. Elles peuvent aussi être utilisées dans des cas où il n'est pas commode ou possible de recueillir des données primaires fréquemment, comme dans le cas de coûteuses enquêtes à grande échelle auprès des ménages. Toutefois, pour une multiplicité de raisons, les données secondaires doivent être utilisées avec précaution. Elles peuvent avoir été recueillies avec d'autres objectifs ou projets organisationnels en vue. D'autres questions sont également soulevées par l'utilisation de données secon- daires : Ces données sont-elles valides ? Sont-elles fiables ? À quelle fré- quence les instruments de collecte des données sont-ils validés ? De plus, utiliser des données secondaires implique d'utiliser les données de quelqu'un d'autre pour rendre compte du progrès et des réussites vers *MEP corrigée finale-3 2/3/06 8:43 AM Page 79 Étape 4. Établir des points de comparaison et recueillir des données sur les indicateurs 79 l'atteinte de vos propres réalisations. Êtes-vous, en tant que gestion- naire, confortable avec ce scénario, compte tenu des avantages et désa- vantages que cela implique ? Les sources concrètes de données peuvent inclure des fichiers admi- nistratifs (écrits ou électroniques) en provenance d'organisations gou- vernementales ou non gouvernementales ; des entrevues et des enquêtes avec des groupes cibles parmi les bénéficiaires, avec des responsables de programme et des fournisseurs de services ; des rapports produits par des observateurs compétents ; et des mesures et tests techniques. Dans les organisations du secteur public partout dans le monde, on comprend de mieux en mieux la nécessité d'obtenir des flots continus d'information, et non des études à caractère épisodique et dispersées dans le temps. Les gestionnaires recherchent de l'information ­ que ce soit sur les stratégies politiques, l'utilisation de cliniques médicales, les méthodes agricoles ou les tendances migratoires ­ en laquelle ils peu- vent avoir confiance et qu'ils peuvent utiliser en temps réel. Devoir attendre pendant des mois ou même une année avant qu'une étude soit complétée n'est pas d'un grand secours. La mise en place de systèmes de suivi et d'évaluation axés sur les résultats s'oriente ainsi davantage vers la construction de systèmes qui fourniront des flots d'information plus ou moins continus. Concevoir et comparer les méthodes de collecte de données Maintenant que nous connaissons les sources des données, quels seront les stratégies et les instruments pour la collecte des données ? Il faudra déterminer les moyens d'obtenir les données nécessaires de chaque source, les moyens de préparer les instruments pour la collecte des don- nées de façon à enregistrer l'information correctement, les procédures à utiliser (enquêtes plutôt qu'entrevues, par exemple), la fréquence à Avec le temps, la capacité laquelle accéder aux sources de données, etc. Le gouvernement pourrait également s'engager par contrat à utiliser les organisationnelle interne capacités existantes de collecte des données des universités et des centres pour recueillir et analyser de recherche. La collecte de données peut aussi être déléguée à des four- les données peut et devrait nisseurs du secteur privé. Cependant, toute stratégie qui implique l'achat se renforcer, puisqu'il à long terme de données à des fournisseurs non gouvernementaux s'agit d'un élément clé contient certains points faibles et est susceptible de coûter plus cher. dans la mise en place d'un La figure 4.3 illustre certaines des méthodes possibles de collecte de système durable de suivi et données. Il est impossible d'affirmer qu'une méthode est meilleure d'évaluation. qu'une autre. Cela dépend de la disponibilité des ressources, de l'acces- sibilité, des besoins, des contraintes temporelles et d'autres facteurs par- ticuliers à chaque organisation. Cela dépend également des besoins de celui qui utilisera l'information. Par exemple, on peut se demander jus- qu'à quel point un utilisateur donné a besoin d'avoir une information précise, compte tenu des compromis qui doivent être faits en termes de coûts et de temps. *MEP corrigée finale-3 2/3/06 8:43 AM Page 80 80 Vers une culture du résultat Figure 4.3 Les méthodes de collecte des données Commission d'enquête Discussions Entrevues avec les avec des individus informateurs concernés Examen des clés Enquête dossiers ponctuelle officiels Entrevues (système de Observation avec les gestion de Observation participante membres l'information directe de la et données Entrevues communauté administratives) avec des groupes de contrôle Recensement Visites sur le terrain Questionnaires Expériences sur le terrain Méthodes informelles et moins structurées Méthodes formelles et plus structurées Source : d'après Marchant, 2000. La solution idéale pour construire un système d'information capable de suivre chaque indicateur pourrait être une combinaison de stratégies de collecte de don- nées. Par exemple, une organisation pourrait choisir seulement quelques indicateurs et s'appuyer sur des stratégies de collecte de données variées. Il n'existe pas d'ap- proche unique dans la sélection des stratégies pour recueillir les données. Des évé- nements imprévus peuvent restreindre le nombre de stratégies qui sont possibles et abordables. Il vaut la peine de consacrer un certain temps à analyser le choix d'une stratégie de collecte en comparaison des autres options. Si l'on décide d'une manière ad hoc et désinvolte d'utiliser des enquêtes, ou de constituer des groupes de contrôle, ou d'entreprendre un sondage auprès des ménages, on court le risque de créer des pro- blèmes critiques plus tard. Le tableau 4.2 compare quatre méthodes importantes de collecte de données selon quatre critères. Il met en lumière certains des compromis effectués entre dif- férentes stratégies. Avant qu'une décision ne soit prise sur les stratégies à déployer, il est important de consulter les utilisateurs pour déterminer leur niveau de confort avec les compromis et avec les types d'information sur la performance qu'ils recevront. Les stratégies de collecte de données impliquent nécessairement certains compro- mis en ce qui a trait aux coûts, à la précision, à la crédibilité et à la gestion du temps. Par exemple, les méthodes plus structurées et formelles pour recueillir des données tendent à être plus précises, plus coûteuses et à demander plus de temps. Si des don- nées sont requises sur une base routinière afin d'appuyer la prise de décision des *MEP corrigée finale-3 2/3/06 8:43 AM Page 81 Étape 4. Établir des points de comparaison et recueillir des données sur les indicateurs 81 Tableau 4.2 Une comparaison des principales méthodes de collecte de données Méthode de collecte de données Caractéristique Examen des Questionnaire Entrevue Évaluation par dossiers du distribué à l'interne un observateur programme compétent Coût Bas Modéré Modéré à élevé Dépend de la disponibilité d'observateurs peu coûteux Formation requise Un peu Aucune à un peu Moyenne à Moyenne à pour ceux qui intensive intensive recueillent les données Temps d'exécution Dépend de la Modéré Modéré Court à modéré quantité de données dont on a besoin Taux de réponse Élevé, si les dossiers Dépend de la Généralement Élevé contiennent les distribution du modéré à élevé données questionnaire recherchées Source : United Way of America, 1996. gestionnaires, il pourrait être préférable d'adopter des stratégies moins précises, moins structurées et moins coûteuses. Depuis le début, nous avons souligné que le modèle en dix étapes présenté dans ce guide n'est pas strictement linéaire et séquentiel. À mesure qu'elles érigent les sys- tèmes d'information, les organisations devront procéder à un va-et-vient entre les étapes. Le développement et la mise au point du système vont se poursuivre, et les besoins en information des utilisateurs vont changer ­ ce qui requerra de nouveaux indicateurs, de nouvelles données témoins, etc. Il doit y avoir un certain degré d'adaptabilité et de flexibilité dans le système pour qu'on puisse déterminer de nou- velles sources de données, de nouvelles techniques de collecte et de nouvelles façons de disséminer les résultats. L'importance d'effectuer des tests Il faut absolument effectuer des essais pilotes avec les indicateurs et les informations qu'ils requièrent. Il serait extrêmement risqué de passer directement à la mise en oeuvre d'un système d'indicateurs à quelque niveau de gouvernement que ce soit, ou même dans une organisation, avant d'avoir testé en profondeur les sources de don- nées, les stratégies de collecte et d'analyse, et les façons de présenter les résultats. L'essai pilote permet d'apprendre ce qui fonctionne et ce qui ne fonctionne pas. C'est une façon de faire de petites erreurs tôt dans le processus plutôt que de *MEP corrigée finale-3 2/3/06 8:43 AM Page 82 82 Vers une culture du résultat grosses erreurs plus tard. Un essai pilote prévient les gestionnaires que les données n'existent pas pour certains indicateurs, ou que ces don- nées sont trop coûteuses, prennent trop de temps ou sont trop com- pliquées à obtenir. Il est absolument critique d'avoir cette information lorsque les points de comparaison sont établis. L'essai pilote pourrait par exemple démontrer qu'il serait plus facile de déterminer un indi- cateur en se fondant sur des données secondaires existantes recueillies au sein d'une organisation ou d'un gouvernement, au lieu de créer un nouvel indicateur qui a besoin de son propre système de suivi et d'évaluation. L'utilisation de systèmes de données existants peut s'avérer très utile lors des premières phases de la mise en place d'un système de suivi- évaluation axé sur les résultats. Il est important de « reconnaître qu'un système existant de collecte de données peut offrir une voie partielle pour recueillir les données dont on a besoin, possiblement à un coût réduit. Une occasion pourrait se présenter... pour utiliser des parties d'un ensemble de données existantes en sélectionnant, ajoutant ou modifiant des éléments... Créez un échantillon ­ sur la base d'un sys- tème existant de collecte de données, de nouvelles procédures de col- lecte, ou une combinaison des deux ­ et extrapolez à l'infini » (Wye, 2002, p. 31). L'essai pilote permet de prendre du recul et d'examiner chacun des indicateurs proposés à la lumière de leurs liens avec les stratégies de col- lecte de données. Si chaque indicateur nécessite des méthodes coûteuses de collecte de données, il sera nécessaire de réfléchir à la pertinence de ces indicateurs. On devrait choisir les indicateurs qui fourniront la meilleure information au moindre coût. Il s'agit là d'une opportunité pour rationaliser et prioriser la série d'indicateurs. Les partenaires insis- teront pour inclure plus d'indicateurs, mais il est préférable d'en avoir moins que d'en avoir une trop grande quantité. Utilisez l'information et À titre d'exemple, le Cadre de développement intégré en République les données existantes du Kirghizstan incluait à l'origine presque 100 indicateurs nationaux ­ autant que possible ­ aussi chacun nécessitant des stratégies explicites de collecte de données. Pour longtemps qu'elles sont chacun de ces indicateurs, il faudrait poser les sept questions fonda- fiables, qu'elles mentales concernant la collecte et la gestion des données. Évidemment, correspondent aux besoins il pourrait être difficile de suivre un si grand nombre d'indicateurs, et en information et qu'elles cela constituerait de plus une ponction sur les ressources d'un pays en demeurent accessibles. développement. Il serait certainement préférable de réduire le nombre d'indicateurs dans un tel cas. La collecte de données : l'expérience de deux pays en développement Les encadrés 4.1 et 4.2 fournissent des exemples de collecte de données dans deux pays en développement. Le gouvernement de l'Albanie sou- haitait renforcer sa capacité et réformer ses pratiques sur le plan de la *MEP corrigée finale-3 2/3/06 8:43 AM Page 83 Étape 4. Établir des points de comparaison et recueillir des données sur les indicateurs 83 collecte de données. Le gouvernement du Liban s'est joint au système de données du FMI afin d'aligner sa collecte de données et son système statistique sur les normes du FMI et de la communauté internationale. Encadré 4.1 La stratégie de l'Albanie pour renforcer sa capacité à recueillir des données Le gouvernement de l'Albanie s'est engagé dans une série d'initiatives politiques, telles que la Stratégie pour la croissance économique et la réduction de la pauvreté, qui nécessiteront une information adéquate pour les décideurs à mesure qu'ils progressent dans la conception, la mise en oeuvre et l'évaluation des programmes socio-économiques. Avec l'aide et l'appui de quelques donateurs internationaux, le gouvernement cherche à améliorer ses pratiques de collecte de données pour produire une information statistique fiable sur une base régulière, afin de mesu- rer et de suivre l'évolution de la pauvreté, des inégalités et d'autres indicateurs sociaux. Plus spé- cifiquement, le projet offrira un soutien au gouvernement dans quatre domaines : (a) la collecte de données ; (b) le traitement et l'analyse des données ; (c) la diffusion et l'utilisation des don- nées ; et (d) l'organisation et l'administration des enquêtes. En ce qui concerne la collecte de données, le projet fournira une assistance technique et une for- mation pratique pour renforcer les capacités de l'Institut albanais des statistiques (INSTAT). L'objectif est d'aider INSTAT à produire de façon régulière un certain nombre d'enquêtes telles que l'enquête sur le niveau de vie, un recensement de la population et des ménages, des enquêtes sur les finances des ménages et des enquêtes annuelles sur la main-d'oeuvre. D'autres projets sont en cours de pla- nification avec plusieurs ministères sectoriels pour tracer un portrait de la situation de la pauvreté. Pour ce qui est du traitement et de l'analyse des données, le projet appuiera les améliorations sur le plan de l'efficacité et de l'utilisation de l'information, ainsi que la capacité institutionnelle à traiter l'information qui concerne les ménages. Une assistance technique et une formation pra- tique dans les domaines de l'entrée, de la correction et de l'édition des données seront égale- ment fournies pour garantir la qualité et la pertinence temporelle de l'information générée. L'analyse des données comprend l'utilisation des logiciels statistiques et des logiciels sur les Systèmes d'information géographique, les méthodes d'analyse de la pauvreté, la collecte et l'ana- lyse des données longitudinales, les techniques d'enquête sur les ménages, le développement et l'échantillonnage des questionnaires, et les techniques pour dresser un portrait de la pauvreté. La diffusion et l'utilisation des données seront soutenues dans le but d'encourager le proces- sus participatif pour la production de données statistiques. Le renforcement des capacités se concentrera autant sur les producteurs que les utilisateurs de l'information statistique sur les ménages. Un groupe d'utilisateurs sera mis sur pied et dirigé par INSTAT. Le groupe d'utilisateurs comprendra des représentants des ministères sectoriels, des donateurs et des ONG. Une straté- gie globale sera élaborée pour publier et disséminer les résultats. Enfin, le projet appuiera l'organisation et l'administration des enquêtes par un examen de l'organisation d'INSTAT, en mettant particulièrement l'accent sur les unités d'INSTAT directe- ment engagées dans le travail d'enquête sur les ménages. L'examen évaluera les options pour renforcer la capacité organisationnelle d'INSTAT de gérer et d'administrer des enquêtes régu- lières sur les ménages, et élaborera un plan approprié pour adapter la gestion du personnel. L'examen évaluera également les procédures internes pour administrer les enquêtes, incluant des structures hiérarchiques sur le plan de la gestion et des finances, et élaborera une série de procédures administratives internes. Source : Banque mondiale, 2002d. *MEP corrigée finale-3 2/3/06 8:43 AM Page 84 84 Vers une culture du résultat Encadré 4.2 Le Liban se joint au système de données du FMI Le gouvernement du Liban s'efforce de conformer sa collecte de données aux standards inter- nationaux. Il a récemment adhéré au Système général de diffusion des données (SGDD) du FMI. « Les objectifs du SGDD sont : d'encourager les pays membres à améliorer la qualité de leurs don- nées ; de fournir un cadre pour évaluer les besoins en termes d'amélioration des données et de fixation des priorités... ; et de guider les pays membres dans la diffusion en temps opportun auprès du public de statistiques complètes, accessibles et fiables dans les domaines économique, financier et sociodémographique... Il est structuré selon quatre dimensions ­ les caractéristiques, la qualité, l'accessibilité et l'intégrité des données ­ et vise à fournir des conseils pour le déve- loppement global des données macroéconomiques, financières et sociodémographiques » (FMI, 2002). « "L'adhésion du Liban au système de données du FMI contribuera probablement à améliorer la gouvernance dans ce pays... En choisissant le SGDD comme cadre de référence pour dévelop- per les systèmes nationaux de statistiques, les autorités ont souligné leur engagement à amé- liorer la production de données économiques et sociodémographiques... cela contribuera à accroître la reconnaissance internationale de l'engagement du Liban à produire de meilleures statistiques", a affirmé le directeur des statistiques pour le FMI... » (The Daily Star, 2003). Les sta- tistiques seront affichées et publiées en trois langues sur le site Internet de la Banque centrale du Liban, et seront régulièrement mises à jour par la Banque centrale et les ministères sectoriels. Sources : The Daily Star, 2003 ; FMI, 2002. Établir des données témoins pour les indicateurs constitue une étape cruciale pour déterminer les conditions actuelles et mesurer la performance à venir par rapport à ce point de départ. Des mesures subséquentes continues à partir du point de départ fourniront une information importante sur les changements ou les tendances, et peu- vent aider les décideurs à déterminer s'ils sont ou non sur la bonne voie dans l'at- teinte des réalisations souhaitées. Décider quelle information sur la performance on recueille, comment on la recueille et on l'analyse, et comment on présente les résul- tats est toutefois d'une importance capitale. Et les essais pilotes peuvent guider ces décisions. *MEP corrigée finale-3 2/3/06 8:43 AM Page 85 Chapitre 5 Étape 5 : Planifier les améliorations ­ Sélectionner les cibles pour les résultats Figure 5.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation Après avoir recueilli les données témoins pour les indicateurs, la prochaine étape consiste à établir des cibles pour les résultats ­ c'est-à-dire ce qui peut être accompli dans une période donnée (figure 5.1). Dans le but de déterminer le niveau souhaité d'avancement des projets, programmes ou politiques, il faut sélectionner des cibles de performance spécifiques. Fixer des cibles constitue une étape finale dans la mise en place du cadre de per- formance. Elle dépend des réalisations, des indicateurs et des points de comparai- son. Le processus de raisonnement est déductif, en ce sens que tout découle des réa- lisations souhaitées. Ce chapitre se penchera sur (a) une définition des cibles ; (b) des facteurs à consi- dérer lorsqu'on sélectionne les cibles ; (c) des exemples de cibles liées à des questions de développement ; et (d) un cadre global de performance. Définir des cibles Une cible est « ...un but spécifique qui indique le nombre, l'horizon temporel et l'en- droit de ce qui doit être réalisé1 » (FIDA, 2002, p. A-11). Fondamentalement, les cibles sont les niveaux quantifiables des indicateurs qu'un pays, une société ou une organisation souhaite atteindre à un moment spécifique. Par exemple, une cible *MEP corrigée finale-3 2/3/06 8:43 AM Page 86 86 Vers une culture du résultat pourrait être que « toutes les familles puissent manger deux repas par « Le point de comparaison jour, tous les jours, d'ici 2005 ». est la situation qui prévaut L'une des méthodes utilisées pour établir des cibles est de déterminer avant qu'un programme le point de départ des indicateurs et d'inclure le niveau souhaité d'amé- ou une activité commence ; lioration (en tenant compte des ressources disponibles durant une c'est le point de départ du période de temps spécifique, par exemple de 24 à 36 mois) pour arriver suivi des résultats. La cible à la cible de performance. De cette façon, le point de départ sera connu, est ce que la situation est tout comme les ressources disponibles pour progresser vers la cible pen- censée devenir à la fin du dant une période de temps spécifique. On obtiendra ainsi la perfor- programme ou de mance visée. l'activité... On complète La formule apparaissant à la figure 5.2 montre le processus pour éla- l'élaboration de données borer des cibles de performance. témoins et la fixation des Les facteurs à considérer lorsqu'on sélectionne les cibles cibles à l'aide d'une analyse approfondie des Un certain nombre de facteurs entrent en ligne de compte lorsqu'on principaux facteurs qui sélectionne les cibles de performance des indicateurs, dont l'importance nuisent au développement des points de comparaison. La nature des points de comparaison doit économique » être clairement établie ; par exemple, une moyenne de la performance (PNUD, 2002, p. 66-67). des trois dernières années, la performance de l'an dernier, la tendance moyenne, les données au cours des six derniers mois, etc. En d'autres termes, il faut tenir compte de la performance passée lorsqu'on projette de nouvelles cibles de performance. On peut ainsi observer comment une organisation ou une politique a réussi à accomplir ses objectifs au cours des dernières années avant de fixer des cibles de performance à atteindre dans le futur. Un autre facteur à considérer est le financement attendu et les niveaux de ressources ­ la capacité existante, les budgets, le person- nel, les ressources financières, les installations, etc. ­ durant la période concernée. Cela peut inclure des sources de financement internes ou des sources externes en provenance des donateurs bilaté- raux et multilatéraux. Les cibles fixées devraient correspondre aux Figure 5.2 Pour déterminer un niveau souhaité de résultats, il faut sélectionner des cibles de performance Niveau de départ de Niveau souhaité Performance visée l'indicateur d'amélioration (Niveau de + (Présume une quantité = performance qu'on limitée et attendue désire atteindre à d'intrants, d'activités l'intérieur d'une durée et d'extrants) spécifique) *MEP corrigée finale-3 2/3/06 8:43 AM Page 87 Étape 5. Planifier les améliorations ­ Sélectionner les cibles pour les résultats 87 ressources disponibles ainsi qu'à la capacité organisationnelle de sou- tenir les activités et de fournir les extrants. La plupart des cibles sont fixées annuellement, mais certaines peuvent Les cibles sont fondées sur l'être trimestriellement. D'autres peuvent l'être pour des périodes plus les ressources connues longues. Fixer des cibles pour des périodes qui dépassent trois ou quatre (financières et organisa- ans n'est toutefois pas recommandé. Trop d'imprévus et de risques peu- tionnelles) ainsi que sur vent survenir en ce qui a trait aux ressources et aux intrants pour qu'on une projection raisonnable puisse projeter des cibles de performance au-delà de trois ou quatre ans. des ressources qui seront En bref, on doit demeurer réaliste lorsqu'on détermine les cibles. disponibles au cours d'une La nature politique du processus entre également en jeu. Les préoc- période donnée. cupations politiques sont importantes. Quelles promesses ont été faites par le gouvernement ou l'administration ? Les citoyens ont voté pour un gouvernement en particulier sur la base de priorités et de politiques clairement exprimées qui doivent être reconnues et légitimées dans le processus politique. Fixer des cibles fait partie de ce processus, et l'at- teinte ou non des cibles aura des répercussions politiques. Pour arriver à déterminer des cibles de façon réaliste, il faut recon- naître que les réalisations les plus souhaitées sont complexes et ne peu- vent être atteintes qu'à long terme. Il est donc nécessaire de fixer des cibles à court terme en progressant vers l'atteinte des réalisations. Comment une organisation ou un pays peut-il fixer des buts straté- giques à long terme, qui seront peut-être atteints dans 10 ou 15 ans, alors qu'on ignore la quantité de ressources et d'intrants à venir ? La plupart des gouvernements et des organisations ne peuvent prédire avec précision quels seront leurs ressources et leurs intrants dans 10 ans. Il Les cibles sont des jalons faut alors fixer des cibles intérimaires sur des périodes plus courtes pen- sur la route menant aux dant lesquelles les intrants peuvent plus facilement être connus ou esti- réalisations et, en bout de més. « Entre le point de départ et la... [réalisation], il peut y avoir plu- ligne, à un objectif à plus sieurs jalons [cibles intérimaires] qui correspondent à la performance long terme. escomptée à différents intervalles » (PNUD, 2002, p. 66). Par exemple, les OMD s'échelonnent sur 15 ans. Bien que ces objec- tifs à long terme soient pertinents, la façon de les atteindre est de fixer des séries de cibles qui peuvent être raisonnablement atteintes sur une période de trois à quatre ans. Le but consiste à aligner les stratégies, les moyens et les intrants pour suivre le progrès vers les OMD sur des périodes de temps plus courtes, avec une série de cibles qui s'enchaî- nent : la cible 1 peut s'échelonner de la première à la troisième année ; Chaque indicateur devrait la cible 2 peut s'échelonner de la quatrième à la septième année, et ainsi comporter une seule cible de suite. dans un cadre temporel La flexibilité est un atout lorsqu'on fixe les cibles parce que les res- spécifique. sources internes et externes peuvent être interrompues ou réduites au cours d'un cycle budgétaire. Il pourrait devenir nécessaire de réorienter le programme, former le personnel de nouveau, et établir de nouvelles priorités. Il s'agit là d'un aspect essentiel de la gestion publique. Si l'indicateur est nouveau, on doit se montrer prudent en établissant des cibles définitives. Il pourrait être préférable de fixer plutôt une cible *MEP corrigée finale-3 2/3/06 8:43 AM Page 88 88 Vers une culture du résultat échelonnée. Une cible n'a pas besoin d'être une valeur numérique unique. Dans cer- tains cas, il peut s'agir d'une échelle de valeurs. Par exemple, en 2003, une cible dans le domaine de l'éducation stipulait que « en 2007, de 80 à 85 % de tous les étudiants qui recevront leur diplôme de l'école secondaire devront être familiers avec les ordinateurs ». Les effets des améliorations se manifestent seulement après un certain temps. Il faut donc être réaliste lorsqu'on fixe les cibles. Plusieurs politiques et programmes sectoriels et de développement prendront du temps avant de porter fruit. Par exemple, la reforestation d'un territoire ne s'accomplit pas en une ou deux années. Enfin, on se doit de garder à l'esprit que la fixation de cibles entraîne parfois des jeux de manipulation politiques : par exemple, fixer des cibles si modestes ou si faciles qu'elles seront sûrement atteintes ; choisir des cibles justement parce qu'elles ne sont pas politiquement délicates ; ou déplacer une cible pour qu'elle s'ajuste à l'objectif de performance. Dans le dernier cas, déplacer la cible crée des problèmes parce que les tendances de l'indicateur ne peuvent plus être discernées ni mesurées. Des exemples de cibles liées à des questions de développement L'encadré 5.1 présente deux exemples de cibles liées à des questions de développe- ment. On devrait viser à établir une cible en déterminant les groupes concernés, l'ob- jectif et l'échéancier pour l'atteinte de la cible. Dans chaque cas, la cible ne sera que la première d'une série de cibles nécessaires à l'atteinte de la réalisation. De plus, chaque cible dans l'enchaînement est fixée à partir du point de comparaison établi à l'étape précédente. Les cibles doivent spécifier ce qui est suivi, l'ampleur escomptée du changement ou de l'amélioration et l'échéancier pour atteindre la cible. Le cadre global de performance L'ensemble des réalisations, indicateurs, points de comparaison et cibles constitue le cadre de performance. Ce dernier définit les réalisations et les plans pour la concep- tion d'un système de suivi et d'évaluation axé sur les résultats qui, à son tour, four- nit de l'information sur l'état d'avancement des cibles intérimaires. Encadré 5.1 Des exemples de cibles liées au développement 1. Objectif : le bien-être économique Cible : Réduire d'ici 2008 le nombre de gens qui vivent dans la pauvreté extrême dans une proportion de 20 % par rapport au point de départ. 2. Objectif : le développement social Cible : Accroître d'ici 2008 le taux d'inscription à l'école primaire dans la République du Kirghizstan de 30 % par rapport au point de départ. *MEP corrigée finale-3 2/3/06 8:43 AM Page 89 Étape 5. Planifier les améliorations ­ Sélectionner les cibles pour les résultats 89 La figure 5.3 illustre le cadre de performance pour une politique nationale de développement en éducation. Les dimensions traditionnelles de mise en oeuvre (intrants, activités et extrants) ont aussi besoin de cibles, comme cela a toujours été le cas, mais nous mettons ici l'accent sur le fait que les réalisations nécessitent éga- lement des cibles. Le cadre de performance devient ainsi le fondement de la planification ­ avec des implications correspondantes pour la planification budgétaire, l'affectation des res- sources, le recrutement du personnel, etc. Le cadre peut et doit servir de guide pour les gestionnaires. On devrait le consulter fréquemment et le prendre en compte durant le processus de gestion menant vers les réalisations souhaitées. Ces cadres de performance possèdent de nombreuses applications et peuvent être employés utilement pour encadrer des stratégies nationales de réduction de la pau- vreté ainsi que des réalisations de projets, programmes et politiques. Le ciblage de la performance est un élément critique du processus consistant à atteindre des réalisations. La formule pour arriver à la performance visée est simple et comprend les niveaux de départ des indicateurs ainsi que les niveaux souhaités d'amélioration sur une période de temps donnée. Un processus participatif et colla- boratif avec les principaux partenaires constitue un autre élément clé. Note 1. Voir également l'annexe VI pour un glossaire complet des termes liés à l'éva- luation et à la gestion axée sur les résultats. Figure 5.3 Élaborer des cibles pour un champ d'intervention EXEMPLE : L'ÉDUCATION Réalisation Indicateurs Données témoins Cibles 1. Améliorer l'accès 1. Proportion d'enfants éli- 1. En 1999, 75 % des 1. D'ici 2006, 85 % des des enfants du pays gibles des régions enfants de trois à cinq enfants de trois à cinq aux programmes urbaines inscrits dans des ans ans préscolaires programmes préscolaires 2. En 2000, 40 % des 2. D'ici 2006, 60 % des 2. Proportion d'enfants éli- enfants de trois à cinq enfants de trois à cinq gibles des régions ans ans rurales inscrits dans des programmes préscolaires 2. Améliorer 1. Proportion des élèves 1. En 2002, 75 % ont 1. D'ici 2006, 80 % l'apprentissage des de 6e année qui obtien- obtenu au moins 70 % devront obtenir au enfants dans les nent au moins 70 % aux en mathématiques, et moins 70 % en écoles primaires examens standardisés 61 % ont obtenu au mathématiques et de mathématiques et de moins 70 % en sciences 67 % devront obtenir sciences au moins 70 % en sciences *MEP corrigée finale-3 2/3/06 8:43 AM Page 90 *MEP corrigée finale-3 2/3/06 8:43 AM Page 91 Chapitre 6 Étape 6 : Surveiller les résultats Figure 6.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation PREMIÈRE PARTIE Après avoir sélectionné les cibles et complété le cadre de performance, nous pouvons maintenant utiliser l'information pour surveiller les résultats (figure 6.1). Ce chapitre décrit comment assembler un système pour mieux alimenter le processus de prise de décision à l'aide de données adéquates. Les données fourniront des indications sur la performance et alerteront les décideurs à tout changement qui pourrait être requis pour un projet, un programme ou une politique donnés. Ce chapitre explique comment un système de SÉ axé sur les résultats vise d'abord à aider le gouvernement (ou toute organisation) à mieux gérer les ressources. On y examinera pourquoi il devient nécessaire de gérer les intrants ainsi que les extrants et les réalisations. Les gestionnaires utilisent une variété d'outils organisationnels pour gérer les intrants, incluant les budgets, la planification du personnel et des acti- vités. Un système de suivi et d'évaluation axé sur les résultats doit s'aligner aux plans annuels et aux autres types de planification des travaux d'une organisation de façon à devenir un système véritablement orienté vers les résultats. Un système axé sur les résultats ne fonctionne pas de la même façon qu'un suivi d'une planification annuelle. C'est toutefois en faisant un suivi de cette planification *MEP corrigée finale-3 2/3/06 8:43 AM Page 92 92 Vers une culture du résultat Figure 6.2 Un exemple de graphique de Gant Tâche -- Phase I Durée Début Fin 1. Recruter du personnel 14 jours 01/06 14/06 2. Assigner les rôles et les 3 jours 15/06 17/06 responsabilités pour le projet 3. Visiter les sites 14 jours 18/06 02/07 4. Analyser les données 10 jours 03/07 12/07 5. Rédiger une première version du 10 jours 13/07 22/07 rapport Juin Juillet 01/06 14/0617/06 18/06 02/07 12/07 22/07 Source : Données des auteurs, 2004. qu'un gestionnaire évaluerait traditionnellement la bonne marche de la mise en oeuvre d'un projet, d'un programme ou d'une politique. Selon cette approche tradi- tionnelle, un gestionnaire déterminerait d'abord les activités et assignerait des res- ponsabilités. Un gestionnaire pourrait dans bien des cas utiliser un plan d'activités ou un graphique de Gant qui est, essentiellement, une liste de choses à faire organi- sée selon un ordre temporel spécifique. Ce graphique indique les dates de début et de fin pour chaque item et désigne un responsable pour chaque activité. La figure 6.2 montre un graphique de Gant typique. Un graphique de Gant est un outil de gestion utilisé pour suivre les activités et les extrants. Cet outil ne révèle toutefois pas si les résultats souhaités ont réellement été atteints. Le fait de compléter toutes les activités qui sont consignées sur le graphique ne garantit pas que l'organisation atteindra ses objectifs. Les individus au sein de l'organisation qui fonctionne selon cette méthode tra- vaillent fort. Dans bien des cas, les individus sont occupés et concentrés sur leur tra- vail jour après jour. Mais concentrés sur quoi ? Un système de SÉ axé sur les résul- tats dirige les efforts de l'organisation vers l'atteinte des réalisations et assure une gestion pour chaque indicateur, comme nous l'avons expliqué dans les chapitres pré- cédents. Un système de gestion axé sur les activités s'attarde à une série d'activités spécifiques, sans aligner ces activités sur les réalisations, ce qui fait qu'il est difficile de comprendre en quoi la mise en oeuvre de ces activités entraîne une performance améliorée. Être occupé ne signifie pas la même chose qu'être efficace. *MEP corrigée finale-3 2/3/06 8:43 AM Page 93 Étape 6. Surveiller les résultats 93 Les activités sont cruciales. Elles constituent les gestes qui sont posés pour gérer et mettre en oeuvre les programmes, utiliser les ressources et fournir les services gou- vernementaux. Mais la somme de ces activités peut ou peut ne pas correspondre à l'atteinte des réalisations. Un système axé sur les résultats se différencie d'un système axé sur les activités dans la mesure où, dans une planification orientée vers les activés, on se préoccupe de savoir si les activités ont été complétées en temps opportun et d'une façon appro- priée. Les systèmes de suivi servent par contraste à démontrer si les résultats ont été atteints. C'est l'utilisation efficace des ressources qui importe, et non seulement leur utilisation efficiente. Ce chapitre se penche sur (a) les principaux types et niveaux de suivi ; (b) les liens entre le suivi axé sur la mise en oeuvre et le suivi axé sur les résultats ; (c) les principes clés qui sous-tendent la mise en place d'un système de suivi ; (d) les besoins propres à tous les systèmes de suivi ; (e) les trois règles pour la qualité des données ; (f) l'ana- lyse des données de performance ; (g) l'atteinte des résultats par un partenariat ; et (h) les contrôles préalables des instruments et procédures de collecte des données. Les principaux types et niveaux de suivi Comme l'indique la figure 6.3, il existe deux principaux types de suivi ­ le suivi axé sur la mise en oeuvre et le suivi axé sur les résultats. Les deux permettent de surveiller les résultats. La figure 6.4 fournit des exemples de suivi axé sur les résultats pour une politique, un programme ou un projet. Le suivi axé sur la mise en oeuvre s'applique aux moyens et aux stratégies (c'est- à-dire, les intrants, activités et extrants qui font partie d'une planification annuelle ou pluriannuelle) utilisés pour atteindre une réalisation donnée. Ces moyens et stra- tégies sont appuyés par l'utilisation d'outils de gestion, incluant les ressources bud- gétaires, l'affectation du personnel et la planification des activités. Il faudrait aussi noter qu'une interaction existe entre les moyens et les stratégies (intrants, activités et extrants) d'une part et les cibles de réalisation d'autre part. Les cibles sont fixées selon ce que les moyens et les stratégies peuvent produire. Nous avons consacré la majeure partie de ce guide à étudier le suivi et l'évalua- tion axés sur les résultats. Mais la mise en oeuvre ­ c'est-à-dire dans quelle mesure les extrants sont produits au moyen des intrants disponibles et des activités ­ mérite également d'être mesurée. On examine ensuite l'alignement des extrants avec les résultats que l'organisation espère obtenir. Cela nous rapproche du concept de cadre de performance budgétaire. Un cadre de performance budgétaire est un système de planification des dépenses qui s'appuie sur une bonne gestion macroéconomique et financière, des priorités sec- torielles et une gestion des programmes orientée vers la performance. Les budgets sont élaborés selon les fonds disponibles pour une année budgétaire donnée, et les gestionnaires exposent les extrants qu'ils produiront au cours de cette année budgé- taire. Un budget à moyen terme implique habituellement que trois budgets annuels seront utilisés pour atteindre les cibles ou les réalisations souhaitées. Ainsi, les *MEP corrigée finale-3 2/3/06 8:43 AM Page 94 94 Vers une culture du résultat Figure 6.3 Le suivi axé sur les résultats · Amélioration à long terme et Objectifs d'une grande ampleur au sein de (impacts) la société Résultats · Effets intermédiaires des extrants Réalisations sur les groupes visés · Produits et services générés Extrants e · Tâches réalisées par le personnel oeuvr Activités pour transformer les intrants en en extrants Mise · Ressources financières, humaines Intrants et matérielles Source : Binnendijk, 2000. budgets orientés vers la performance planifient les dépenses en fonction des extrants, mais aident également les fonctionnaires à gérer en fonction des réalisations. Les encadrés 6.1 et 6.2 passent en revue les tentatives d'instaurer un suivi axé sur les résultats au Mexique et au Brésil. Ces diverses expériences permettent de tirer les leçons suivantes : · Pour qu'un lien solide soit forgé entre le suivi axé sur la performance et l'affec- tation des ressources, les deux doivent être sous la responsabilité d'une seule unité de gestion. · Pour que la recherche de la performance influence la gestion, une seule unité doit s'acquitter des activités et du suivi de la performance. · Les unités responsables du suivi de la performance, de la gestion et de l'affecta- tion des ressources doivent s'aligner entre elles pour encourager la responsabi- lité, et pour permettre des améliorations dans l'efficacité (ou même pour per- mettre un suivi de l'efficacité). *MEP corrigée finale-3 2/3/06 8:43 AM Page 95 Étape 6. Surveiller les résultats 95 Figure 6.4 Exemples de suivi axé sur les résultats Santé infantile Éducation des filles Suivi d'une Taux de mortalité Niveau d'éducation accru politique infantile décroissants chez les filles Suivi d'un Les femmes enceintes se Nombre de filles à l'école programme prévalent des soins secondaire qui complètent prénataux en clinique les cours de mathéma- tiques et de sciences Suivi d'un projet Six villages ciblés Nombre de filles dans reçoivent de l'information quatre quartiers urbains sur les soins prénataux qui complètent leur éducation primaire Encadré 6.1 Le suivi axé sur les résultats au Mexique Le Mexique a des processus distincts pour la planification et le budget. Un Plan national de développement paraît à tous les six ans et coïncide plus ou moins avec le mandat du président. Les objectifs, les politiques et les cibles de per- formance sont déterminés par ce processus. Les programmes (le moyen d'at- teindre les objectifs) découlent du plan. Le processus budgétaire annuel s'ins- pire des objectifs et des programmes. Une fois les contraintes budgétaires déterminées, les fonds sont alloués aux programmes et aux projets. L'information sur la performance est incorporée aux documents budgétaires annuels, soit quelque 10 000 indicateurs qui mesurent principalement la per- formance en regard des cibles du plan. Ces mesures de performance ne sont toutefois pas utilisées dans les décisions de gestion des agences, ni dans les décisions concernant l'affectation des ressources. Le bureau du président sur- veille ces indicateurs, mais le suivi complémentaire n'est pas clairement défini et aucun bilan formel n'est effectué. La performance n'est pas non plus inté- grée à la rémunération. De plus, la structure du programme a changé à chaque année au cours des dernières années, ce qui indique qu'elle ne s'intègre pas dans la structure organisationnelle ni dans le travail du gestionnaire du pro- gramme ; le cadre de responsabilité demeure donc fragile. Source : Dorotinsky, 2003b. *MEP corrigée finale-3 2/3/06 8:43 AM Page 96 96 Vers une culture du résultat Encadré 6.2 Le suivi axé sur les résultats au Brésil De nombreux pays tentent d'intégrer l'information sur la performance à la supervision de la ges- tion afin qu'elle soit prise en compte dans le processus de prise de décision. Certains surveillent l'évolution de la performance par rapport à des points de départ ou des points de référence, alors que d'autres le font par rapport à des cibles ou des plans prédéterminés. L'approche choi- sie, et l'instrument utilisé pour l'exécution, sont influencés par le niveau d'intégration des pro- cessus de planification nationale et de planification budgétaire. Le Brésil possède un plan national distinct du processus budgétaire. Le ministère de la Planification, du Budget et de la Gestion élabore le plan quinquennal (qui correspond en gros au mandat présidentiel). Le processus de planification détermine les priorités, les objectifs et les cibles de performance. (En contraste avec le Mexique, la structure du programme est fixe et s'étend à toutes les activités gouvernementales. De plus, le plan national inclut l'affectation des ressources aux programmes, pour chaque année, sur la période couverte par la planification.) Cependant, compte tenu de la nature pluriannuelle du plan, l'affectation visée des ressources au- delà de la première année est hautement imprévisible. Les nouveaux gouvernements reformu- lent leurs politiques selon les programmes auxquels ils accordent la priorité, avec des cibles et une affectation des ressources qui correspondent aux programmes. Par exemple, le gouverne- ment Cardoso a désigné 80 programmes comme étant prioritaires. Un système d'information sur la gestion a été développé pour lier le financement des pro- grammes à l'information sur la performance, en mettant l'accent sur la performance par rap- port aux cibles du plan. Les programmes ont été définis dans une optique supra organisation- nelle ­ sans tenir compte des frontières entre les ministères et les agences qui les mettent en oeuvre ­ et des gestionnaires ont été nommés pour les gérer. Les gestionnaires de programme ne détiennent toutefois aucune autorité formelle, ne contrôlent aucune ressource et ne peu- vent en fin de compte influencer les activités des ministères de tutelle (sauf dans quelques cas où le dirigeant d'une activité ministérielle jouait également le rôle de gestionnaire du pro- gramme). Avec une telle structure, le gestionnaire ne peut utiliser l'information sur la perfor- mance du programme pour gérer son travail, et les gestionnaires de programme n'ont aucune influence sur la gestion réelle. Il y a une absence de cohérence entre l'autorité et la responsa- bilité qui empêche quiconque d'être responsable. Au Brésil, l'information sur la performance n'est pas incluse dans les documents budgétaires formels, mais la base de données en ligne permet d'assortir partiellement les objectifs, la per- formance et les ressources ­ des ressources marginales. En élaborant le concept, le Brésil a créé des « programmes » séparés qui regroupent les dépenses personnelles, de telle façon que les autres programmes ne comprennent que les coûts marginaux de l'activité. Malgré les failles structurelles du système, le Brésil cherche à stimuler l'utilisation de l'infor- mation sur la performance dans la gestion. Le bureau de la planification du ministère de la Planification, du Budget et de la Gestion utilise le système d'information pour ses mises à jour trimestrielles sur la performance. Le bureau de la planification y a recours pour évaluer chaque programme prioritaire en regard des cibles du plan national, et la performance financière par rapport au budget d'une année donnée. Les programmes qui font preuve d'une performance médiocre, ou qui n'utiliseront probablement pas toutes les ressources qui leur sont affectées durant cette année, verraient alors leurs ressources diminuer et transférées à d'autres pro- grammes prioritaires considérés comme plus performants. Il s'agit là d'une tentative d'utiliser l'information sur la performance pour des décisions concernant la gestion et les ressources, et de donner une impulsion accrue à l'amélioration de la performance. Source : Dorotinsky, 2003b. *MEP corrigée finale-3 2/3/06 8:43 AM Page 97 Étape 6. Surveiller les résultats 97 Les liens entre le suivi axé sur la mise en oeuvre et celui axé sur les résultats La figure 6.5 décrit comment les réalisations et les cibles, ainsi que le flot continu d'information entre les différents niveaux du système, sont liés à la planification annuelle. La planification annuelle est une stratégie employée par l'organisation pour utiliser efficacement les intrants dans le but de produire les extrants et, ulti- mement, d'atteindre les réalisations et les impacts. On a vu dans le chapitre 5 que chaque cible est un effort partiel vers l'atteinte d'une réalisation. Ainsi, un moyen et une stratégie devraient être mis en oeuvre pour atteindre chaque cible. L'exemple de la morbidité infantile à la figure 6.6 illustre les liens entre les moyens et les stratégies, la cible, la réalisation et l'impact, c'est-à-dire les liens spécifiques entre le suivi axé sur la mise en oeuvre et le suivi axé sur les résultats. Dans cet exemple, une cible ­ réduire l'incidence de la maladie gastro-intestinale de 20 % sur une période de trois ans ­ a été fixée pour atteindre la réalisation consistant à amé- liorer la santé des enfants. Un gestionnaire devrait par la suite déterminer une stra- tégie annuelle visant à réduire l'incidence de la maladie gastro-intestinale selon l'am- pleur ciblée. Dans sa prise de décision, le gestionnaire devrait tenir compte des intrants disponibles au cours des trois années budgétaires à venir et planifier le tra- vail de l'organisation de façon à atteindre la cible fixée. Figure 6.5 Les liens entre le suivi axé sur la mise en oeuvre et le suivi axé sur les résultats Réalisation Cible 1 Cible 2 Cible 3 Moyens et stratégies Moyens et stratégies Moyens et stratégies (planification annuelle (planification annuelle (planification annuelle et pluriannuelle) et pluriannuelle) et pluriannuelle) *MEP corrigée finale-3 2/3/06 8:43 AM Page 98 98 Vers une culture du résultat Figure 6.6 Lier le suivi axé sur la mise en oeuvre au suivi axé sur les résultats Réduire la mortalité infantile Objectif Réduire la morbidité infantile Réalisation Réduire de 20% l'incidence de maladie gastro- Cible intestinale chez les enfants sur une période de trois ans · Améliorer les programmes de prévention du choléra Moyens et · Fournir des suppléments de vitamine A stratégies · Encourager l'utilisation de la thérapie par réhydratation orale DEUXIÈME PARTIE Les principes clés qui sous-tendent la mise en place d'un système de suivi Un certain nombre de principes clés sous-tendent la mise en place d'un système de suivi axé sur les résultats : · Les projets, les programmes et les politiques requièrent de l'information sur les résultats. · L'information sur les résultats doit circuler horizontalement et verticalement au sein de l'organisation (ce qui représente parfois un défi politique). · La demande pour l'information sur les résultats doit être décelée à chaque niveau. · La responsabilité doit être clairement établie à chaque niveau en ce qui concerne: 1. Quelles données sont recueillies (la source) ? 2. Quand les données sont recueillies (la fréquence) ? 3. Comment les données sont recueillies (la méthodologie) ? 4. Qui recueille les données ? 5. Qui diffuse les données ? 6. Pour qui les données sont recueillies ? *MEP corrigée finale-3 2/3/06 8:43 AM Page 99 Étape 6. Surveiller les résultats 99 L'information sur la performance doit circuler horizontalement et verticalement au sein de l'organisation et entre les organisations. Le partage horizontal d'infor- mation est crucial. Les gens doivent savoir et comprendre pourquoi telle informa- tion est recueillie par leur organisation et par d'autres organisations. Ainsi, une organisation pourrait recueillir des données qui seraient pertinentes pour une autre. De plus, si chaque organisation lance son propre système d'information, la capacité pourrait ne pas être suffisante pour soutenir tous ces systèmes. Beaucoup d'organisations constatent qu'il est difficile de partager l'information horizontalement. L'information circule plus facilement verticalement au sein d'un système, mais on retrouve souvent des obstacles politiques et organisationnels entre les parties d'un système. Les luttes de pouvoir bureaucratiques et politiques en sont souvent la cause. De même, les incitations bureaucratiques sont presque toujours verticales ; on incite rarement les gens à partager l'information horizontalement. Toutes les organisations et agences concernées devraient idéalement se coordonner et collaborer pour partager l'information sur la performance, en particulier dans les cas où des institutions ont développé des partenariats pour atteindre des cibles spécifiques. Il est important de répondre le plus clairement et précisément possible aux six questions sur la responsabilité par rapport au système. Si l'on ne peut répondre à ces six questions, il y aura probablement des lacunes et le système pourrait faillir à sa tâche. C'est là une raison de plus pour effectuer des essais pilotes avant de mettre en place d'un système de suivi-évaluation axé sur la performance. Obtenir des résultats par un partenariat De plus en plus de partenariats sont formés dans le but d'atteindre des objectifs de développement. Il peut s'agir de partenariats formés aux niveaux international et multilatéral, régional, national ou au sein du gouvernement. Quel que soit le cas, le même système de suivi-évaluation axé sur les résultats servira les intérêts du parte- nariat, tel qu'illustré par la figure 6.7. Étant donné les ressources peu abondantes et les objectifs de développement ambi- tieux, les partenaires du développement doivent avoir une emprise suffisante sur les ressources pour atteindre les objectifs souhaités. Les moyens et stratégies doivent donc être établis par plusieurs partenaires. Il faut regarder au-delà de sa propre unité organisationnelle lorsqu'on considère les ressources disponibles. Des partenariats peuvent être créés avec d'autres unités au sein d'une organisation ou même avec d'autres organisations à l'intérieur ou à l'extérieur du gouvernement. Lorsque les ressources sont réduites, les gouvernements et les organisations pour- raient avoir besoin de former des partenariats avec d'autres ­ ou même être forcés à le faire ­ pour atteindre des objectifs similaires. Les diverses formes de collabora- tion incluent des partenariats avec le secteur privé, les ONG et la communauté inter- nationale des donateurs. En combinant les ressources, les réalisations deviennent plus facilement atteignables ­ même en période de restrictions des ressources. Les besoins propres à tous les systèmes de suivi Chaque système de suivi s'appuie sur quatre éléments de base : appropriation, ges- tion, entretien et crédibilité (figure 6.8). *MEP corrigée finale-3 2/3/06 8:43 AM Page 100 100 Vers une culture du résultat Figure 6.7 Obtenir des résultats par un partenariat Objectif Réalisation Réalisation Réalisation Cible 1 Cible 2 Moyens et stratégie Moyens et stratégie Moyens et stratégie Partenaire 2 Partenaire 2 Partenaire 2 Partenaire 1 Partenaire 3 Partenaire 1 Partenaire 3 Partenaire 1 Partenaire 3 Appropriation L'appropriation correspond en quelque sorte à la demande. L'appropriation doit venir de ceux qui utilisent le système à tous les niveaux, et doit observer une demande pour de l'information sur la performance à tous les niveaux. L'appropriation des don- nées par tous les partenaires ­ au niveau national, régional et local ­ est d'une impor- tance critique. S'il existe des niveaux où l'on ne peut déterminer la nécessité ou l'uti- lité des données recueillies, des problèmes de contrôle de la qualité et d'appropriation surgiront. La boucle de rétroaction sera perturbée. Sans appropriation, les parte- naires n'auront pas la volonté d'investir du temps et des ressources dans le système. Le système finira par dégénérer et la qualité des données s'en ressentira. La présence d'un puissant champion politique assure l'appropriation du système. Un champion soulignera l'importance de produire, partager et diffuser correctement de bonnes données sur la performance. Gestion Qui gérera le système ? Comment et où sera-t-il géré ? Il s'agit là de questions qui influenceront de façon critique sa durabilité. La collecte de données peut aussi être entravée par une duplication de données en provenance de différentes agences ; par une duplication de données dans les ministères et l'agence nationale de statistique ; *MEP corrigée finale-3 2/3/06 8:43 AM Page 101 Étape 6. Surveiller les résultats 101 Figure 6.8 Les quatre éléments de base d'un système de suivi Appropriation Gestion Entretien Crédibilité par des délais dans la réception des données (c'est-à-dire que les données arrivent trop tard pour avoir un impact sur le processus de prise de décision) ; et par le fait que les gens ignorent que les données sont disponibles. Entretien L'entretien des systèmes de suivi les empêche de s'effriter et de s'effondrer. Il est impor- tant de savoir qui récoltera quelles sortes de données et quand, et de s'assurer que l'in- formation circule horizontalement et verticalement au sein du système. Les systèmes de suivi, tout comme d'autres systèmes gouvernementaux d'information (tels que la vérification ou la comptabilité budgétaire), doivent être continuellement entretenus. La gestion et l'entretien des systèmes de suivi-évaluation nécessite de mettre en place des incitations et de fournir les ressources financières, humaines et techniques suffisantes pour permettre aux organisations, aux gestionnaires et au personnel d'ef- fectuer leurs tâches. Les responsabilités individuelles et organisationnelles doivent être délimitées, et le personnel et les organisations doivent avoir une vision claire de leurs objectifs communs. On doit établir des liens bien définis entre les actions et les résultats. Les individus et les organisations doivent comprendre en quoi leurs tâches spécifiques contribuent au processus dans son ensemble. Un bon entretien des systèmes de suivi tient également compte des innovations dans les domaines de la gestion et de la technologie. Les systèmes, les procédures ou les technologies pourraient être mis à jour et modernisés. Le personnel et les ges- tionnaires devraient aussi recevoir une formation périodique pour maintenir leurs compétences à jour. À moins d'être bien gérés, les systèmes se détérioreront. Les systèmes de suivi ­ tout comme n'importe quel autre système ­ requièrent une bonne gestion qui pro- cure sans cesse des éléments de reconstruction, de renouveau et de renforcement. Crédibilité La crédibilité est aussi un aspect essentiel de tout système de suivi. Des données bien fondées et fiables contribuent à assurer la crédibilité du système. Pour être crédible, un système de suivi doit pouvoir produire toutes les données ­ les bonnes comme les mauvaises. Si l'on tait délibérément les mauvaises nouvelles, ou une information qui confirme que les réalisations et cibles visées ne sont pas atteintes, alors le système ne sera pas crédible. Dans certains cas, des pressions politiques peuvent être exercées sur le bureau national de statistique pour minimiser les mauvaises nouvelles ou éviter de diffuser certaines données, par exemple celles sur le taux d'infection au VIH ou sur la *MEP corrigée finale-3 2/3/06 8:43 AM Page 102 102 Vers une culture du résultat mortalité infantile. Si les contraintes politiques sont tellement fortes qu'aucune nou- velle négative ne peut être dévoilée, le système de suivi sera mis en péril. En bref, si les gens pensent que l'information fournie est corrompue par des considérations politiques, ils n'y feront pas confiance et ne l'utiliseront pas. Les trois règles pour la qualité des données : fiabilité, justesse et opportunité Un système de collecte de données pour tous les indicateurs (la mise en oeuvre et les résultats) possède trois caractéristiques essentielles : la fiabilité, la justesse et l'op- portunité (figure 6.9). La crédibilité du système souffrira si une seule de ces carac- téristiques est absente. (Voir également Hatry, 1999, p. 223.) Figure 6.9 Des caractéristiques essentielles pour recueillir des données de qualité sur la performance Fiabilité Justesse Opportunité La fiabilité insiste sur la constance et la stabilité du système de collecte de don- nées dans le temps et l'espace. En d'autres termes, les indicateurs sont mesurés chaque fois de la même façon (figure 6.10). Figure 6.10 Les trois règles pour la qualité des données : la fiabilité Représente la stabilité et la constance du système de collecte de données dans le temps et l'espace. La justesse est importante: les indicateurs doivent mesurer, aussi directement et suc- cinctement que possible, les niveaux présent et escompté de performance (figure 6.11). *MEP corrigée finale-3 2/3/06 8:43 AM Page 103 Étape 6. Surveiller les résultats 103 Figure 6.11 Les trois règles pour la qualité des données : la justesse Indique à quel point les indicateurs mesurent clairement et direc- tement la performance qui doit être mesurée. L'opportunité comporte trois éléments : la fréquence (à quel intervalle les données sont recueillies) ; l'actualité (le temps écoulé depuis que les données ont été recueillies) ; et l'accessibilité (la disponibilité des données pour appuyer les décisions de gestion) (figure 6.12). Si les décideurs n'ont pas accès aux données lorsqu'ils en ont besoin, l'information se transforme en données historiques. La gestion publique moderne exige une bonne information en temps opportun. Les décideurs ont doré- navant besoin d'obtenir des données continuellement et en temps réel de façon à diriger et gérer leur environnement de travail. Il ne convient pas de prendre des déci- sions de gestion dans le secteur public en utilisant des données qui datent de trois, quatre ou même cinq ans. Figure 6.12 Les trois règles pour la qualité des données : l'opportunité · La fréquence (à quel intervalle les données sont-elles recueillies ?) · L'actualité (depuis combien de temps les données ont-elles été recueillies ?) · L'accessibilité (les données sont-elles disponibles assez souvent pour appuyer les décisions de gestion ?) L'analyse des données sur la performance Les données sur la performance devraient être utilisées pour améliorer les projets, les programmes et les politiques. L'analyse et la diffusion des données produit une information importante en continu sur le statut des projets, programmes et poli- tiques. Elles peuvent également fournir des indices sur les problèmes qui surgissent pendant la mise en oeuvre et proposer des améliorations aux stratégies de mise en oeuvre. Le flot continu de données fournit aussi une information significative concer- nant les tendances et directions qui se manifestent dans le temps. *MEP corrigée finale-3 2/3/06 8:43 AM Page 104 104 Vers une culture du résultat Il est plus facile de comprendre ce qui survient entre des intervalles Plus on mesure spécifiques si l'on mesure souvent les données (figure 6.13). Cela permet fréquemment les données, aux gestionnaires de suivre les tendances et de comprendre la dynamique plus on sera certain des des projets, programmes et politiques. Plus l'intervalle est long entre tendances, des directions deux mesures, plus grandes seront les chances de rater des événements et des résultats. ou des changements dans le système. Par exemple, si une année s'écoule entre deux mesures, plusieurs événements peuvent survenir et il sera plus difficile d'en déterminer la cause. L'indicateur s'est-il amélioré ? A-t-il empiré ? La progression a-t-elle eu lieu en ligne droite ou en zigzag ? Par conséquent, l'utilisation du système de suivi devrait inclure un plan explicite de collecte et d'analyse des données qui énumère en détail les éléments suivants : · l'unité d'analyse (par exemple, le district scolaire, l'hôpital com- munautaire, le village, la région) ; · les procédures d'échantillonnage ; · les instruments de collecte de données devant être utilisés ; · la fréquence de la collecte de données ; · la méthode d'analyse et d'interprétation des données ; · les personnes responsables de recueillir les données ; · les partenaires dans la collecte des données, s'il y en a ; · les personnes responsables de l'analyse, l'interprétation et la diffu- Il faut souvent faire un sion des données ; compromis entre la · les personnes à qui l'information sera utile ; fréquence et la précision · les procédures de diffusion ; des mesures. Les coûts et · le travail complémentaire. la capacité entrent aussi en ligne de compte lorsqu'on Les contrôles préalables des instruments et les procédures décide de la fréquence et de collecte des données de la précision des mesures. Avant de mettre en place un système de suivi efficace, on doit effectuer des contrôles préalables et des tests pilotes sur les instruments et les procédures de collecte des données. Les contrôles préalables tiennent comptent des points fondamentaux suivants : · Une démarche de collecte de données doit être évaluée pour déter- miner à quel point elle est appropriée. Commencez à petite · Les contrôles préalables permettent d'améliorer les instruments ou échelle et effectuez des les procédures ­ avant d'enclencher la collecte de données. tests chaque fois que c'est · On se retrouvera probablement avec des erreurs si l'on n'effectue possible. En bref, n'allez pas de contrôles préliminaires. Ces erreurs pourraient coûter beau- pas trop vite. coup d'argent et de temps à l'organisation, et peut-être ternir sa réputation aux yeux du public. · S'il subsiste une quelconque ambiguïté quant à la façon dont les données seront recueillies et à quoi elles ressembleront, il serait pré- férable de tester plusieurs stratégies. *MEP corrigée finale-3 2/3/06 8:43 AM Page 105 Étape 6. Surveiller les résultats 105 Figure 6.13 Analyser les résultats Examiner les changements dans le temps : · Comparer les données actuelles à celles du passé pour découvrir des ten- dances et autres changements. · Plus il y a de mesures, plus les tendances seront convaincantes. Accès aux Accès aux marchés ruraux marchés ruraux ? Temps Temps Par exemple, la première série de mesures constituera le point de départ. Or, si le point de départ s'avère erroné parce que les mauvaises Pour que le système données (ou des données incomplètes) sont recueillies ­ et si en plus les de suivi devienne un outil cibles sont fixées sur la base de ce point de départ ­ le système de suivi de gestion utile, il doit sera établi sur des fondations chancelantes. être facile à gérer. Ne En bref, surveiller les résultats comprend à la fois un suivi de la mise surchargez pas le système en oeuvre et un suivi des résultats. Cela implique la formation de parte- avec trop d'indicateurs. nariats pour atteindre des réalisations communes. Chaque système de Sinon, trop de temps sera suivi doit se fonder sur l'appropriation, la gestion, l'entretien et la cré- consacré à gérer le système dibilité. La collecte de données et l'analyse des données sur la perfor- qui produit les données, et mance font également partie du processus. Les principales caractéris- trop peu de temps sera tiques d'une collecte de données de qualité sur la performance sont la consacré à utiliser les fiabilité, la justesse et l'opportunité. Enfin, il est important d'effectuer données pour la gestion. des contrôles préliminaires des instruments et procédures de collecte de données dans tout système de suivi. *MEP corrigée finale-3 2/3/06 8:43 AM Page 106 *MEP corrigée finale-3 2/3/06 8:43 AM Page 107 Chapitre 7 Étape 7 : Le rôle des évaluations Figure 7.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation Les chapitres précédents ont surtout porté sur le suivi. La mise en place d'un sys- tème de suivi pour surveiller continuellement la performance est absolument essen- tielle pour les gestionnaires. Le système de suivi fournit de l'information en continu (par l'entremise d'indicateurs) sur la direction, la vitesse et la magnitude des chan- gements. Il peut également déceler des changements non anticipés. Toutes ces fonc- tions sont d'une importance critique pour savoir si les politiques, programmes et projets évoluent dans la direction escomptée. Il a également été souligné que les données du suivi ne permettent pas d'attribuer les changements à des causes particulières, ni d'expliquer pourquoi ils se produisent ­ mais simplement de noter qu'ils se produisent ou non. De la même façon, les don- nées ne peuvent en elles-mêmes élucider les forces et les faiblesses dans la concep- tion des projets, programmes et politiques. L'information générée par l'évaluation permet d'aborder ces questions et d'autres questions importantes qui touchent l'at- teinte de résultats appropriés (figure 7.1). On comprend l'évaluation comme étant l'examen d'une intervention planifiée, en cours ou complétée, pour déterminer sa pertinence, son efficacité et sa durabilité. Le but est d'incorporer les leçons qu'on en tire au processus de prise de décision. Examinons maintenant les fonctions d'évaluation des systèmes de suivi-évaluation. Le suivi et l'évaluation sont des fonctions complémentaires; chacune appuie l'autre ­ *MEP corrigée finale-3 2/3/06 8:43 AM Page 108 108 Vers une culture du résultat bien qu'elles posent des questions différentes et utiliseront vraisemblablement l'infor- mation et les analyses différemment. Cela signifie nécessairement qu'il faut mettre en place un système d'information et d'analyse avec les deux composantes ­ le suivi et l'évaluation ­ lorsqu'on implante un système de suivi-évaluation axé sur les résultats. L'un ou l'autre pris isolément ne suffira pas. Le suivi et l'évaluation comportent de nombreux aspects complémentaires. On retrouve en premier lieu une complémentarité séquentielle, ce qui signifie que l'in- formation issue du suivi peut générer des questions auxquelles l'évaluation répon- dra plus tard ­ ou inversement, de l'information issue de l'évaluation peut mener à un suivi dans de nouveaux champs ou domaines. En second lieu vient la complé- mentarité de l'information, c'est-à-dire que le suivi et l'évaluation peuvent utiliser les mêmes données, mais posent des questions différentes et structurent l'analyse diffé- remment. On observe en troisième lieu une complémentarité interactionnelle, qui fait en sorte que les gestionnaires se servent en même temps du suivi et de l'évalua- tion pour mener leurs initiatives. La fonction évaluative des systèmes de suivi-évaluation développe et dépasse consi- dérablement ce qu'on entend par l'approche traditionnelle d'évaluation post factum. L'évaluation ne se limite pas à évaluer les causes et les changements après qu'une intervention ou une initiative soit terminée. L'approche post factum demeure limitée parce que ce type d'information évaluative ne fournit pas de rétroaction aux déci- sions de gestion en cours qui visent à atteindre des résultats dans les organisations et unités gouvernementales. Si l'on met l'accent sur les évaluations post factum afin de circonscrire l'imputation et la causalité, les gestionnaires du secteur public se trouve- ront dans l'impossibilité d'utiliser l'information évaluative en temps opportun. Les pages qui suivent ne décrivent pas comment il faut concevoir et mener des éva- luations. Il existe plusieurs manuels et guides qui peuvent guider le lecteur étape par étape ­ de la conception, la sélection de méthodes, la collecte et l'analyse des don- nées, jusqu'à la rédaction du rapport et sa diffusion. Le Programme international de formation en évaluation de projet de développement (IPDET) présente ce matériel en douze modules et est disponible à http://www.worldbank.org/oed/ipdet/ (Banque mondiale, 2001a). On s'intéressera plutôt au développement d'une capacité évaluative au sein du gou- vernement afin d'appuyer une approche de gestion axée sur les résultats ainsi qu'aux usages que les gestionnaires peuvent faire de l'information évaluative. Une bonne information évaluative procure des réponses à une vaste gamme de questions qui relè- vent de la performance et de l'atteinte des réalisations. Certaines de ces questions seront abordées, ainsi que quelques stratégies d'évaluation. Comment utiliser l'évaluation La distinction que l'on fait ici entre la mise en place de sources continues d'informa- tion évaluative et les études évaluatives individuelles étalées sur des périodes de temps habituellement longues est intentionnelle. Les systèmes de suivi-évaluation doivent fournir une information utile et en temps opportun aux responsables gouvernemen- taux pour qu'ils puissent gérer et guider les ressources et les interventions du gouver- nement. L'utilisation qu'on fait de l'évaluation détermine sa valeur. *MEP corrigée finale-3 2/3/06 8:43 AM Page 109 Étape 7. Le rôle des évaluations 109 Les usages pragmatiques de l'évaluation On n'insistera pas ici sur les différents types et catégories d'application dont la lit- térature existante sur le sujet fait abondamment mention. On présentera plutôt une liste pragmatique de six usages que les gestionnaires gouvernementaux peuvent faire de l'information évaluative. Prendre des décisions sur l'affectation des ressources. L'information évaluative peut informer les gestionnaires sur les réalisations plus ou moins fructueuses des poli- tiques ou les programmes, et ainsi les guider lorsqu'ils décident des ressources qui devraient leur être consacrées. Dans la même optique, l'information évaluative peut guider les décisions lorsque les résultats des essais pilotes laissent entrevoir qu'il faut développer, repenser ou même abandonner complètement une initiative. Revoir les causes d'un problème. Les politiques et les programmes semblent fré- quemment ne pas avoir de conséquences notables sur les problèmes existants. Bien que l'absence de changement puisse être attribuable à une conception fautive ou à une mise en oeuvre défaillante, il est aussi possible que l'intervention n'ait aucun effet parce que le problème n'est pas celui qu'on avait cru à l'origine. L'information évaluative peut soulever la nécessité de réexaminer les causes présumées d'un pro- blème ­ et d'envisager des contre-mesures de rechange. Déceler les problèmes émergents. L'information évaluative peut mettre en lumière des problèmes qui n'ont pas encore atteint des dimensions importantes, mais qui requièrent clairement l'attention des responsables gouvernementaux, tels que les taux croissants de décrochage parmi des groupes particuliers de jeunes, le nombre d'orphelins dont les parents sont morts du sida, ou la consommation de drogue chez les préadolescents. Appuyer la prise de décision lorsqu'on cherche des solutions de rechange. Les gou- vernements abordent souvent une situation difficile en testant plus d'une stratégie. Par exemple, un gouvernement pourrait s'attaquer au problème du décrochage chez les jeunes en mettant sur pied des programmes à l'école, des programmes spéciaux d'apprentissage dans le secteur privé, des bons pour les employeurs qui engagent des jeunes, etc. Lorsque chaque projet pilote opère depuis un certain temps, on peut plus facilement déterminer lequel présente les indices de succès les plus convaincants, et lequel mérite un appui. Appuyer les réformes et l'innovation dans le secteur public. L'information évaluative peut montrer aux citoyens que les tentatives de réforme mènent à des résultats. Par exemple, des preuves que l'enseignement scolaire s'améliore, que la corruption dimi- nue, ou que les pauvres des milieux ruraux reçoivent des soins de santé, peuvent apporter de la crédibilité aux efforts du gouvernement. Les tentatives de réformes per- dent souvent leur impulsion si rien n'indique que des changements positifs ont lieu. Former un consensus sur les causes d'un problème et les façons d'y répondre. L'information évaluative peut alimenter les discussions des responsables gouverne- mentaux et des principaux partenaires sur les causes d'un problème et les façons d'y répondre adéquatement. Avant de tenter de résoudre ou d'atténuer un problème, il faut d'abord le comprendre et le circonscrire. L'information évaluative peut fournir *MEP corrigée finale-3 2/3/06 8:43 AM Page 110 110 Vers une culture du résultat Encadré 7.1 L'évaluation fournit de l'information sur : · La stratégie : fait-on les bonnes choses ? ­ Logique ou justification ­ Théorie précise sur la nature des changements · Les opérations : fait-on les choses correctement ? ­ Efficacité dans la poursuite des réalisations escomptées ­ Efficacité dans l'utilisation optimale des ressources ­ Satisfaction du client · L'apprentissage : existe-t-il de meilleures façons de faire les choses ? ­ Solutions de rechange ­ Meilleures pratiques ­ Leçons qu'il faut tirer de l'expérience des indications sur les causes ainsi que sur la pertinence et l'impact des tentatives précédentes. Pour résumer, les responsables gouvernementaux et leurs partenaires peuvent uti- liser cette information pour se concentrer sur la stratégie politique en général et les questions de conception (« Sommes-nous sur la bonne voie ? »), de même que sur les solutions de rechange pour aborder le problème (« Qu'avons-nous appris ? »). Voir l'encadré 7.1. Utiliser l'évaluation pour répondre à des questions de gestion Les évaluations peuvent aussi répondre à huit types de questions que les gestion- naires posent souvent : · Des questions de nature descriptive : Décrivez le contenu de la campagne d'in- formation sur la prévention du VIH/sida dans tel pays. (Met l'accent sur la des- cription minutieuse d'une situation, d'un processus ou d'un événement. Souvent lors d'une étude de cas.) · Des questions de type normatif ou relatives à la conformité : Combien de jour les normes nationales sur la qualité de l'eau potable ont-elle été respectées pen- dant l'année ? (Détermine si un projet, un programme ou une politique ont res- pecté les critères établis.) · Des questions visant à établir une corrélation : Quelle est la relation entre le taux d'alphabétisation et le nombre d'enseignants formés dans une région donnée ? (Dévoile le lien entre deux situations ou conditions, mais sans spécifier la cause.) · Des questions sur l'impact ou la cause et l'effet : L'introduction d'une nouvelle semence hybride a-t-elle entraîné une hausse du rendement des récoltes ? (Éta- blit une relation causale entre deux situations ou conditions.) · Des questions concernant la logique des programmes : La séquence des activi- tés prévues est-elle susceptible d'accroître le nombre d'années de scolarisation des filles ? (Détermine si la conception du programme entraîne les consé- quences prévues.) *MEP corrigée finale-3 2/3/06 8:43 AM Page 111 Étape 7. Le rôle des évaluations 111 · Des questions concernant la mise en oeuvre ou le processus : Le projet, pro- gramme ou la politique visant à améliorer la qualité de l'approvisionnement en eau dans une région urbaine a-t-il été mis en oeuvre tel que prévu ? (Vérifie si la mise en oeuvre s'est déroulée telle que prévue.) · Des questions touchant la performance : Les réalisations et impacts escomptés d'une politique ont-ils été atteints ? (Établit des liens entre les intrants, les acti- vités, les extrants, les réalisations et les impacts.) · Des questions sur l'usage approprié des outils politiques : Le gouvernement a-t- il utilisé les bons outils en fournissant des subventions à des fermiers autoch- tones pour qu'ils développent une nouvelle technologie agricole ? (Détermine si les instruments appropriés ont été sélectionnés pour atteindre l'objectif.) Choisir un moment pour effectuer les évaluations L'information évaluative est pertinente et utile pour les gestionnaires du gouverne- ment à toutes les phases de gestion des politiques, programmes et projets. Ainsi, on considère qu'il est opportun de recueillir de l'information évaluative chaque fois qu'elle pourrait répondre à certaines préoccupations. On peut toutefois se demander quel est le meilleur moment pour déployer les res- sources nécessaires pour recueillir l'information évaluative. Quatre cas méritent qu'une information évaluative vienne appuyer la prise de décision des gestionnaires. (Il existe d'autres cas, mais ceux qui suivent sont typiques des cas où l'information évaluative est essentielle.) Des divergences entre la performance prévue et la performance actuelle Lorsque les mesures régulières des principaux indicateurs indiquent qu'il existe une divergence appréciable entre la performance prévue et la performance actuelle, l'in- formation évaluative peut s'avérer cruciale. Dans les graphiques de la figure 7.2, les performances prévue et actuelle divergent. Le gestionnaire a besoin de savoir pourquoi. « Pourquoi tirons-nous tant de l'arrière par rapport à la performance prévue (graphique de gauche) ou pourquoi les choses avancent-elles si bien que nous sommes en avance par rapport au cadre de planifi- cation (graphique de droite) ? » Les gestionnaires reconnaîtront sur la base de leur propre expérience que les performances prévue et actuelle sont rarement identiques, et qu'il faut s'attendre à certaines variations. Mais quand ces divergences sont très importantes et prolongées, et qu'elles ont des conséquences réelles sur la politique, le programme ou le projet, il est temps de prendre du recul et d'en évaluer les causes. Il faut alors voir si de nouvelles stratégies seront nécessaires (dans le cas d'une per- formance faible), ou déterminer les causes de la bonne performance accélérée et chercher à l'appliquer à d'autres domaines. La conception et la mise en oeuvre contribuent aux réalisations L'information évaluative permet d'établir dans quelle mesure la conception et la mise en oeuvre contribuent aux réalisations. *MEP corrigée finale-3 2/3/06 8:43 AM Page 112 112 Vers une culture du résultat Figure 7.2 Utiliser l'évaluation pour expliquer les divergences dans la performance Prévue Actuelle Dans la figure 7.3, le carré 1 constitue l'endroit idéal où se trouver ­ la concep- tion (basée sur un modèle causal expliquant comment entraîner les changements voulus dans une situation donnée) est solide et la mise en oeuvre des activités pour s'attaquer au problème est également énergique. Tous les gestionnaires, les planifi- cateurs et les responsables de la mise en oeuvre voudraient consacrer leur temps et leurs efforts à des activités de ce type ­ contribuer à la réalisation de choses utiles pour lesquelles on détient des preuves tangibles de changement positif. Le carré 2 est caractérisé par une forte ambiguïté en termes de performance des indi- cateurs de réalisation. Dans cette situation, on trouve une conception faible qui est mise en oeuvre avec beaucoup de vigueur ­ mais avec très peu ou pas de résultats concrets en bout de ligne. Les questions évaluatives se pencheraient alors sur la solidité et la logique de la conception. Par exemple, le modèle causal était-il approprié? Était-il suffisam- ment solide pour entraîner les changements voulus dans le cas où il serait mis en oeuvre Figure 7.3 Utiliser l'évaluation pour déterminer l'impact de la conception et de la mise en oeuvre sur la réalisation Solidité de la conception Élevée Faible Élevée 1. 2. Solidité de la mise en oeuvre Faible 3. 4. *MEP corrigée finale-3 2/3/06 8:43 AM Page 113 Étape 7. Le rôle des évaluations 113 correctement? Le problème était-il bien compris et clairement défini? La stratégie de changement proposée visait-elle directement les causes du problème? Le carré 3 comporte lui aussi beaucoup d'ambiguïté. Il décrit une situation où une conception bien élaborée est mise en oeuvre de façon médiocre ­ encore une fois, avec peu ou pas de résultats concrets. Il s'agit de la situation inverse du carré 2, mais avec la même conséquence centrale ­ aucun résultat. Les questions évaluatives se concentreraient ainsi sur les processus et procédures de mise en oeuvre : Ce qui devait se passer s'est-il effectivement passé ? Quand, et dans quel ordre ? Avec quel niveau d'appui ? Quel était le niveau d'expertise du personnel ? On cherche surtout à savoir ce qui a rendu inopérant une politique, un programme ou un projet poten- tiellement fructueux. Le carré 4 n'est pas un bon endroit où se trouver. Une conception déficiente qui est mise en oeuvre de façon médiocre ne produit que des bribes de bonnes intentions. Aucune preuve de réalisation ne se manifestera. L'information évaluative s'attardera autant à la mauvaise conception qu'à la mauvaise mise en oeuvre. Le gestionnaire doit alors mettre fin rapidement à cette initiative de façon à ne pas prolonger les consé- quences négatives de l'inefficacité pour tous ceux qui sont impliqués. L'affectation des ressources Lorsque des ressources sont affectées à des politiques, des programmes ou des pro- jets, l'information évaluative aide les gestionnaires à analyser ce qui fonctionne ou ne fonctionne pas de façon efficace et efficiente. De nombreux compromis doivent être faits dans l'affectation des budgets et du personnel. Les conflits politiques issus de demandes concurrentes sont réels. L'information évaluative contribue à appuyer ce processus, surtout lorsque le gouvernement cherche à mettre en place un système budgétaire axé sur la performance. Il faut également reconnaître que l'information évaluative ne peut nier ni contrecarrer les visions politiques, institutionnelles et per- sonnelles qui s'affrontent inévitablement. Des indications contradictoires sur les réalisations L'information évaluative peut servir lorsqu'on observe des réalisations différentes à partir de projets, programmes ou politiques similaires. Des initiatives comparables qui débouchent sur des réalisations incontestablement divergentes soulèvent des questions que l'information évaluative peut aborder : Y a-t-il des variations impor- tantes dans la mise en oeuvre qui mènent aux divergences ? Y a-t-il des intervenants clés qui ne comprennent pas l'intention et la logique de l'initiative et qui supervisent différemment, menant ainsi à des approches essentiellement différentes ? Ou encore, les mesures sont-elles si différentes que toute comparaison s'avère invalide ? Les différents types d'évaluation Différents types de questions exigent différents types d'évaluation. Il n'existe pas de modèle d'évaluation général que l'on peut utiliser pour une variété de ques- tions. Il est important que les gestionnaires comprennent bien ce qu'ils veulent apprendre grâce à l'évaluation. De même, il est important que ceux qui produisent *MEP corrigée finale-3 2/3/06 8:43 AM Page 114 114 Vers une culture du résultat l'information évaluative comprennent bien ce dont les gestionnaires ont besoin. Une information qui ne correspond pas à la question posée ne profite à personne. La figure 7.4 décrit sept grandes stratégies d'évaluation qui peuvent générer de l'information évaluative. Chacune est appropriée pour des types de questions spé- cifiques, et chacune sera brièvement passée en revue. (Une seule de ces sept stra- tégies correspond à l'évaluation classique post factum ­ l'évaluation de l'impact.) L'évaluation de l'enchaînement logique de la performance La stratégie d'évaluation de l'enchaînement logique de la performance est utilisée lorsqu'on veut déterminer la solidité et la logique du modèle causal qui sous-tend la politique, le programme ou le projet. Le modèle causal concerne le déploiement et l'enchaînement des activités, ressources ou initiatives politiques qui peuvent être uti- lisées pour provoquer le changement voulu dans une situation existante. L'évaluation examine s'il est plausible d'atteindre le changement souhaité sur la base d'efforts similaires faits dans le passé et des études sur le sujet. L'objectif est d'éviter un échec dû à une conception déficiente qui aurait peu ou pas de chance d'atteindre les réalisations souhaitées. En essayant d'évaluer l'effort actuel en comparaison avec ceux du passé, l'éva- luation peut se concentrer sur le niveau de ressources, l'échéancier, la capacité des individus et des organisations impliqués, le niveau de réalisations escompté, etc., de façon à déterminer si la stratégie actuelle mérite de recevoir un appui. De même, en examinant la littérature disponible sur le sujet, l'évaluateur peut décou- vrir si les prémisses qui sous-tendent l'initiative proposée sont acceptables ; par exemple, si une campagne d'information publique pour conscientiser les citoyens exercera des pressions plus fortes sur le gouvernement afin qu'il combatte et contrôle la corruption. Figure 7.4 Sept types d'évaluation Évaluation de l'enchaî- Évaluation antérieure nement logique de la à la mise en oeuvre performance Évaluation de la mise Estimation rapide Étude de cas en oeuvre du processus Évaluation d'impact Méta-évaluation *MEP corrigée finale-3 2/3/06 8:43 AM Page 115 Étape 7. Le rôle des évaluations 115 L'évaluation antérieure à la mise en oeuvre La stratégie d'évaluation antérieure à la mise en oeuvre aborde trois critères qui devraient être clairement articulés avant que les gestionnaires ne s'engagent dans la phase d'exécution. Les critères sont exprimés dans ces trois questions: Les objectifs sont-ils définis de telle façon que les réalisations puissent être énoncées en termes mesu- rables? Y a-t-il un plan d'exécution cohérent et crédible qui fournit des indications claires sur la façon dont la mise en oeuvre doit être effectuée et comment on pourra dis- tinguer une mise en oeuvre réussie d'une mise en oeuvre déficiente? La logique qui sous- tend le déploiement des ressources est-elle claire et correspond-elle aux exigences pour l'atteinte des réalisations souhaitées? Cette démarche d'évaluation vise à garantir que l'échec n'est pas programmé dans le processus avant même la mise en oeuvre. L'évaluation de la mise en oeuvre du processus L'évaluation de la mise en oeuvre du processus se concentre sur les détails de la mise en oeuvre. Qu'est-ce qui a été exécuté ou non tel que prévu ? Ce qu'on a mis en oeuvre correspondait-il à ce qu'on avait prévu ? Les coûts, l'échéancier, la capacité du personnel, la disponibilité des ressources financières, des installations et du per- sonnel, ainsi que l'appui politique étaient-ils appropriés et correspondaient-ils au plan ? Quels extrants et réalisations inattendus (et donc non voulus) ont émergé de la phase de mise en oeuvre ? Étant donné que la phase de mise en oeuvre peut être courte ou longue, l'évaluation doit porter sur le processus de mise en oeuvre. Les ges- tionnaires peuvent se servir de cette information pour déterminer s'ils doivent effec- tuer des corrections à mi-parcours. La stratégie d'évaluation est semblable au suivi. La valeur ajoutée provient du fait que la mise en oeuvre n'est pas simplement documentée (surveillée). Lorsqu'on éva- lue la mise en oeuvre, on peut étudier les réalisations imprévues. De plus, certains des aspects les plus intangibles de la mise en oeuvre, comme l'appui politique, l'état de préparation institutionnelle au changement et la confiance envers la capacité des ges- tionnaires peuvent être abordés. Enfin, on établit une base solide pour entreprendre des contre-mesures, s'il le faut, en acquérant une certaine compréhension des raisons qui expliquent pourquoi le parcours d'exécution a suivi ou non la bonne voie. L'estimation rapide Dans la mesure où le suivi-évaluation est vu comme un outil de gestion utilisé de façon continue, l'estimation rapide mérite un examen spécial. Elle peut apporter une contribution inestimable pour les praticiens du développement dans un système de suivi-évaluation axé sur les résultats. Elle permet d'évaluer et de rendre compte d'une situation rapidement et en temps réel, fournissant une rétroaction immédiate aux décideurs sur les progrès d'un projet, d'un programme ou d'une politique. L'estimation rapide se caractérise en tant que démarche d'évaluation pluraliste qui utilise diverses méthodes de collecte de données. Les méthodes tendent à se rap- procher du centre sur le continuum présenté dans la figure 4.3. « La méthodologie de l'estimation rapide... [cherche à atteindre les mêmes buts] que la recherche appliquée ; c'est-à-dire qu'elle vise à fournir de l'information pertinente en temps *MEP corrigée finale-3 2/3/06 8:43 AM Page 116 116 Vers une culture du résultat opportun aux décideurs sur les enjeux qui requièrent leur attention immédiate dans le cadre des projets et des programmes. Le but de la recherche appliquée est... de faciliter un processus de prise de décision rationnel dans des circonstances aux- quelles on doit faire face quotidiennement » (Kumar, 1993, p. 9). On trouve cinq principales méthodes de collecte de données qui s'appliquent à l'estimation rapide : (a) des entrevues avec des intervenants clés ; (b) des entrevues avec des groupes témoins ; (c) des entrevues avec des membres de la communauté ; (d) des observations directes structurées ; et (e) des enquêtes. Ces méthodes sont par- ticulièrement utiles lorsqu'on aborde les situations suivantes : · lorsqu'une information descriptive est suffisante pour prendre une décision ; · lorsqu'il faut comprendre les motivations et les attitudes qui influencent le com- portement des gens, en particulier celui des populations cibles ou des parties prenantes lors d'une intervention ; · lorsqu'on doit interpréter les données quantitatives disponibles ; · lorsqu'on a besoin de développer des questions, des hypothèses et des proposi- tions en vue d'études plus élaborées et exhaustives (Kumar, 1999, p. 21-22). Les estimations rapides sont très pertinentes lorsqu'il convient de produire en temps opportun une information évaluative axée sur les besoins des gestionnaires. Comme c'est le cas pour toute méthode d'évaluation, il faut tenir compte des forces et des faiblesses inhérentes aux estimations rapides. Les estimations rapides produi- sent l'information dont on a besoin rapidement et en temps voulu, à un coût relati- vement bas, surtout en comparaison des méthodes d'évaluation plus formelles et structurées. Ces estimations permettent de vérifier rapidement si les projets, pro- grammes et politiques sont essentiellement sur la bonne voie. La fiabilité, la crédibi- lité et la justesse des estimations rapides sont toutefois plus susceptibles d'être contes- tées à cause de facteurs tels que les penchants et les préjugés individuels, et la difficulté de reproduire ou de vérifier les données quantitatives. De même, il est dif- ficile de combiner les résultats de plusieurs estimations rapides parce que chacune est relativement distincte et que l'assemblage méthodologique varie d'une fois à l'autre. Tout bien considéré, les estimations rapides peuvent cependant rendre compte rapi- dement d'une situation et accentuer la nécessité d'ajustements continuels. L'étude de cas L'étude de cas est la stratégie d'évaluation appropriée lorsqu'un gestionnaire a besoin d'une information détaillée pour comprendre plus clairement ce qui s'est passé avec une politique, un programme ou un projet. Les études de cas impliquent un compromis entre l'étendue et la profondeur. Les gestionnaires se servent de l'in- formation obtenue de six façons : (a) pour illustrer une condition plus générale ; (b) à titre exploratoire lorsqu'on connaît peu de chose d'un domaine ou d'un pro- blème ; (c) pour se concentrer sur des cas critiques (des programmes qui connaissent un succès retentissant ou un échec lamentable) ; (d) pour examiner en profondeur des cas précis de mise en oeuvre ; (e) pour observer les effets d'une initiative ; et enfin, (f) pour comprendre plus largement une situation en utilisant l'ensemble des résul- tats de plusieurs études de cas. *MEP corrigée finale-3 2/3/06 8:43 AM Page 117 Étape 7. Le rôle des évaluations 117 L'évaluation d'impact L'évaluation d'impact est l'évaluation classique (pas seulement post factum) qui tente de déterminer les changements survenus et à quoi on peut les attribuer. L'évaluation essaie de déceler quelle portion des impacts attestés a été causée par l'intervention, et qu'est-ce qui pourrait avoir été causé par d'autres événements ou conditions. L'objectif est d'attribuer les changements observés à des causes spécifiques. Ce type d'évaluation est difficile, surtout parce qu'elle se produit lorsque l'intervention est terminée (de façon à ce que les réalisations aient eu le temps d'émerger). Évidemment, plus le temps passe entre l'intervention et la tentative de trouver les causes du changement, et plus il est pro- bable que d'autres facteurs interféreront d'une façon négative ou positive pour modi- fier la réalisation, que l'échéancier que l'on s'était donné pour mesurer le changement sera perturbé (trop tôt ou trop tard) et que la réalisation se sera diluée ou aura disparu. Une autre façon de concevoir la question de l'attribution est d'aborder le problème à l'envers en se demandant ce qui serait arrivé si l'intervention n'avait pas eu lieu. Cet exer- cice est difficile, mais il existe des stratégies qui utilisent des modèles expérimentaux et quasi expérimentaux. L'utilisation d'affectations aléatoires et de groupes de contrôle ou de comparaison constitue la façon la plus élémentaire d'aborder ce problème. Lorsque c'est possible, il est préférable de planifier une étude d'impact avant que l'intervention ne commence. En planifiant à l'avance l'évaluation d'impact, on par- vient plus facilement à spécifier quelles unités seront l'objet de l'intervention et les- quelles ne le seront pas, et à établir des données de départ pour toutes les unités. La méta-évaluation Si plusieurs évaluations ont été effectuées sur une ou sur plusieurs initiatives simi- laires, une méta-évaluation permet d'établir des critères et des procédures pour exa- miner systématiquement cette série d'évaluations dans le but d'en résumer les ten- dances et de susciter une confiance (ou une prudence) vis-à-vis leurs résultats. Une méta-évaluation permet de déterminer rapidement « ce que nous savons en ce moment sur cette question et à quel niveau de certitude nous le savons ». Leeuw et Cooksy (2003) ont par exemple utilisé une approche méta-évaluative pour résumer les résultats obtenus par trois évaluations effectuées par trois agences de développe- ment ­ le Secrétariat d'État au Développement international du Royaume-Uni (DFID), le PNUD et la Banque mondiale. Les caractéristiques d'une évaluation de qualité Les gestionnaires qui dépendent de l'information produite par un système de suivi- évaluation ont raison de s'interroger sur la qualité et la fiabilité de l'information qu'ils obtiennent. Une information de mauvaise qualité, inexacte et partielle n'est d'aucune utilité pour quiconque. Comment un gestionnaire peut-il savoir si l'information mérite d'être utilisée ? Sans entrer dans une discussion détaillée des multiples facettes de la validité et de la fiabilité des données, et sans attendre des gestionnaires qu'ils maîtrisent les métho- dologies statistiques avancées, on peut considérer six caractéristiques qui permettent d'établir la qualité d'une évaluation (figure 7.5). Une évaluation qui tient compte de *MEP corrigée finale-3 2/3/06 8:43 AM Page 118 118 Vers une culture du résultat ces six caractéristiques ne garantit pas que l'information soit impeccable ou sans faille. Le gestionnaire peut toutefois se reporter à ces caractéristiques pour détermi- ner s'il utilisera ou non l'information. · Impartialité : L'information évaluative ne doit contenir aucune distorsion ou préjugé de nature politique ou autre. L'information doit être présentée avec une description de ses forces et faiblesses. Toute information pertinente doit être présentée, et pas seulement celle qui renforce les opinions du gestionnaire. · Utilité : L'information évaluative doit être pertinente, produite en temps oppor- tun et écrite dans un style compréhensible. Elle doit également aborder les ques- tions posées et être présentée sous la forme que le gestionnaire souhaite et com- prend le mieux. · Conformité technique : L'information doit se conformer aux normes techniques pertinentes ­ une conception appropriée, des procédures correctes d'échan- tillonnage, une formulation précise du questionnaire et des guides d'entrevue, une analyse appropriée des statistiques ou du contenu, ainsi qu'un soutien suf- fisant pour tirer des conclusions et des recommandations, pour n'en nommer que quelques-unes. · Implication des parties prenantes : Il faut s'assurer que les parties prenantes ont été consultées et impliquées dans l'effort d'évaluation. On doit les inclure dans le processus politique en tant que partenaires actifs si l'on veut qu'elles aient confiance en l'information, qu'elles s'approprient les résultats et qu'elles intè- grent les leçons tirées de l'expérience aux politiques, programmes et projets en cours. Si l'on ne fait que donner l'impression qu'elles sont impliquées, ou qu'on les empêche de s'impliquer, on engendrera des sentiments d'hostilité et de res- sentiment envers l'évaluation ­ et même envers le gestionnaire qui a commandé l'évaluation au départ. · Rétroaction et diffusion : Le partage d'information d'une manière appropriée, ciblée et au moment opportun est souvent une caractéristique qui distingue les Figure 7.5 Les caractéristiques d'une évaluation de qualité Impartialité Utilité Implication des parties Conformité technique prenantes Rétroaction et Rentabilité diffusion *MEP corrigée finale-3 2/3/06 8:43 AM Page 119 Étape 7. Le rôle des évaluations 119 évaluations. Il y aura des ruptures de communication, une perte de confiance, de l'indifférence ou de la méfiance envers les résultats si : (a) l'information éva- luative n'est pas partagée convenablement et fournie à ceux pour qui elle est pertinente ; (b) l'évaluateur ne prévoit pas de disséminer systématiquement l'in- formation et présume que le travail est fait lorsque le rapport ou l'information est présenté ; et (c) aucune tentative n'est faite de cibler correctement l'auditoire visé par l'information. · Rentabilité : On doit dépenser ce qui est nécessaire pour obtenir l'information voulue, mais pas plus. Il n'est pas convenable de recueillir des données chères qui ne seront pas utilisées ­ ni d'utiliser des stratégies coûteuses pour recueillir des données lorsque des moyens plus abordables sont disponibles. Le coût de l'évaluation doit être proportionnel aux coûts globaux de l'initiative. On a mis l'accent jusqu'ici sur le rôle que l'évaluation peut et doit jouer dans le développement d'un système de suivi-évaluation axé sur les résultats. L'information évaluative peut être pertinente à toutes les phases du cycle de vie d'une politique, d'un programme ou d'un projet. Elle peut servir les besoins du gestionnaire public si elle est fournie en temps opportun, est présentée adéquatement, est conforme sur le plan technique, aborde directement les questions et est fiable. L'évaluation et le suivi sont complémentaires et tous les deux sont nécessaires à un système de gestion axé sur les résultats. Des exemples d'évaluation aux stades de la politique, du programme et du projet L'information évaluative permet aux décideurs et aux gestionnaires de programmes et de projets de savoir si leurs interventions mènent aux résultats souhaités et leur Figure 7.6 Exemples d'évaluations Privatiser le système Transférer des d'aqueduc populations rurales Évaluation des Comparer les modèles de Comparer les stratégies employées politiques privatisation de la fourniture pour transférer des villageois publique d'eau dans une autre région Évaluation des Évaluer la gestion financière des Évaluer dans quelle mesure les programmes systèmes gouvernementaux fermiers transférés maintiennent leur niveau de vie antérieur Évaluation des Évaluer l'amélioration dans les Évaluer les pratiques agricoles projets taux de perception des tarifs des fermiers transférés dans une d'eau dans deux provinces province *MEP corrigée finale-3 2/3/06 8:43 AM Page 120 120 Vers une culture du résultat indique pourquoi les stratégies de mise en oeuvre sont ou ne sont pas sur la bonne voie. La figure 7.6 montre quelles sortes d'information les évaluations peuvent four- nir pour les projets, les programmes et les politiques au moyen de deux exemples : la privatisation d'un système d'aqueduc et le transfert de populations rurales. *MEP corrigée finale-3 2/3/06 8:43 AM Page 121 Chapitre 8 Étape 8 : Présenter les données obtenues Figure 8.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation L'information sur la performance constitue un outil de gestion. Elle découle autant du suivi que de l'évaluation. Les deux peuvent fournir des rétroac- « La présentation des tions d'une importance critique, en continu et en temps réel, sur les progrès résultats est trop souvent d'un projet, un programme ou une politique. l'étape à laquelle les L'analyse et la présentation des résultats de performance sont une étape évaluateurs consacrent le cruciale parce qu'elle détermine ce qui sera présenté, quand et à qui. On se moins d'attention » penchera dans ce chapitre sur les capacités techniques actuelles de l'organi- (Worthen, Sanders et sation parce que cette étape se concentre sur les dimensions méthodolo- Fitzpatrick, 1997, p. 407). giques de l'accumulation des données, de l'évaluation et de la préparation des analyses et des rapports. Ce chapitre se concentre spécifiquement sur la présentation des résul- tats et aborde les questions suivantes : (a) les usages des données obte- nues lors du suivi et de l'évaluation ; (b) les auditoires et la façon de viser ces auditoires avec l'information appropriée ; (c) la présentation claire et compréhensible des données de performance ; et (d) les mauvais résultats de performance. *MEP corrigée finale-3 2/3/06 8:43 AM Page 122 122 Vers une culture du résultat L'utilisation des données obtenues lors du suivi et de l'évaluation Les rapports de suivi et d'évaluation jouent divers rôles et l'information produite peut : · démontrer la responsabilité des dirigeants, en montrant qu'ils remplis- sent les promesses faites aux citoyens et aux autres partenaires ; · convaincre, en utilisant les preuves issues des données obtenues ; · éduquer, en encourageant l'apprentissage organisationnel par la pré- sentation des données ; · comptabiliser le savoir, en l'enregistrant et en créant une mémoire institutionnelle ; · impliquer les partenaires, en les engageant dans un processus participatif; · obtenir l'appui des partenaires, en démontrant l'obtention de résultats ; · promouvoir la compréhension des projets, des programmes et des poli- tiques, en présentant les données obtenues. Les rapports d'évaluation servent à diverses fins. La raison principale de leur existence est toutefois de « livrer le message » ­ d'informer les audi- toires concernés des résultats et des conclusions issus de la collecte, de l'ana- lyse et de l'interprétation de l'information évaluative (d'après Worthen, Sanders et Fitzpatrick, 1997). Connaître et cibler l'auditoire Il est important de connaître ceux à qui l'on s'adresse et de savoir sous quelle forme ils veulent obtenir l'information. On doit tenir compte des intérêts, des attentes et des moyens de communication préférés de l'audi- « Certains appellent cela toire visé. Une stratégie de communication devrait être élaborée et se pen- "donner l'heure juste aux cher sur les questions suivantes : dirigeants", mais quelle utilité y a-t-il à donner · Qui recevra l'information ? l'heure juste si les · Sous quel format ? dirigeants n'écoutent pas ? · Quand ? À moins de trouver des · Qui préparera l'information ? façons plus efficaces · Qui diffusera l'information ? d'amener nos auditoires à Tout au long du processus visant à déterminer les résultats du suivi et de nous écouter, tout notre l'évaluation, il est important de s'assurer que chacun est informé des progrès bon travail risque de ne et qu'il n'y a pas de surprises. Pour que le système d'information puisse four- rien donner. La façon de nir une rétroaction continue sur la performance, il faut alimenter une com- présenter les résultats fait munication permanente. Les résultats du suivi et de l'évaluation devraient parfois la différence entre être continuellement diffusés pour fournir une rétroaction aux décideurs. créer quelques remous et Des communications informelles (par téléphone, courriel, télécopieur, lors de faire sensation » conversations) ou formelles (réunions d'information, présentations, rapports (Wholey, Hatry et écrits) doivent faire partie de la stratégie générale de communication. Newcomer, 1994, p. 549). Les données devraient être présentées d'une façon succincte et précise et refléter les intérêts de l'auditoire cible. Seules les données les plus *MEP corrigée finale-3 2/3/06 8:43 AM Page 123 Étape 8. Présenter les données obtenues 123 importantes devraient être présentées. « Un... rapport [sur les données obtenues] ne peut évidemment pas être bien ciblé sans une définition claire de son auditoire et des types de questions que cet auditoire est susceptible de soulever à propos des résul- tats » (Worthen, Sanders et Fitzpatrick, 1997, p. 409). Si les auditoires sont nombreux ­ ceux qui sont impliqués aux stades du projet, du pro- gramme et de la politique ­ les données pourraient devoir être présentées et formatées différemment selon les intérêts et les préférences de chaque auditoire. La stratégie de communication devrait tenir compte des défis soulevés par la transmission des résultats à différents partenaires. De plus, «on devrait obtenir l'aval des principaux participants avant de formellement présenter le rapport. Cela permettra d'éviter les erreurs et garan- tira également que plusieurs points auront été informellement réglés sans avoir à subir les désagréments de confrontations [plus tard]...» (Valadez et Bamberger, 1994, p. 437). Les données de performance seront assurément utilisées de plusieurs façons. On peut imaginer ces usages comme des cercles concentriques, l'auditoire cible formant le cercle central, les autres représentant ceux qui sont moins directement touchés. « Les évaluateurs restreignent souvent l'utilisation des données d'évaluation aux questions [...] sous enquête. L'information recueillie peut avoir, et a généralement, un sens et des usages pour d'autres membres de l'organisation, à des fins qui dépas- sent de beaucoup l'intention de l'évaluation originale » (Wholey, Hatry et Newcomer, 1994, p. 578). Conséquemment, on devrait anticiper une diffusion des résultats de performance à un auditoire plus large. On constate habituellement que plus on est haut dans la hiérarchie, moins on a besoin de détails et d'explications poussées ; des données agrégées, succinctes et qui touchent directement l'enjeu étudié seront plus appropriées. Pour cette raison, les séances d'information personnalisées ­ en particulier avec des responsables de haut niveau ­ s'avèrent un autre moyen efficace pour communiquer les résultats de per- formance. Plus bas dans la hiérarchie des gestionnaires, on exige probablement davantage de données de nature opérationnelle. Les « dépotoirs de données » imposants ont des effets contre-productifs. Mieux vaut savoir ce que veulent les décideurs et leur fournir l'information dans le format avec lequel ils sont le plus à l'aise. Cela peut exiger de modifier l'information pour l'adapter au format privilégié par chacun des décideurs et des utilisateurs. Les décideurs rechercheront peut-être certaines indications montrant qu'il est nécessaire de poser un geste en réponse aux résultats. Ils seront également intéressés à connaître les options disponibles (incluant les coûts, les avantages et désavantages, etc.) en ce qui concerne les réactions aux résultats de performance tout au long du processus de suivi et d'évaluation. De plus, il est important de souligner les répercussions des actions recommandées tout au long du processus de suivi et d'évaluation. «Il est rarement suffisant de sim- plement recommander d'entreprendre certaines actions. Les responsables voudront habituellement avoir une meilleure compréhension des implications de leur action. Les évaluateurs prévoyants vont anticiper ce besoin et fournir, lorsque c'est possible, les meilleures estimations (ou peut-être une échelle d'estimations) à la fois sur les coûts et les conséquences des recommandations» (Wholey, Hatry et Newcomer, 1994, p. 563). La présentation continue de données peut et doit s'étendre aux conseils pour guider les décideurs dans la mise en oeuvre des recommandations. *MEP corrigée finale-3 2/3/06 8:43 AM Page 124 124 Vers une culture du résultat Sur le plan du travail complémentaire et de la rétroaction, on peut envisa- On doit rendre compte des ger la mise en place d'un processus politique rassemblant les partenaires et données de performance les évaluateurs pour discuter des résultats, des leçons à tirer, des solutions de en les comparant à des rechange, et des étapes à venir. Il serait également utile d'« ...obtenir des données antérieures et aux réactions périodiques de la part des principales parties prenantes telles que données témoins. les élus, les donateurs et le public... concernant l'utilité et la lisibilité des rap- ports de performance. On devrait se servir de ces réactions pour adapter les rapports à venir aux besoins de chaque auditoire » (Hatry, 1999, p. 154). Les comparaisons temporelles de données de performance sont d'une importance critique. Il n'est pas très utile de fournir des données pour seu- lement un semestre ou une année. Pour distinguer les tendances, on doit commencer avec les données témoins. Il faut toujours rendre compte des données de performance en les accompagnant des données témoins et de mesures intermédiaires pour déterminer si les progrès ont été soutenus ou sporadiques, ou si les progrès initiaux ont tous disparu. La comparaison des réalisations concrètes avec les cibles est un élément central de la présentation des résultats. Le tableau 8.1 illustre les données de départ, les mesures actuelles et les mesures cibles d'un indicateur, ainsi que les différences en pourcentage par rapport aux réalisations escomptées. Présenter les données de performance de façon claire et compréhensible Il est important de présenter des données en les comparant aux données pré- cédentes et aux données de départ. Les comparaisons dans le temps sont d'une importance critique. Les données suivantes peuvent être présentées : Tableau 8.1 La présentation des données : les réalisations concrètes versus les cibles Différence Données Mesure Cible (en points Indicateur de réalisation témoins (%) actuelle (%) (%) de %) Taux d'infection à l'hépatite (N = 6000) 30 25 20 ­ 5 Proportion d'enfants dont l'état de santé s'est généralement amélioré 20 20 24 ­ 4 Proportion d'enfants qui reçoivent quatre évaluations positives sur cinq lors de l'examen de santé 50 65 65 0 Proportion d'enfants dont l'état nutritionnel s'est amélioré (N = 14 000) 80 85 83 + 2 Source : échantillonnage, 2004. *MEP corrigée finale-3 2/3/06 8:43 AM Page 125 Étape 8. Présenter les données obtenues 125 · les dépenses ou recettes ­ les coûts et les rendements des projets, programmes ou politiques ; · les chiffres de base ­ les premières mesures, les projections approximatives, les estimations, etc. ; · les pourcentages (par exemple, le pourcentage de citoyens touchés par un projet); · les tests statistiques ; · les emplacements géographiques ; · les données démographiques ; · les échelles de satisfaction des clients ­ élevée, moyenne, faible. Les données devraient être présentées dans un format simple, clair et facilement compréhensible. Seules les données les plus importantes devraient être présentées. Il faudrait éviter les acronymes et le jargon. Un minimum d'éléments de référence devrait être fourni de façon à clarifier le contexte. Les points les plus importants devraient être présentés dès le début. Les résultats et les recommandations devraient être rattachés aux principales réalisations et à leurs indicateurs. Une annexe ou un rapport séparé peut être utilisé pour transmettre des données plus détaillées. La présentation des données se fait de quatre façons : par des rapports écrits, des sommaires, des présentations orales et des présentations visuelles. Rapports écrits Un rapport écrit qui contient une introduction (incluant la raison d'être du rapport, les questions d'évaluation, le contexte et les buts du programme) ainsi qu'une des- cription de l'évaluation (incluant le point central de l'évaluation, la méthodologie, les limites de la méthodologie, la personne qui a effectué l'évaluation, et le moment où l'évaluation a été effectuée) constitue un outil de gestion utile. Le rapport devrait présenter les données d'une façon sélective et facilement compréhensible ; organiser les données autour des questions de l'étude, des thèmes principaux ou des compo- santes du programme ; et utiliser des graphiques et des tableaux. Les conclusions devraient être clairement liées aux données sur la performance. Les résultats devraient être présentés de façon à venir appuyer les recommandations. En planifiant le temps nécessaire pour préparer l'analyse et le format de présentation, il faut accorder beaucoup de temps à la révision. On peut aussi faire appel à un révi- seur externe expérimenté pour passer en revue les résultats et le rapport préliminaire. Sommaires Les sommaires devraient être courts (une à quatre pages). Les principaux résultats et recommandations devraient y être présentés sous forme de listes à puces. Le sommaire peut renvoyer les lecteurs au rapport ou à des annexes pour plus de détails. Il doit contenir un bref survol, incluant le contexte et la raison d'être de l'étude. Il devrait aussi inclure une brève description des principales questions et méthodes de recherche. Présentations orales Des présentations orales peuvent aussi être utilisées, seules ou conjointement avec un rapport écrit. En plus de se préparer et de solliciter des réactions de nos pairs *MEP corrigée finale-3 2/3/06 8:43 AM Page 126 126 Vers une culture du résultat avant la présentation proprement dite, il faut considérer les points suivants « Les présentations lorsqu'on se prépare pour une présentation orale : visuelles de données doivent être structurées · Qui est l'auditoire ? selon les principes · Que devraient-ils retenir de la présentation ? · Combien de temps sera consacré à la présentation ? d'organisation des données · Quelles sont les ressources disponibles pour faire la présentation ? quantitatives. Lorsqu'on · Que devrait-on distribuer aux personnes présentes ? affiche des informations, le raisonnement qui Les présentations orales ­ comme les présentations écrites ­ devraient être sous-tend le graphique doit simples, claires et adaptées à l'auditoire. Il faudrait éviter le langage com- correspondre à un plexe et les données détaillées. En introduction, indiquez à votre auditoire raisonnement scientifique. de quoi il sera question pendant la présentation, faites votre exposé, puis Une perception visuelle revenez sur les principaux points à retenir en conclusion. Si possible, on claire et précise se marie peut utiliser un format interactif et solliciter des questions de l'auditoire. alors avec une réflexion claire et précise » Présentations visuelles (Tufte, 2002, p. 53). Les présentations visuelles ­ courbes, graphiques et cartes ­ peuvent souli- gner des points clés et des résultats de performance. Elles permettent d'illus- trer les directions et les tendances d'un seul coup d'oeil. Il existe une multi- tude de courbes (secteurs, flux, colonnes, séries temporelles, nuages de points, barres, champs, etc.) et de graphiques (lignes, points, barres, sec- teurs, surfaces, pictogrammes, contours, histogrammes, aires, cercles, colonnes) capables de présenter les données à l'auditoire cible. Le but des graphiques et des tableaux est de décrire, d'explorer, de classi- fier et de comparer. Les graphiques et les tableaux peuvent fournir un impact et un intérêt visuel, aider l'auditoire à comprendre et à retenir les données, et offrir une perspective d'ensemble. Les graphiques et les tableaux devraient présenter les données simplement, avec justesse et cohérence afin « La valeur de de retenir l'attention de l'auditoire. l'information diminue Les tableaux sont plus utiles pour présenter les données et souligner les chan- [souvent] rapidement à gements, les comparaisons et les relations. Les graphiques servent mieux à pré- mesure que le temps passe. senter le message. Ils sont utiles pour décrire les structures organisationnelles, Les résultats essentiels devraient donc être communiqués aussi Tableau 8.2 Un modèle de tableau pour présenter des données rapidement que possible » descriptives (Valadez et Bamberger, 1994, p. 437). L'écart entre les sexes en matière de vote Ont voté lors de la dernière élection Oui Non Hommes (N = 1 000) 75 % 25 % Femmes (N = 700) 55 % 45 % Source : échantillonnage, 2004. *MEP corrigée finale-3 2/3/06 8:43 AM Page 127 Étape 8. Présenter les données obtenues 127 montrer les courants, présenter les données sous forme de symboles, transmettre des concepts et des idées, et présenter les données numériques sous forme visuelle. Les tableaux doivent présenter les caractéristiques suivantes : · simplicité et justesse ; · des lignes et des colonnes clairement identifiées et sans abréviations ; · des pourcentages arrondis au nombre entier le plus près ; · des chiffres totaux ; · la source des données. Le tableau 8.2 de la page précédente est un exemple de tableau bien structuré qui pourrait être utilisé pour présenter des données descriptives. Les caractéristiques d'un graphique conçu de façon efficace incluent : · des caractères qui se lisent facilement et qui sont appropriés pour ce type de pré- sentation, à la fois en majuscules et en minuscules (pas tous en majuscules), et utilisant quelques polices seulement ; · aucun dessin trop complexe ; · une utilisation efficace de l'espace vide ; · la simplicité ; · des échelles qui ne faussent pas les résultats ; · suffisamment de données pour que le message soit clair ; · la source des données ; · des données additionnelles dans une annexe. Des graphiques efficaces permettent aux concepteurs de politiques et aux déci- deurs de visualiser rapidement la situation actuelle d'un projet, d'un programme ou d'une politique donné ­ y compris les tendances, les directions, les délais, les pro- blèmes, les succès et les perspectives. Les graphiques devraient être utilisés en tant qu'appui visuel pour présenter les données de façon continue. Qu'il s'agisse d'un graphique ou d'un tableau, la présentation visuelle de l'infor- mation constitue une partie importante de la diffusion des résultats. La figure 8.2 offre quelques conseils pour l'utilisation des graphiques et contient des exemples de styles de graphique. Il existe plusieurs formats de présentation, incluant les rapports écrits et les démonstrations visuelles. Il est important de connaître les préférences des utilisa- teurs et des partenaires en termes de présentation des données. Il faut également évi- ter d'utiliser des graphiques inappropriés simplement parce qu'ils sont populaires. Qu'est-ce qui arrive lorsqu'on obtient de mauvais résultats de performance ? On ne peut pas gérer une organisation en recevant uniquement de bonnes nou- velles. Un bon système de mesure de la performance vise à dévoiler les problèmes ­ et pas seulement à apporter de bonnes nouvelles. C'est là une autre dimension politique des systèmes de suivi-évaluation axés sur les résultats. Rendre compte des mauvaises nouvelles est essentiel pour distinguer le succès de l'échec. S'il est impos- sible de différencier les deux, il est probable que les deux seront récompensés par *MEP corrigée finale-3 2/3/06 8:43 AM Page 128 128 Vers une culture du résultat les gestionnaires. Un bon système de performance agit un peu à titre de signal d'alarme. Les rapports de performance devraient si possible inclure une explication des causes des réalisations déficientes et déterminer les gestes posés ou à poser pour cor- riger les problèmes (Hatry, 1999). Les messagers ne devraient pas être punis pour avoir rapporté de mauvaises nouvelles. On n'encourage pas la présentation et l'uti- lisation des résultats lorsque les gens craignent de rapporter de mauvaises nouvelles. Figure 8.2 Les principes de l'excellence graphique Edward Tufte donne des cours de preuves statistiques et de conception informationnelle à l'uni- versité Yale. Il est considéré comme l'une des principales autorités sur les façons de présenter l'in- formation de manière claire et juste. Voici quelques-unes des directives qu'il offre dans ses travaux. « L'excellence graphique se situe dans la présentation bien conçue de données intéressantes ­ c'est une question de substance, de statistiques et de conception. » « L'excellence graphique consiste en la communication d'idées complexes avec clarté, préci- sion et efficacité. » « L'excellence graphique équivaut au plus grand nombre d'idées que forme la personne qui regarde un graphique simplifié au minimum dans la période de temps la plus courte. » « L'excellence graphique est presque toujours multidimensionnelle. » « Et l'excellence graphique exige la véracité des données. » Source : Tufte, 2001, p. 51. Échantillon de graphiques pour communiquer l'information La courbe : la tendance dans le temps Les secteurs : les parties d'un tout Les barres : la distribution en pourcentage Les barres regroupées : pour comparer plusieurs items Le graphique combiné Attention de ne pas trop surcharger le graphique *MEP corrigée finale-3 2/3/06 8:43 AM Page 129 Chapitre 9 Étape 9 : Utiliser les données obtenues Figure 9.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation Après avoir examiné des façons efficaces de les présenter, on se penchera Les données obtenues via maintenant sur l'utilisation des données qui proviennent d'un système de le système de suivi et d'évaluation axé sur les résultats (figure 9.1). Ce chapitre portera sur : (a) les façons d'utiliser les données de performance ; (b) les avantages suivi-évaluation permettent de l'utilisation des données ­ rétroaction, savoir et apprentissage ; et (c) les de renseigner le processus stratégies pour partager l'information. de prise de décision. Les façons d'utiliser les données de performance L'utilisation des données pour améliorer la performance est la raison d'être principale d'un système de suivi-évaluation axé sur les résultats. L'objectif premier d'un système de suivi-évaluation n'est pas simplement de générer continuellement de l'information axée sur les résultats, mais de transmettre cette information aux utilisateurs concernés au bon moment de façon à ce que cette rétroaction les aide à mieux gérer les organisations et les gouvernements. Les données obtenues peuvent être utilisées d'une multitude de façons concrètes, comme le montre l'encadré 9.1. *MEP corrigée finale-3 2/3/06 8:43 AM Page 130 130 Vers une culture du résultat Encadré 9.1 Dix façons d'utiliser les données obtenues 1. Répondre aux demandes des responsables élus et du public qui exigent davantage de responsabilité. 2. Aider à formuler et à justifier les requêtes budgétaires. 3. Alimenter les décisions sur l'affectation des ressources opérationnelles. 4. Provoquer un examen en profondeur des problèmes de performance existants et des cor- rections exigées. 5. Motiver le personnel pour qu'il continue à améliorer le programme. 6. Formuler et surveiller la performance des fournisseurs et des organismes subventionnés. 7. Fournir des données pour des évaluations spéciales et rigoureuses des programmes. 8. Fournir les services plus efficacement. 9. Appuyer les efforts de planification stratégique et à plus long terme en fournissant des don- nées de départ et en permettant de suivre les progrès subséquents. 10. Mieux communiquer avec le public de façon à susciter la confiance. Source : Hatry, 1999. En ce qui concerne la formulation et la justification des requêtes bud- On crée un climat de gétaires, l'information sur la performance peut soutenir des décisions confiance lorsqu'on invite menant à des hausses de budget ­ ou à des réductions. Les projets, pro- les partenaires à coopérer grammes et politiques peuvent être améliorés ou élargis sur la base des avec le gouvernement. informations sur la performance ; ils peuvent de la même façon être réduits ou entièrement éliminés. Les gestionnaires ont aussi l'option d'offrir des incitations (monétaires ou non monétaires) aux membres du personnel pour une bonne performance, ou des sanctions (telles que des évaluations négatives) pour une performance qui ne comble pas les attentes. On observe une plus grande motivation du personnel pour la mise en place du système lorsque les fonctionnaires sont engagés en tant que partenaires dans les entreprises du gouvernement. Les employés dans tout le système comprennent mieux et deviennent plus enthousiastes par rapport à leur contribution lorsqu'ils voient le lien entre leurs propres actions et l'objectif à atteindre. Dans certains pays membres de l'OCDE (l'Australie et la France par exemple), les gestionnaires ont plus de flexibilité sur le plan des opérations en échange d'une plus grande responsabilité. L'Australie offre l'exemple d'une gestion efficace de la performance des fournisseurs et des organismes subventionnés. En Australie, les contrats de performance avec les agences spécifient qu'aucun fonds en provenance du budget annuel ne sera alloué jusqu'à ce que les contrats aient été éva- lués et les résultats vérifiés. Dans d'autres cas, « Si l'agence attribue des contrats ou accorde des subventions à d'autres organisations pour rendre des services aux clients, elle peut inclure des cibles de performance axées sur les réalisations dans les ententes puis comparer les réalisations avec *MEP corrigée finale-3 2/3/06 8:43 AM Page 131 Étape 9. Utiliser les données obtenues 131 ces cibles » (Hatry, 1999, p. 170). Des récompenses et des sanctions basées sur la performance peuvent aussi être spécifiées dans ces contrats. S'il n'existe aucune donnée pour appuyer les décisions, celles-ci s'avéreront arbitraires. Les décideurs détiennent tout de même un certain pouvoir discré- tionnaire en matière de décisions. Mais la prise de décision sera mieux fondée si l'on prend le temps de surveiller, mesurer, évaluer et intégrer les données obte- nues au processus. Il est intéressant de noter que si l'on exige de l'information sur la performance, il en résultera une meilleure performance. Il existe d'autres usages pour les données obtenues, parmi lesquels on trouve : déterminer les meilleures pratiques, appuyer les économies d'échelle, éviter les che- vauchements et coordonner des programmes similaires au sein de plusieurs agences (Wye, 2002, p. 49). Les encadrés 9.2 et 9.3 illustrent quelques exemples d'utilisation des données sur la performance. Encadré 9.2 L'utilisation de données pour surveiller et réduire la criminalité à New York Au cours des dix dernières années, le service de police de la Ville de New York a utilisé un sys- tème spécial de suivi-évaluation axé sur les résultats pour dresser le portrait des crimes violents qui surviennent quotidiennement. « CompStat est un système sophistiqué de mesure de la per- formance qui réorganise les opérations quotidiennes d'une organisation ainsi que son orienta- tion générale vis-à-vis sa mission centrale et ses objectifs. CompStat se fonde sur la compilation, la distribution et l'utilisation de données en "temps réel" afin de permettre aux gestionnaires sur le terrain de prendre des décisions mieux éclairées et plus efficaces » (O'Connell, 2001, p. 6). Comme l'a noté l'ancien maire de New York Rudolph Giuliani, « Nous avons 77 districts poli- ciers. Chaque nuit, ils enregistrent tous les fichiers sur les crimes qui ont été commis dans le dis- trict ainsi que plusieurs autres données. Nous enregistrons le nombre de plaintes venant du public. Nous enregistrons le nombre d'arrestations faites en lien avec des crimes sérieux et moins sérieux. Tout cela fait partie de CompStat, un programme informatique qui permet de garantir la responsabilité des dirigeants. Le but est de voir si la criminalité est en hausse ou en baisse, non seulement dans toute la ville mais aussi dans chaque quartier. Et si la criminalité augmente, on peut réagir immédiatement ­ pas un an et demi plus tard lorsque le FBI dévoile ses statistiques sur la criminalité... Maintenant, nous pouvons le savoir le jour même. Et nous pouvons prendre des décisions stratégiques en conséquence » (O'Connell, 2001, p. 9). À cause de cela, sur une période de cinq ans, « la ville de New York a connu une baisse spec- taculaire du nombre de cambriolages (53 %) et du nombre de vols rapportés (54 %), ainsi qu'une chute incroyable du nombre de meurtres (67 %)... Ces réalisations extraordinaires ont été atteintes en grande partie grâce au modèle innovateur de gestion du service de police, connu sous le nom de CompStat » (O'Connell, 2001, p. 8). Le résultat global de l'utilisation de ce système axé sur les résultats en temps réel a été que « la ville de New York détient maintenant le titre incontesté de la grande ville la plus sécuritaire du pays... » (NYC.gov, 2003). Sources : O'Connell, 2001 ; NYC.gov, 2003. *MEP corrigée finale-3 2/3/06 8:43 AM Page 132 132 Vers une culture du résultat Encadré 9.3 Le ministère américain du Travail ­ une organisation qui possède un système de suivi-évaluation axé sur les résultats bien développé et fonctionnel Le ministère américain du Travail est une organisation qui possède un système de suivi-évalua- tion axé sur les résultats bien développé et fonctionnel. Les efforts de développement du sys- tème ont été suscités par l'adoption du Performance Results Act par le gouvernement américain en 1993 (voir encadré 10.2). Le ministère a défini une mission, une vision, un plan stratégique et trois principaux objectifs stratégiques : une main-d'oeuvre bien préparée, une main-d'oeuvre bien protégée et des lieux de travail de qualité. Le ministère a ensuite établi trois réalisations correspondantes pour chacun de ces trois objectifs stratégiques. Objectif stratégique : 1. Une main-d'oeuvre bien préparée Réalisations: a. accroître le nombre d'emplois, les revenus et l'appui aux travailleurs b. accroître le nombre de jeunes qui accèdent avec succès au marché du travail c. améliorer l'information et l'analyse sur l'état de l'économie américaine Objectif stratégique : 2. Une main-d'oeuvre bien protégée Réalisations : a. accroître le taux de conformité avec les lois sur la protection des travailleurs b. protéger les avantages sociaux des travailleurs c. accroître le nombre d'emplois et les revenus des travailleurs recyclés Objectif stratégique : 3. Des lieux de travail de qualité Réalisations : a. réduire le nombre de blessures, de maladies et d'accidents mortels au travail b. encourager l'égalité des chances sur les lieux de travail c. diminuer l'exploitation du travail des enfants, protéger les droits fondamentaux des travailleurs et renforcer le marché du travail Des budgets annuels sont attribués à chacun de ces objectifs stratégiques et sont par la suite comparés aux dépenses qui ont été effectuées. Le ministère du Travail effectue ensuite un examen biannuel de chacun des objectifs straté- giques en y incluant l'information suivante : Résultats: Les plus récents résultats disponibles sur la performance. Indicateur : Les mesures utilisées pour estimer le progrès accompli vers l'atteinte des objectifs de performance. Source des données : Les systèmes de mesure utilisés pour recueillir les données de l'indicateur de performance. Point de comparaison : L'année de départ et le niveau de départ en comparaison duquel le progrès est évalué. Commentaire : Des questions liées à l'atteinte des objectifs, aux systèmes de mesure et aux stratégies qui fournissent un contexte ou une description des objectifs ou des indicateurs de performance. Source : ministère américain du Travail, 2002. *MEP corrigée finale-3 2/3/06 8:43 AM Page 133 Étape 9. Utiliser les données obtenues 133 Les avantages additionnels de l'utilisation des données : rétroaction, savoir et apprentissage Les systèmes de suivi-évaluation fournissent une importante rétroaction concernant le progrès, les succès ou les échecs des projets, programmes et politiques, tout au long de leur cycle de vie respectif. Ces systèmes consti- tuent un puissant outil de gestion publique que les décideurs peuvent utiliser pour améliorer la performance et prouver leur responsabilité et leur trans- parence en ce qui a trait aux résultats. Voici l'une des façons de considérer la rétroaction en provenance du suivi-évaluation dans un contexte de déve- loppement : « La rétroaction suscitée par l'évaluation est définie au sens large comme un processus dynamique impliquant la présentation et la diffusion de l'information évaluative dans le but de garantir son application dans des activités de développement nouvelles ou existantes... la rétroaction, comme « Un cadre de suivi et processus distinct de la diffusion des résultats de l'évaluation, vise à s'assu- d'évaluation qui génère un rer que les leçons tirées de cette expérience sont intégrées aux nouvelles opé- savoir, encourage rations » (OCDE, 2001, p. 60). l'acquisition de L'utilisation des résultats du suivi-évaluation contribue à promouvoir le connaissances et guide savoir et l'apprentissage au sein des gouvernements et des organisations. La l'action est en soi un communauté de l'aide internationale met de plus en plus l'accent sur l'ac- moyen important de quisition locale du savoir, plutôt que sur le transfert de connaissances du développer les capacités et donateur vers le bénéficiaire. Que signifie exactement « l'apprentissage » de soutenir des réalisations dans un contexte de suivi-évaluation axé sur les résultats ? « On décrit l'ap- nationales » prentissage comme un processus continu et dynamique d'étude dans lequel (PNUD, 2002, p. 76). les éléments clés sont l'expérience, le savoir, l'accès et la pertinence. Cela exige une culture de recherche et d'enquête, plutôt qu'une culture qui pri- vilégie les réponses et la diffusion de données » (PNUD, 2002, p. 77). Le savoir et la gestion du savoir sont d'autres aspects importants de l'uti- lisation des données de performance. L'utilisation des données sur une base continuelle peut générer de nouvelles connaissances. La gestion du savoir signifie l'intégration des données, l'institutionnalisation de l'apprentissage et l'organisation de l'immense quantité d'information produite par le sys- tème de suivi-évaluation. Les systèmes et les unités de suivi-évaluation axés sur les résultats possè- dent une capacité spéciale de contribuer au processus d'acquisition de connaissances. Lorsqu'ils sont utilisés efficacement, les systèmes de suivi- évaluation constituent une forme institutionnalisée d'acquisition de connaissances. « L'apprentissage doit donc être incorporé dans le cycle glo- bal de programmation par l'entremise d'un système efficace de rétroaction. L'information doit être diffusée et mise à la disposition des utilisateurs potentiels de façon à devenir un savoir appliqué... L'apprentissage est aussi un outil crucial de gestion et la stratégie d'application du savoir évaluatif est ainsi un moyen important de progresser vers les réalisations... Les réalisa- tions présentent d'autres variables qui peuvent et doivent susciter d'autres apprentissages » (PNUD, 2002, p. 75-76). *MEP corrigée finale-3 2/3/06 8:43 AM Page 134 134 Vers une culture du résultat Il est important d'institutionnaliser l'acquisition du savoir au sein des gouvernements et des organisations. L'évaluation des politiques et des programmes devrait jouer un rôle systématique plutôt que ponctuel dans le processus d'apprentissage organisation- nel. On doit favoriser un environnement politique qui encourage la présentation et l'uti- lisation continuelles des données. Un certain niveau d'institutionnalisation doit ainsi être atteint avant que les données puissent être utilisées dans la gestion des institutions de l'État. L'apprentissage organisationnel demeure un moyen fertile et prometteur pour le secteur public d'améliorer la performance. L'encadré 9.4 explique comment les agences d'aide allemandes ont de plus en plus recours à l'acquisition du savoir par le biais de l'évaluation. Il est probable que des gouvernements et organisations résistent encore à l'idée qu'il faille apprendre, internaliser et partager les données sur la performance dans et entre les ministères, les organisations, les agences et les départements. On doit reconnaître qu'il existe encore plusieurs défis organisationnels et politiques à sur- monter, sans compter les barrières posées par les attitudes qui demeurent ancrées parmi le personnel. L'encadré 9.5 examine certains des obstacles à l'apprentissage. Encadré 9.4 Des signes d'amélioration dans l'acquisition du savoir grâce à l'évaluation dans les agences d'aide allemandes · La structure diversifiée de collaboration au développement de l'Allemagne est sur la voie d'une plus grande concentration sur des enjeux, des priorités et des pays particuliers. On remarque aussi une tendance vers la décentralisation. · Les agences d'aide allemandes se perçoivent plus que jamais comme des organisations fon- dées sur l'acquisition du savoir, et elles ont commencé à restructurer leurs systèmes de ges- tion en conséquence. On s'attend à ce que les systèmes d'évaluation jouent un rôle clé dans cette évolution et on leur a accordé une plus grande priorité ainsi qu'une plus grande indé- pendance institutionnelle. · La qualité de l'évaluation s'améliore. Des méthodes plus sophistiquées, une orientation plus marquée vers l'impact et un plus grand nombre d'évaluations qui ne se limitent pas à un projet unique font tous en sorte qu'à l'avenir, on produira une grande part du savoir qui est nécessaire autant pour l'amélioration de la qualité que pour l'avancement conceptuel du travail de collaboration au développement, tout comme pour une plus grande responsabi- lisation externe. · Les agences d'aide croient elles-mêmes qu'il est important d'accroître leurs efforts pour sys- tématiser et institutionnaliser leur système de rétroaction en vue d'une meilleure acquisi- tion du savoir et d'une plus grande responsabilité. · Les agences d'aide perçoivent la nécessité de promouvoir davantage l'internalisation des leçons de l'évaluation, en adoptant une approche plus systématique et innovatrice. Certaines étudient présentement la possibilité d'inclure ceci dans un système global de ges- tion du savoir. · ... un coup de pouce substantiel a été donné à l'acquisition horizontale du savoir parmi les agences d'aide allemandes au cours des dernières années. Source : OCDE, 2001, p. 19. *MEP corrigée finale-3 2/3/06 8:43 AM Page 135 Étape 9. Utiliser les données obtenues 135 Encadré 9.5 Les obstacles à l'apprentissage L'OCDE a décelé plusieurs obstacles qui peuvent empêcher l'apprentissage : La culture organisationnelle. Certaines organisations possèdent une culture où la responsabilité tend à être associée avec le blâme. Cela a pour effet de décourager l'esprit d'ouverture et l'ap- prentissage. Dans d'autres organisations, on accepte mieux de reconnaître ses erreurs et de les voir comme des occasions d'apprendre, parce qu'on reconnaît qu'il y a souvent autant à apprendre d'un projet caractérisé par une performance déficiente que d'un autre qui s'est avéré un succès. La pression pour dépenser. Apprendre nécessite du temps, et la pression pour atteindre les cibles de dépenses peut inciter les personnes à prendre des raccourcis lors de la planification des projets. Les leçons tirées des expériences précédentes sont ignorées ou appliquées seulement de façon sélective dans leur précipitation à approuver les décisions. Le manque d'incitations à apprendre. À moins qu'une responsabilisation appropriée ait été intégrée au cycle du projet, il pourrait n'y avoir que peu d'incitations à apprendre. C'est parti- culièrement le cas lorsque le personnel ou les consultants changent de tâches continuellement. Ils passent habituellement à autre chose bien avant que les conséquences négatives d'une défi- cience dans l'apprentissage se fassent sentir. Une vision étriquée. Certains membres du personnel ou des unités opérationnelles ont ten- dance à s'emprisonner dans leur routine, en continuant de faire ce qu'ils font depuis toujours, alors même que les défauts de la vieille approche familière sont déjà largement connus. La perte de mémoire institutionnelle. Une rotation fréquente du personnel, une forte dépen- dance envers des consultants à court terme, l'affaiblissement ou la dissolution des départements de spécialistes, peuvent provoquer une perte de mémoire institutionnelle. L'insécurité et la vitesse du changement. Si les membres du personnel sont inquiets ou confus en ce qui a trait à leurs objectifs, ou si les priorités du département changent fréquemment, cela peut entraîner des effets négatifs sur l'apprentissage. La nature inégale de la relation d'aide. La nature inégale de la relation d'aide tend à placer les donateurs dans une position de leadership, ce qui entrave le développement d'un réel par- tenariat et le partage du savoir dans les deux sens. Source : OCDE, 2001, p. 20-21. De bons systèmes de suivi-évaluation peuvent contribuer à surmonter ces obstacles. En produisant un flot continu de réactions et de données, les systèmes de suivi- évaluation aident les décideurs à gérer plus efficacement. Les cultures organisation- nelles peuvent être transformées par l'utilisation de systèmes de suivi-évaluation. Les pressions à dépenser diminuent à mesure que les gouvernements reçoivent des don- nées qui leur permettent de gérer la distribution des ressources. Les systèmes de suivi- évaluation fournissent également des incitations à apprendre, permettant ainsi d'in- diquer les directions, les tendances, les succès et les problèmes. On peut surmonter les limites d'une vision étriquée à mesure que les résultats jet- tent une nouvelle lumière sur des domaines qu'on ne connaissait pas ou qui étaient mal compris. On peut aussi minimiser la perte de mémoire institutionnelle provo- quée par les roulements de personnel parce que les systèmes de suivi-évaluation, lorsqu'ils sont bien entretenus, conservent les données antérieures. Enfin, le change- ment peut être géré plus facilement lorsqu'on bénéficie d'une rétroaction continue. *MEP corrigée finale-3 2/3/06 8:43 AM Page 136 136 Vers une culture du résultat On peut également surmonter les obstacles en observant et en redressant au besoin la méthode d'apprentissage des gouvernements et des organisations. Il existe des façons d'encourager une utilisation plus intensive des résultats de performance par l'apprentissage et l'accumulation de savoir dans les gouvernements et les orga- nisations (encadré 9.6). Des stratégies pour partager l'information «La communication doit faire partie de la planification du système de suivi-évaluation dès le début» (FIDA, 2002, p. 6-7). Une bonne stratégie de communication est essen- tielle pour diffuser l'information et la partager avec les principaux partenaires. L'information axée sur les résultats doit être partagée avec tous les partenaires et les parties intéressées, internes et externes. « Un travail complémentaire vigoureux [nous soulignons] est nécessaire pour mettre en oeuvre les recommandations... et pour inté- grer les leçons tirées de l'expérience aux processus futurs de prise de décision... Plus les partenaires sont impliqués dans la planification des étapes à venir, plus ils seront susceptibles de poursuivre jusqu'au bout la mise en oeuvre des recommandations issues de l'évaluation» (UNPF, 2002). On peut également recourir à des stratégies de partage de l'information qui visent à atteindre des partenaires spécifiques. Dans ce contexte, il convient «d'adapter les règles et les ressources existantes de présentation des données à de nouveaux usages et de nouveaux formats» (Wye, 2002, p. 55). Encadré 9.6 Apprendre, accumuler du savoir et utiliser intensivement les résultats de performance Les gouvernements et les organisations peuvent adopter des mesures proactives pour encoura- ger le personnel à apprendre, à accumuler du savoir et à utiliser les résultats de performance. Voici quelques exemples : · Développer du matériel d'orientation sur l'utilisation de l'information évaluative. · Former les gestionnaires et les autres membres du personnel sur l'utilisation de l'informa- tion évaluative. · Discuter en groupe de la situation avec le personnel peu après la publication de chaque rap- port de performance. · Récompenser les départements, les organismes subventionnés et les installations ayant une bonne performance. · Développer des directives sur l'allocation de subventions qui récompensent une perfor- mance améliorée. · Utiliser les données sur la performance pour déterminer les bonnes pratiques au sein de l'agence. · Utiliser les données sur la performance pour déceler les problèmes courants et, si possible, des solutions. · Utiliser l'information évaluative pour déterminer les besoins en formation pour le person- nel ou l'assistance technique. · Utiliser l'information évaluative pour prioriser l'utilisation des ressources. Source : Hatry, Morley, Rossman et Wholey, 2003, p. 16-17. *MEP corrigée finale-3 2/3/06 8:43 AM Page 137 Étape 9. Utiliser les données obtenues 137 L'utilisation de l'information évaluative peut prendre des formes passives ou actives (encadré 9.7). « L'information sur la Bien comprendre l'auditoire visé est la clé du succès. Les stratégies de performance améliore communication doivent être adaptées pour se conformer aux besoins des grandement la auditoires spécifiques qu'on vise à atteindre ­ le Parlement, les ministres, les performance du médias, le secteur privé, les ONG, les organisations de la société civile et le gouvernement si elle est public en général. « La divulgation de résultats évaluatifs négatifs ou communiquée efficacement controversés peut évidemment entraîner des difficultés pour les agences... aux partenaires, y compris Mais... les avantages à long terme indiquent que cela en vaut la peine de les aux citoyens » dévoiler... Une divulgation plus large peut aussi accroître la pression pour (Wye, 2002, p. 53). faire un suivi plus systématique des recommandations, tout en motivant ceux qui sont impliqués dans l'évaluation à faire un meilleur produit, puis- qu'ils savent que leur rapport sera rendu public au lieu d'être oublié quelque part sur une tablette » (OCDE, 2001, p. 26). Les gouvernements et les organisations peuvent utiliser une vaste pano- plie de stratégies pour partager l'information avec les partenaires internes et Encadré 9.7 Des façons actives et passives d'utiliser l'information évaluative Il est absolument essentiel que l'information évaluative soit utilisée. Il ne suffit pas de simple- ment fournir l'information aux utilisateurs potentiels au sein du gouvernement ­ les gestion- naires et les agences responsables de la supervision. La transparence accrue liée à la publication de l'information sur la performance ne suffit pas non plus. Les pays utilisent différentes approches ­ actives ou passives ­ pour s'assurer que l'information est utilisée. Les mesures plus actives incluent les examens formels (des rencontres régulières pendant lesquelles la performance est évaluée), la supervision d'un gestionnaire en chef (soit comme res- ponsable de l'examen formel ou directement en surveillant les résultats de performance qui diver- gent de ce qu'on attend) et les récompenses monétaires (en général, une reconnaissance publique accompagnée d'un prix ou d'une distinction honorifique). Plusieurs de ces mesures sont adoptées en même temps pour obtenir un plus grand impact. Le projet de «High-Impact Agency Initiative» de l'ancien vice-président américain Al Gore, de même que les bilans de performance effectués aux six mois par le bureau du premier ministre britannique, sont des exemples d'approches actives. Les mesures passives incluent les contrats de performance (des accords formels entre gestion- naires et membres du personnel sur des cibles à atteindre, impliquant un bilan formel à la fin du contrat), la pression des pairs (une fiche de performance pour chaque unité distribuée à tous de façon à ce que les unités puissent facilement être comparées), la désapprobation ou l'appui du public, et les incitations financières (on peut susciter l'espoir d'obtenir des bénéfices moné- taires si la performance s'améliore ou si les cibles sont atteintes de diverses façons : sur une base individuelle en couplant le salaire ou les primes des gestionnaires supérieurs à la performance organisationnelle, ou sur une base collective en couplant les salaires et les primes de tous les membres d'une organisation à la performance organisationnelle, ou encore en cherchant à lier le budget de l'organisation à sa performance). Ces mesures sont « passives » dans le sens où elles entraînent la mise en place d'une structure, mais ne garantissent pas que des gestes visant la performance seront posés pour influencer les décisions. Source : Dorotinsky, 2003a. *MEP corrigée finale-3 2/3/06 8:43 AM Page 138 138 Vers une culture du résultat externes. Ces stratégies impliquent différents médias capables de diffuser l'informa- tion sur la performance. Permettre aux médias de faire leur travail Les médias s'avèrent des partenaires importants pour diffuser les résultats obtenus par les systèmes de suivi-évaluation axés sur les résultats. Par exemple, les médias signalent souvent si les gouvernements ou les organisations ont rempli leurs pro- messes de mettre sur pied des projets, des programmes, des politiques et des services. Les médias ont aussi joué un rôle décisif dans plusieurs pays en dévoilant la cor- ruption et en appelant à une meilleure gouvernance. Adopter une loi sur l'accès à l'information L'accès à l'information est un autre puissant outil qui permet de partager l'informa- tion avec les partenaires concernés. Par exemple, le gouvernement roumain a récem- ment adopté une loi sur l'accès à l'information qui stipule que quiconque demande de l'information sur la performance du gouvernement la recevra, sauf lorsqu'il s'agit d'information qui pourrait compromettre la sécurité du pays (Banque mondiale, 2001d). Mettre en place une administration en ligne L'administration en ligne est un outil de plus en plus répandu parmi les gouvernements du monde entier, en particulier dans les pays membres de l'OCDE. L'administration en ligne implique l'utilisation des technologies de l'information pour mieux rejoindre les gens et améliorer l'accessibilité, l'information et les services. Il s'agit d'un nouvel environnement électronique dans lequel les partenaires peuvent interagir directement avec le gouvernement, obtenir de l'information, et même faire des affaires directement en ligne. Les pays en développement se préparent aussi à instaurer ce type de service. Le gouvernement de la Jordanie a par exemple lancé son programme d'administration en ligne avec l'introduction d'un service électronique de passation des marchés publics et de comptabilité. Mettre l'information sur des sites Internet internes et externes L'utilisation de sites Internet internes (ceux de l'agence ou du gouvernement) et externes qui comprennent des données sur la performance constitue une autre façon efficace de partager l'information. Plusieurs agences développent aussi des bases de données interrogeables comprenant les résultats du suivi-évaluation. Publier des rapports budgétaires annuels La publication de documents budgétaires demeure le meilleur moyen d'informer les contribuables sur les dépenses effectuées avec leur argent. Les citoyens auront ainsi l'occasion de « comparer » la qualité et le niveau des services offerts par le gouver- nement, et la priorité accordée à ces services ou programmes dans la planification des dépenses. *MEP corrigée finale-3 2/3/06 8:43 AM Page 139 Étape 9. Utiliser les données obtenues 139 Engager un dialogue avec la société civile et les groupes de citoyens Engager un dialogue avec la société civile et les groupes de citoyens implique aussi d'inclure « les auditoires qui s'intéressent à la responsabilité, qui font la promotion de causes et qui s'orientent vers l'action et... de s'entendre avec eux sur l'informa- tion (le contenu et la forme) dont ils ont besoin » (IFAC, 2002, p. 6). Renforcer la supervision parlementaire Une autre façon importante de partager et de diffuser l'information est de ren- forcer la supervision parlementaire. Beaucoup de Parlements possèdent des comi- tés actifs dans la chambre basse ou haute qui sont consacrés à l'étude du budget ou des finances publiques. D'autres agences fournissent aussi aux Parlements des rapports de surveillance, comme le Bureau général de la comptabilité (GAO) aux États-Unis, le Bureau de la vérification et de l'évaluation du Congrès, ou le Bureau national de vérification pour le Parlement britannique. Le GAO et d'autres organisations et agences gouvernementales similaires remplissent égale- ment des fonctions d'enquête pour les Parlements. Dans plusieurs pays dévelop- pés et en développement, les Parlements demandent maintenant de l'information sur la performance afin d'accomplir leur fonction de supervision (voir encadré 9.8). Ils cherchent à s'assurer que les budgets sont efficacement utilisés ; plus de gouvernements sont ainsi en voie d'adopter une planification budgétaire de type programmatique. Renforcer le rôle du Vérificateur général Plusieurs pays constatent que le Vérificateur général constitue un partenaire clé lorsque vient le temps de déterminer si les gouvernements fonctionnent de manière efficace. Il est intéressant de noter que plus les agences de vérification demandent de l'information sur la performance du secteur public et la mise en oeuvre des projets, programmes et politiques, plus cette mise en oeuvre s'améliore. Encadré 9.8 Les rapports de performance du gouvernement canadien au Parlement « Depuis 1997, le gouvernement a déposé annuellement deux séries de rapports ministériels au Parlement. Au printemps, les ministères et les agences produisent leurs Rapports sur les plans et les priorités pour l'année fiscale qui vient. À l'automne, ils envoient aux parlementaires leurs Rapports ministériels sur le rendement qui indiquent les réalisations atteintes au cours de l'an- née fiscale précédente. » Un rapport annuel, Le rendement du Canada, est produit pour le Parlement. Il contient 19 indicateurs sociétaux regroupés en quatre principaux thèmes : les ave- nues de développement économique et l'innovation au Canada ; la santé des Canadiens et des Canadiennes ; l'environnement au Canada ; et la vigueur des collectivités canadiennes. Les par- lementaires ont souligné la nécessité de présenter les données provenant de ces indicateurs de façon à ce qu'elles soient pertinentes, actuelles, accessibles, comparables et compréhensibles. Source : Président du Conseil du Trésor du Canada, 2002, p. 2-3. *MEP corrigée finale-3 2/3/06 8:43 AM Page 140 140 Vers une culture du résultat Au Canada, le Conseil du Trésor a publié un « Guide d'élaboration des cadres de gestion et de responsabilisation axés sur les résultats ». Il vise à être utilisé par les gestionnaires « ...comme plan directeur pour mesurer les résultats et en rendre compte tout au long du cycle de vie d'une politique, d'un programme ou d'une ini- tiative » (Secrétariat du Conseil du Trésor du Canada, 2001, p. 1). Partager et comparer les données de performance avec les partenaires du développement Partager et comparer les résultats avec les partenaires du développement comporte aussi des avantages à plusieurs niveaux. « Tirer des connaissances de l'information évaluative devient un processus plus large que le simple apprentissage organisation- nel et comprend aussi l'acquisition de savoir lié au développement. Cela permet de tester systématiquement la validité, la pertinence et le progrès des hypothèses de développement » (PNUD, 2002, p. 76). Depuis l'introduction des Stratégies natio- nales de réduction de la pauvreté et d'autres stratégies et politiques exhaustives, le besoin de partager l'information entre les partenaires du développement ­ en parti- culier les agences bilatérales et multilatérales ­ est devenu plus pressant. « Ces initiatives, et d'autres initiatives communes, présument qu'une action coor- donnée des agences sera plus efficace que des efforts individuels. Les mécanismes permettant aux agences d'aide d'échanger entre elles les leçons des évaluations sont cependant toujours faibles, et des obstacles pratiques continuent de mettre un frein à des évaluations communes plus fréquentes ­ qui, lorsqu'elles surviennent, sont généralement perçues comme une bonne façon de partager les leçons et les métho- dologies » (OCDE, 2001, p. 31). On pourrait partager davantage les données de per- formance avec les pays bénéficiaires. Tous les partenaires principaux ­ et particuliè- rement les pays bénéficiaires ­ doivent être impliqués tout au long du processus de suivi-évaluation. Il existe plusieurs usages pour les données de performance. Deux exemples réus- sis impliquant des données sur la criminalité et une organisation gouvernementale possédant un système de suivi-évaluation bien développé et fonctionnel ont été exa- minés. On a également vu que l'utilisation des données comporte plusieurs avan- tages, incluant une rétroaction continue et un apprentissage organisationnel et ins- titutionnel. Les obstacles à l'utilisation des données ­ dont plusieurs sont de nature politique ­ et les incitations pour les surmonter ont aussi été examinés, de même que certaines stratégies potentielles pour partager l'information entre les partenaires internes et externes. Le prochain chapitre se tourne vers la dernière étape du modèle, soit le maintien du système de suivi-évaluation au sein d'une organisation. *MEP corrigée finale-3 2/3/06 8:43 AM Page 141 Chapitre 10 Étape 10 : Maintenir le système de suivi-évaluation au sein de l'organisation Figure 10.1 Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation L'étape finale du modèle se penche sur le maintien des systèmes de suivi-évaluation axés sur les résultats. Un système de suivi-évaluation devrait être considéré comme un effort à long terme, par opposition à un effort épisodique sur une courte période ou pour la durée d'un projet, d'un programme ou d'une politique spécifique. Le maintien de tels systèmes au sein des gouvernements et des organisations doit s'appuyer sur un proces- sus à long terme qui en garantit l'utilité (puisque sans utilité, il n'y a aucune raison d'avoir un tel système). Plus spécifiquement, ce chapitre examinera: (a) six éléments cri- tiques dans le maintien des systèmes de SÉ axés sur les résultats; (b) l'importance des incitations et des désincitations dans le maintien des systèmes; (c) les obstacles possibles au maintien des systèmes; (d) la validation et l'évaluation des systèmes et de l'informa- tion qui en est issue; et (e) les changements culturels positifs au sein des gouvernements et des organisations qui adoptent le suivi-évaluation. Six éléments critiques dans le maintien des systèmes de suivi- évaluation axés sur les résultats Chacun des éléments qui contribuent à la durabilité des systèmes de suivi-évaluation nécessite une attention et un soin continus. *MEP corrigée finale-3 2/3/06 8:43 AM Page 142 142 Vers une culture du résultat La demande La durabilité et l'utilisation des systèmes Si la demande est épisodique et varie au gré des circonstances, les systèmes de de suivi-évaluation sont suivi-évaluation axés sur les résultats ne seront pas utilisés ni entretenus. Des interdépendantes. Des exigences structurées pour rendre compte des résultats, incluant des lois, des systèmes qui ne sont pas réglementations et des exigences internationales de développement (l'Initiative utilisés ne seront pas PPTE et l'adhésion à l'UE par exemple) encouragent une demande soutenue et cohérente pour de tels systèmes. Les gouvernements, la société civile et les durables. La question de donateurs souhaitent de plus en plus obtenir les résultats que les systèmes de l'utilisation doit être réglée suivi-évaluation sont le mieux à même de surveiller et de mesurer. en premier. Elle est une Dans beaucoup de cas, la demande est stimulée lorsque les objectifs stra- condition préalable à la tégiques du gouvernement sont traduits en systèmes de suivi-évaluation durabilité du système. axés sur les résultats tels que les Stratégies nationales de réduction de la pauvreté et d'autres initiatives de ce type. Ces initiatives ne sont pas uni- quement tournées vers les activités ; elles cherchent plutôt à donner une per- tinence à l'action. Dans le cas des Stratégies nationales de réduction de la pauvreté, on se questionne par exemple sur les conséquences des politiques et des programmes visant à réduire la pauvreté et à venir en aide aux groupes les plus vulnérables. Des rôles et des responsabilités clairement définis Des rôles et des responsabilités clairement définis ainsi qu'une hiérarchie organisationnelle et politique formelle doivent être établis. L'organisation et les personnes en charge de la collecte, de l'analyse et de la diffusion des don- nées sur la performance doivent être clairement spécifiées et supervisées. Par exemple, le ministère des Finances pourrait administrer une Stratégie natio- nale de réduction de la pauvreté, et fournirait des instructions aux ministères sectoriels pour recueillir et diffuser des données qui serviront à surveiller les différentes réalisations spécifiées dans la stratégie. La coordination politique interne joue un rôle clé. Il faut s'assurer que les ministères responsables des finances et de la planification aux ministères sectoriels soient liés entre eux. Ces ponts sont importants, tout comme l'est la communication horizontale qui tient toutes les parties concernées infor- mées. Si des problèmes organisationnels surviennent, il faudrait y voir le plus rapidement possible. Il est également important de mettre en place un système continu de col- lecte et d'analyse de données qui dépasse le gouvernement national et touche les autres niveaux de gouvernement. La collecte, l'analyse et la diffusion de données devraient être coordonnées dans les différents niveaux de gouverne- ment. Par exemple, dans les secteurs de la santé et de l'éducation, il sera important de se concentrer sur les niveaux local et régional puisque c'est là que se retrouvent certaines des exigences pour satisfaire aux objectifs natio- naux. L'analyse de données et la production de rapports à ces niveaux ali- menteront par la suite la base de données au niveau national pour détermi- ner les progrès accomplis en vue d'atteindre la réalisation souhaitée. *MEP corrigée finale-3 2/3/06 8:43 AM Page 143 Étape 10. Maintenir le système de suivi-évaluation au sein de l'organisation 143 Enfin, les systèmes de suivi-évaluation doivent être construits de telle façon qu'il y aura une demande pour de l'information sur la performance à chacun des niveaux où les données sont recueillies et analysées. Aucun niveau du système n'agit simplement comme un corridor dans lequel passe l'information. Les parties du système où l'in- formation ne fait que passer s'avéreront vulnérables et entraîneront l'effondrement du système. Si les gens ne s'impliquent pas, s'il n'y a pas d'appropriation, ceux qui se trouvent dans les « corridors » du système s'en désintéresseront et l'on se retrouvera avec une collecte et une diffusion des données déficientes. Une information fiable et crédible Le système de suivi-évaluation doit produire une information qui amène à la fois de bonnes et de mauvaises nouvelles. L'information sur la performance doit être trans- parente et mise à la disposition de tous les principaux partenaires. Si les débats sur les enjeux ne sont pas appuyés par une information fiable et crédible, seuls les opi- nions personnelles et les préjugés auront voix au chapitre. Ceux qui produisent l'information méritent d'être protégés des représailles poli- tiques. Si les mauvaises nouvelles ont des répercussions négatives, un climat de peur envahira le système et la fiabilité de l'information produite sera compromise. Une façon rapide de miner un système de suivi-évaluation est de punir ceux qui rappor- tent les mauvaises nouvelles. L'information produite par le système de suivi-évaluation doit être transparente et sujette à une vérification indépendante. Si les données sur la performance du gou- vernement sont difficiles à obtenir, ou si des censeurs empêchent la diffusion d'une telle information, le système ne pourra fonctionner convenablement. On recom- mande aussi que le bureau national de vérification, le Parlement ou un groupe d'uni- versitaires effectue un examen indépendant périodique de façon à s'assurer que les données générées par le système sont précises et fiable, et pour susciter la confiance parmi les gestionnaires qui utilisent les données. La responsabilité Aucune partie du gouvernement ne devrait être exemptée d'une responsabilité envers les parties prenantes. Les organisations de la société civile et les ONG (comme Transparency International) jouent un rôle clé en encourageant la transparence et la responsabilisation, et peuvent même aider à la collecte des données. Par exemple, des ONG au Bangladesh ont recueilli des données sur les conditions de l'éducation à l'échelle locale, parce que la capacité pour recueillir et rendre compte de ces données est très faible au sein du gouvernement. Les médias, le secteur privé et le Parlement ont aussi un rôle à jouer pour garantir que l'information produite est précise, fiable, fournie en temps opportun et aborde directement la question de la performance du gouvernement. Il est important de ne pas récompenser l'échec. La responsabilisation signifie que les problèmes doivent être reconnus et qu'on doit s'y attaquer. La capacité Il est nécessaire de posséder des compétences techniques appropriées dans la collecte et l'analyse des données pour assurer le maintien du système. Des compétences *MEP corrigée finale-3 2/3/06 8:43 AM Page 144 144 Vers une culture du résultat managériales dans l'établissement d'objectifs stratégiques et le développement orga- nisationnel sont également nécessaires. Les systèmes de collecte et de recherche des données doivent être fonctionnels et modernes. Les gouvernements engageront continuellement des ressources financières pour le maintien et la gestion des sys- tèmes de suivi-évaluation axés sur les résultats. L'expérience et la mémoire institu- tionnelles contribuent aussi au maintien à long terme de ces systèmes. Les incitations Il faut encourager l'utilisation de l'information sur la performance. Cela signifie que le succès doit être reconnu et récompensé, qu'il faut s'attaquer aux problèmes, que les messagers ne doivent pas être sanctionnés, que l'apprentissage organisationnel est valo- risé, et que les surplus budgétaires sont partagés. On ne peut compter sur des systèmes corrompus ou inefficaces pour produire une information et une analyse de qualité. Les encadrés 10.1 et 10.2 fournissent des exemples de façons dont les gouverne- ments intègrent et maintiennent des systèmes axés sur les résultats. Les Chartes de citoyens du Royaume-Uni et le Performance and Results Act du gouvernement améri- cain (GPRA) incorporent les éléments les plus importants pour le maintien d'un sys- tème. Les Chartes des citoyens établissent un contrat permanent entre le gouvernement et les citoyens, et ce contrat délimite les responsabilités et les attentes sur le plan de la performance. Le GPRA institutionnalise lui aussi légalement le suivi-évaluation au sein des agences gouvernementales, rendant ainsi ces systèmes plus durables à long terme. Encadré 10.1 Les Chartes de citoyens au Royaume-Uni Au Royaume-Uni, des contrats conclus entre le gouvernement et des groupes de citoyens (connus sous le nom de Citizen's Charters) spécifient que le gouvernement se porte garant d'un certain niveau de performance. Les Chartes de citoyens, lancées en 1991, visent à améliorer les services publics et à faire en sorte que les services répondent mieux aux besoins des usagers. Il existe aujourd'hui 40 chartes qui couvrent les principaux services publics et qui établissent des standards de qualité pour les services. On dénombre également plus de 10 000 chartes locales couvrant les fournisseurs locaux de services tels que les écoles, les policiers et les pompiers. De plus, des Réseaux pour la qualité des chartes (Charter Quality Networks) ont été lancés pour permettre à des gestionnaires de services publics d'échanger des idées sur les programmes, le service à la clientèle et d'autres enjeux liés à la qualité du service, de même que pour échan- ger leurs meilleures pratiques. Il existe maintenant 22 Réseaux de qualité au Royaume-Uni, aux- quels participent plus de 1500 personnes. Dans le cadre de l'initiative Pour un meilleur gouvernement (Better Government), le Bureau des chartes a mis en place une table ronde comptant plus de 5000 citoyens de partout au Royaume-Uni. Ce groupe témoin interroge les membres du public sur leurs attitudes envers les services publics et propose des idées sur les façons d'améliorer ces services. En plus du Bureau du conseil des ministres, d'autres ministères, agences et entités publiques assistent aux tables rondes pour faire des recherches et des consultations. Source : Bureau du conseil des ministres, Royaume-Uni. *MEP corrigée finale-3 2/3/06 8:43 AM Page 145 Étape 10. Maintenir le système de suivi-évaluation au sein de l'organisation 145 Encadré 10.2 Le Performance and Results Act du gouvernement américain L'évaluation de la performance aux États-Unis a débuté dans les années 1970 au sein des admi- nistrations locales, s'est étendue aux gouvernements des États, puis au gouvernement fédéral avec l'adoption du Government Performance and Results Act (GPRA) en 1993. Le gouvernement américain s'est doté d'un système de mesure de la performance après les autres niveaux de gou- vernement aux États-Unis, et plus tardivement que les gouvernements de certains pays. « Les objectifs de la loi sont : (1) d'accroître la confiance du peuple américain dans les capacités du gouvernement, en tenant les agences fédérales systématiquement responsables d'atteindre les résultats prévus pour les programmes ; (2) d'entreprendre une réforme de la mesure de la per- formance des programmes par une série de projets pilotes visant l'établissement d'objectifs pour les programmes, la mesure de la performance des programmes en regard des objectifs et la dif- fusion publique des progrès ; (3) d'améliorer l'efficacité des programmes fédéraux et la respon- sabilisation envers le public en montrant une préoccupation constante pour l'atteinte de résul- tats, la qualité du service et la satisfaction des clients ; (4) d'aider les gestionnaires fédéraux à améliorer la fourniture des services en exigeant qu'ils planifient leurs activités en vue d'atteindre les objectifs du programme, et en leur fournissant de l'information sur les résultats obtenus par les programmes et la qualité du service ; (5) d'améliorer la prise de décision au Congrès en four- nissant plus d'information objective sur l'atteinte des objectifs statutaires et sur l'efficacité rela- tive des programmes et des dépenses fédérales ; et (6) d'améliorer la gestion interne du gouver- nement fédéral » (Bureau américain de la Gestion et de la Planification budgétaire, 1993). Une récente enquête portant sur 16 programmes dans 12 agences du gouvernement fédéral a observé que «plusieurs programmes fédéraux ont déjà utilisé des données sur les réalisations pour améliorer leurs programmes... Les gestionnaires fédéraux ont utilisé les données sur les réalisations de diverses façons, [notamment] pour susciter une action corrective; pour déceler et encourager les "meilleures pratiques"; pour motiver [et reconnaître la contribution du personnel]; pour planifier et préparer le budget...» L'enquête a tout de même découvert certains obstacles à l'utilisation des don- nées sur les réalisations ­ des obstacles qui peuvent toucher n'importe quelle organisation: (a) une absence d'autorité ou d'intérêt pour effectuer des changements; (b) une compréhension limitée de l'utilisation des données sur les réalisations; (c) des lacunes dans les données sur les réalisations (par exemple, des données périmées, des données qui n'ont pas été fractionnées, un manque de spécifi- cité, la nécessité d'avoir des données intermédiaires, etc.); et (d) une peur de «créer des remous» (Hatry, Morley, Rossman et Wholey, 2003, p. 11-13). Plus récemment, l'application du GPRA a été étendue à la performance du domaine budgé- taire. Tout le gouvernement s'est également efforcé de regrouper de façon plus serrée la plani- fication stratégique et annuelle et la diffusion des données dans le cadre du GPRA. «De façon générale, on peut dire que le GPRA est une bonne affaire. Ses procédures ont fourni aux départements du gouvernement des outils de base pour mener leurs activités de façon plus judi- cieuse, en fixant des objectifs de performance et en mesurant les réalisations à court et à long termes. Toute organisation cherchant à procurer une meilleure qualité de vie, une plus grande quantité de services et une amélioration générale dans la qualité des services à ses clients doit avoir une vision et une mission, se fixer des objectifs, et mesurer les résultats» (ChannahSorah, 2003, p. 5-6). Les pays en développement construisent actuellement leur capacité d'évaluation, institutionnalisent l'évaluation et utilisent les résultats au sein du gouvernement ­ en bref, ils tentent de mettre en place des systèmes durables de suivi-évaluation. Le tableau 10.1 illustre ces efforts effectués en Colombie, en Chine et en Indonésie. *MEP corrigée finale-3 2/3/06 8:43 AM Page 146 146 Vers une culture du résultat Tableau 10.1 Le développement et l'institutionnalisation de la capacité d'évaluation ­ des enjeux auxquels la Colombie, la Chine et l'Indonésie se sont attaquées Enjeu Colombie Chine Indonésie Ancrer le régime La Constitution donne le La résolution prélimi- La responsabilité repose d'évaluation mandat à la direction de naire du Conseil d'État sur la direction par prendre le leadership. fait appel au leadership l'entremise d'un décret des Agences exécutives ministériel. centrales. Situer la fonction Centralisée au sein du Décentralisée dans les Centralisée au sein de d'évaluation ministère de la principales agences l'Agence nationale de pla- Planification nationale. centrales. nification du développe- Les principaux minis- ment (BAPPENAS). Les tères sectoriels fournis- ministères sectoriels four- sent une contribution. nissent une contribution. La portée de l'évaluation Les politiques publiques Les projets du secteur Les politiques, plans, et les principaux public. programmes et projets programmes du secteur de développement. public. Lier l'évaluation avec Le ministère de la Aucun lien formel n'a été BAPPENAS est chargé d'autres fonctions du Planification nationale établi. La Commission de lier l'évaluation au secteur public joue un rôle clé dans la d'État chargée de la pla- processus annuel d'allo- formulation des politiques nification est impliquée cation budgétaire. et stratégies et dans l'allo- dans l'affectation et le cation et le suivi des fonds suivi des ressources budgétaires. publiques. Utiliser l'évaluation dans L'information est trans- Le suivi et l'évaluation L'information provenant la prise de décisions mise aux dirigeants des contribuent à la gestion du suivi et de l'évalua- agences sectorielles et au des agences centrales. tion est transmise à BAP- ministère de la PENAS par l'entremise Planification nationale. des gestionnaires des agences sectorielles. Rendre la fonction L'évaluation est une L'évaluation est vue L'évaluation n'est pas d'évaluation plus discipline transversale comme une discipline considérée comme une professionnelle qui recoupe diverses appliquée à l'analyse profession à part, mais habiletés professionnelles socioéconomique. comme une discipline spécifiques. complémentaire. Les ressources pour Les ressources sont tirées Les ressources sont tirées Les ressources sont tirées l'évaluation des budgets des agences. des budgets des agences des budgets des agences. centrales. Note : BAPPENAS = Badan Perencanaan Pembangunan Nasional. Source : Guerrero, 1999, p. 180. *MEP corrigée finale-3 2/3/06 8:43 AM Page 147 Étape 10. Maintenir le système de suivi-évaluation au sein de l'organisation 147 L'importance des incitations et des désincitations Entretenir des systèmes de suivi-évaluation implique également d'utiliser des inci- tations appropriées pour motiver les gestionnaires et les encourager à accomplir leur tâche. « Mettre en place des incitations pour le suivi-évaluation signifie offrir des stimuli... afin que les responsables du suivi-évaluation et les principaux par- tenaires perçoivent le suivi-évaluation non comme une tâche bureaucratique, mais comme une occasion de discuter des problèmes ouvertement, de réfléchir de façon critique, de critiquer de manière constructive et d'apprendre quels change- ments sont nécessaires pour améliorer l'impact » (FIDA, 2002, Section 7, p. 4). Il existe une multitude d'incitations organisationnelles, financières, politiques, sur le plan des ressources, de l'assistance technique et de la formation qui peuvent être utilisées pour maintenir des systèmes de suivi-évaluation. De même, les ges- tionnaires doivent supprimer les désincitations à maintenir les systèmes de suivi- évaluation. Les encadrés 10.3 et 10.4 contiennent des types d'incitations et de désincitations. Les obstacles possibles au maintien des systèmes de suivi-évaluation axés sur les résultats Un certain nombre d'obstacles peuvent surgir lorsqu'on tente de maintenir des sys- tèmes de suivi-évaluation. Hatry (1999) a mis en lumière des problèmes qui risquent de survenir lors de la mise en oeuvre et du maintien de systèmes de suivi-évaluation : · des besoins en formation de personnel ; · les coûts et la faisabilité du système dans son ensemble ; · des changements dans les priorités législatives et celles de l'agence gouvernementale; · la stabilité des indicateurs dans le temps ; Encadré 10.3 Liste de vérification pour des désincitations qui entravent le suivi-évaluation participatif et axé sur l'apprentissage Les désincitations suivantes ont-elles été retirées des projets, programmes ou politiques ? · se servir de l'unité de suivi-évaluation comme endroit où reléguer le personnel rétrogradé ou non qualifié ; · ne pas spécifier clairement comment les données seront ou ont été utilisées ; · réprimander ceux qui innovent à l'intérieur des limites de leur projet ou ceux qui font des erreurs ; · concentrer l'évaluation de la performance uniquement sur les activités (les extrants) ; · transférer fréquemment les employés à différents postes ; · des employés qui se sentent isolés ou impuissants en ce qui a trait à la reconnaissance de leur contribution vers l'atteinte de l'objectif du projet ; · une attitude non constructive par rapport à ce qui constitue une participation au projet ou envers les principaux partenaires. Source : FIDA, 2002. *MEP corrigée finale-3 2/3/06 8:43 AM Page 148 148 Vers une culture du résultat Encadré 10.4 Liste de vérification pour des incitations qui encouragent le suivi-évaluation participatif et axé sur l'apprentissage Les incitations suivantes sont-elles présentes ? · une responsabilité claire pour le suivi-évaluation ; · des récompenses financières et autres : des salaires appropriés ; · un appui, tel que des ressources financières, à l'exécution des projets, programmes et politiques ; · une stratégie pour le personnel et les partenaires : embaucher du personnel ouvert à l'ap- prentissage ; s'associer avec des partenaires qui souhaitent essayer des formes de suivi- évaluation plus participatives ; · la culture d'innovation au sein des projets, programmes et politiques : complimenter et encourager ceux qui posent des questions et qui innovent, accorder un statut élevé au suivi- évaluation parmi le personnel ; · les processus d'évaluation de la performance : prêter une attention égale à la capacité des membres du personnel à apprendre et à innover, et non uniquement s'ils ont atteint leurs cibles quantitatives ; · démontrer l'utilité des données du suivi-évaluation : expliciter les données et les rendre inté- ressantes en les mettant à la portée de tous ; · rétroaction : informer ceux qui recueillent les données, les fournisseurs d'information, et d'autres personnes impliquées dans le processus sur comment leurs données ont été utili- sées (analysées), et comment elles ont contribué au projet. Source : FIDA, 2002. · la description du processus de mesure des réalisations (qui le fera) ; · la peur et la résistance des gestionnaires de programme ; · la participation des autres niveaux de gouvernement et du secteur privé ; · la coordination des réalisations entre divers projets, programmes ou sites ; · les réalisations à l'échelle d'une communauté versus celles qui concernent uni- quement un programme ; · l'appui législatif ; · des événements politiques. Les défis sur le plan des ressources humaines comptent parmi les enjeux les plus critiques de la mise en oeuvre et du maintien des systèmes de suivi-évaluation. Ces défis ne sont peut-être pas si différents de ceux auxquels font face le secteur public dans son ensemble, mais ils ont une dimension unique. Tout d'abord, recruter et conserver du personnel talentueux capable de construire et gérer un nouveau sys- tème d'information n'est pas une chose facile. Peut-on les trouver et, si oui, peut- on les embaucher ? Deuxièmement, quel est le calibre de ceux qui sont prêts à quit- ter leur position actuelle pour un poste dans une unité de suivi-évaluation ? Troisièmement, ceux qui sont embauchés sont-ils des agents de changement ? La mise en place d'un système de suivi-évaluation est un processus de changement politiquement chargé. Ceux qui sont embauchés comprennent-ils cela et sont-ils prêts à gérer un processus de changement ? Quatrièmement, pourra-t-on fournir *MEP corrigée finale-3 2/3/06 8:43 AM Page 149 Étape 10. Maintenir le système de suivi-évaluation au sein de l'organisation 149 une formation continue à tout le personnel et à tous les niveaux ? De nouvelles méthodologies, techniques et procédures seront inévitablement introduites et le per- sonnel devra s'y familiariser. Cette formation peut-elle être offerte ? De plus, compte tenu du roulement de personnel, peut-on former de nouveaux employés adéquate- ment et dans des délais suffisamment courts pour que leur productivité et leur contribution à l'unité augmentent rapidement ? Le système de suivi-évaluation devra répondre et s'adapter aux changements dans les priorités législatives et organisationnelles. Il importe de maintenir la stabilité des indicateurs dans le temps, en dépit de ces changements dans le contexte plus large de la politique et de l'environnement immédiat. On veut en effet être capable de com- parer des questions et des tendances similaires sur une période de temps donnée. La validation et l'évaluation des systèmes de suivi-évaluation et de son information Il est important de procéder à des mises à jour et à des améliorations continues pour maintenir des systèmes de suivi-évaluation axés sur les résultats. Les systèmes de suivi- évaluation doivent eux-mêmes être périodiquement évalués par des évaluateurs internes et externes. «Les évaluateurs peuvent apporter un appui au chapitre de la validation des données de performance et de l'amélioration des systèmes de mesure de la performance. Les évaluations des systèmes de mesure de la performance doivent se concentrer à la fois sur la qualité technique du système et sur l'ampleur de l'utilisation de l'information dans l'atteinte des objectifs de performance et la responsabilisation envers les principaux partenaires et le public» (Wholey, 2001, p. 345). Les évaluateurs peuvent aussi vérifier et confirmer les résultats des systèmes de suivi-évaluation. Les changements culturels positifs au sein des gouvernements et des organisations qui se tournent vers le suivi-évaluation Les systèmes de suivi-évaluation sont fondamentalement des défis politiques et, dans une moindre mesure, des défis techniques. Créer, mettre en oeuvre et maintenir des systèmes de suivi-évaluation axés sur les résultats peut susciter des changements cul- turels majeurs dans la façon dont les gouvernements et les organisations opèrent. Les systèmes de suivi-évaluation peuvent entraîner des changements culturels posi- tifs qui mèneront à une meilleure performance, à une responsabilisation et une transparence accrues, et à plus d'apprentissage et de savoir (voir encadré 10.5). Les bons systèmes doivent être utilisés de façon à assurer leur durabilité. Six élé- ments sont nécessaires pour les soutenir : une demande, des rôles et des responsa- bilités clairement définis, une information fiable et crédible, la responsabilité et la capacité. Il existe des systèmes de suivi-évaluation durables dans plusieurs pays membres de l'OCDE, et quelques pays en développement sont aussi en voie de mettre en place et de maintenir de tels systèmes. Par-dessus tout, les systèmes de suivi-évaluation axés sur les résultats sont de puissants outils de gestion publique qui facilitent les changements culturels et politiques positifs dans les gouverne- ments et les organisations, les amenant ainsi à démontrer les résultats obtenus, leur *MEP corrigée finale-3 2/3/06 8:43 AM Page 150 150 Vers une culture du résultat Encadré 10.5 Une culture évaluative et des partenariats fondés sur la collaboration renforcent les capacités des agences gouvernementales Une récente étude s'est penchée sur le développement de la culture d'évaluation dans cinq agences gouvernementales américaines : la Direction pour les enfants et les familles, la Garde côtière, le ministère du Logement et du Développement urbain, la Direction pour la sécurité routière sur les autoroutes nationales et la Fondation nationale des sciences. Les cinq agences utilisent diverses stratégies pour développer et améliorer l'évaluation. La culture d'évaluation et l'engagement institutionnel à tirer des leçons de l'évaluation ont été développés pour appuyer les débats sur les politiques et les demandes pour une plus grande responsabilisation. L'étude a observé que les éléments fondamentaux de la capacité évaluative étaient la culture d'évaluation, la qualité des données, l'expérience analytique et les partenariats. Les agences ont prouvé qu'elles possédaient une culture évaluative en évaluant régulièrement le fonctionnement des programmes. Les gestionnaires appréciaient et utilisaient cette information pour tester de nouvelles initiatives ou estimer le progrès accompli vers l'atteinte d'un objectif. Les agences insis- taient pour avoir accès à des données qui étaient crédibles, fiables et cohérentes pour s'assurer que les résultats des évaluations étaient dignes de confiance. Les agences devaient également compter sur une expérience analytique et une expertise en recherche. Enfin, les agences ont col- laboré avec des partenaires au sein des programmes et ailleurs pour avoir une meilleure emprise sur les ressources et l'expertise dans le but d'obtenir l'information sur la performance. Source : GAO, 2003. responsabilité et leur transparence. Ils facilitent également l'acquisition du savoir et l'apprentissage. Et ils sont faisables ! Quelques rappels en terminant · Le besoin de renforcer les capacités est illimité. La seule façon pour une organi- sation de descendre est vers le bas. · Gardez les champions dans votre camp et aidez-les. · Assurez-vous que le ministère des Finances et le Parlement comprennent qu'un système de suivi-évaluation a besoin de ressources en permanence. · Saisissez toutes les occasions pour lier l'information sur la performance aux décisions de planification budgétaire et d'affectation des ressources. · Effectuez d'abord des essais pilotes pour démontrer l'efficacité du suivi axé sur les résultats. Débutez par une stratégie partielle (c'est-à-dire, des îlots d'innova- tion) par opposition à l'approche pour l'ensemble du gouvernement. · Surveillez à la fois les progrès de la mise en oeuvre et l'atteinte des résultats. · Complétez le suivi de la performance par des évaluations pour garantir une meilleure compréhension des résultats générés par le secteur public. *MEP corrigée finale-3 2/3/06 8:43 AM Page 151 Chapitre 11 Le suivi-évaluation axé sur les résultats, vous et votre organisation Pourquoi adopter le suivi-évaluation axé sur les résultats ? Le suivi-évaluation axé sur les résultats s'est répandu à l'échelle planétaire depuis que les partenaires nationaux et internationaux du développement cherchent à obte- nir plus de responsabilité, de transparence et de résultats de la part des gouverne- ments et des organisations. Les agences multilatérales de développement, les gou- vernements donateurs, les Parlements, le secteur privé, les ONG, les groupes de citoyens et la société civile témoignent leur intérêt pour des résultats tangibles. L'appui politique et financier aux gouvernements et à leurs programmes est de plus en plus lié à leur capacité à mettre en oeuvre de bonnes politiques, à prouver leur efficacité dans l'utilisation des ressources et à livrer des résultats concrets. Les OMD, l'Initiative PPTE, les contributions financières de l'AID, la volonté d'adhérer à l'OMC et à l'UE, ne sont que quelques-unes des initiatives et pressions qui soutiennent le développement du suivi-évaluation axé sur les résultats. Sur le plan interne, les gouvernements sont confrontés aux défis de la déréglementation, de la commercialisation et de la privatisation de leurs fonctions, de même qu'à ceux qui découlent de budgets et de ressources incertains. Pour toutes ces raisons, les gouvernements et les organisations se tournent vers le suivi-évaluation axé sur les résultats dans l'espoir que cet outil de gestion publique les aide à élaborer les politiques appropriées, à gérer les ressources financières et autres, et à remplir leurs mandats et leurs promesses aux partenaires internes et externes. Le suivi-évaluation axé sur les résultats va au-delà du suivi-évaluation tradition- nel axé sur les intrants et les extrants. Lorsqu'il est utilisé efficacement, il permet aux concepteurs de politique et aux décideurs de se concentrer sur, et d'analyser, les réa- lisations et les impacts. Après tout, les intrants et les extrants ne nous disent pas grand-chose sur l'efficacité d'une politique, d'un programme ou d'un projet donné. Même si le suivi-évaluation traditionnel demeure un maillon important dans la chaîne du suivi-évaluation axé sur les résultats, ce sont les réalisations et les impacts qui importent le plus pour les gouvernements et leurs partenaires. Mettre en place et maintenir des systèmes de suivi-évaluation axés sur les résul- tats n'est pas une tâche facile. Cela requiert un engagement continu, des cham- pions, du temps, des efforts et des ressources. On rencontrera de nombreux défis organisationnels et techniques. Les défis politiques sont habituellement les plus *MEP corrigée finale-3 2/3/06 8:43 AM Page 152 152 Vers une culture du résultat difficiles à relever. Et plusieurs tentatives peuvent s'avérer nécessaires avant que l'on réussisse à adapter le système à la politique, au programme ou au projet d'un gou- vernement ou d'une organisation. Mais c'est faisable. Et ça en vaut certainement le coût si l'on tient compte des demandes de plus en plus répandues pour une bonne performance. Les bons systèmes de suivi-évaluation accumulent aussi un capital de connaissances en permettant aux gouvernements et aux organisations de développer une base de savoir sur les types de projets, programmes et politiques qui ont du succès ­ et, plus généralement, sur ce qui fonctionne, ce qui ne fonctionne pas, et pourquoi. Les sys- tèmes de suivi-évaluation axés sur les résultats contribuent aussi à promouvoir une plus grande transparence et une responsabilisation accrue, et peuvent avoir des impacts similaires sur d'autres sections d'un gouvernement ou d'une organisation. En bref, la mesure de la performance procure un pouvoir d'influence considérable. Plusieurs pays membres de l'OCDE détiennent plus de vingt ans d'expérience en suivi-évaluation et se retrouvent à divers stades de progrès en ce qui a trait au déve- loppement des systèmes de suivi-évaluation axés sur les résultats. Les gouverne- ments des pays membres de l'OCDE ­ tout comme leurs homologues dans les pays en développement ­ ont mis en place des cultures d'évaluation et des systèmes de suivi-évaluation en réponse à divers degrés de pression interne et externe. De plus, les pays développés ont choisi une multitude de points de départ pour mettre en oeuvre des systèmes de suivi-évaluation axés sur les résultats, incluant les approches pour l'ensemble du gouvernement, partielle et mixte. Des enquêtes récentes de l'OCDE ont observé que la plupart des pays membres de l'organisation intègrent maintenant une information sur la performance à leurs documents budgétaires. En ce qui concerne l'analyse des résultats, environ la moitié des pays distinguent les intrants des réalisations. Il reste beaucoup à faire cependant, notamment lier les cibles de performance aux dépenses et utiliser les données sur la performance pour allouer les budgets. Dans plusieurs pays membres de l'OCDE, le développement du suivi-évaluation axé sur les résultats est donc toujours en cours. Les leçons tirées de l'expérience des pays membres de l'OCDE sont utiles et appli- cables aux pays en développement, qui sont maintenant confrontés au défi de créer leurs propres systèmes et cultures de suivi-évaluation. Les pays membres de l'OCDE qui possèdent des systèmes politiques démocratiques, de fortes traditions de recherche empirique, des fonctionnaires formés dans les sciences sociales, et des niveaux élevés de dépenses en éducation, en santé et en services sociaux, sont ceux qui ont connu le plus de succès en adoptant des systèmes de suivi-évaluation axés sur les résultats. En réalité, la mise en place de tels systèmes est d'abord et avant tout une activité politique comprenant des dimensions techniques, plutôt que l'inverse. L'expérience des pays membres de l'OCDE démontre que la mise en place de systèmes de suivi-évaluation axés sur les résultats requiert des efforts continus pour atteindre un niveau d'applica- tion général dans tous les systèmes étatiques de gestion et de planification budgétaire. Les pays en développement sont confrontés à une panoplie de défis distincts en essayant de déterminer la pertinence des actions et des interventions gouverne- mentales. Ces pays peuvent se buter à des obstacles tels que l'absence de demande et d'appropriation des systèmes de suivi-évaluation, une capacité institutionnelle *MEP corrigée finale-3 2/3/06 8:43 AM Page 153 Étape 11. Le suivi-évaluation axé sur les résultats, vous et votre organisation 153 déficiente, un manque de coopération et de coordination bureaucratiques, l'absence de champions de haut niveau, des cadres légal et réglementaire déficients ou inexis- tants, une culture traditionnelle de suivi-évaluation, un manque de main-d'oeuvre qualifiée, des cultures politique et administrative qui ne favorisent pas la mise en oeuvre d'un suivi-évaluation, etc. Malgré ces obstacles, plusieurs pays en développe- ment accomplissent des progrès impressionnants dans le développement de systèmes de suivi-évaluation axés sur les résultats. Ces défis sont ardus, mais une bonne gou- vernance est essentielle au développement économique, social et humain. Les pays en développement méritent une bonne gouvernance autant que les autres pays. Enfin, le nombre croissant de partenariats internes et externes qui sont formés dans le but d'atteindre des objectifs de développement ont encouragé la mise en place de systèmes de suivi-évaluation qui intègrent ces partenariats plus larges. La coordina- tion internationale des résultats constitue la prochaine étape dans le processus évolu- tif qui consiste à élargir la portée du suivi-évaluation axé sur les résultats. Comment mettre en place des systèmes de suivi-évaluation axés sur les résultats Le modèle en dix étapes présenté ici peut aider les gouvernements et les organisa- tions à créer, développer et maintenir des systèmes de suivi-évaluation axés sur les résultats. Ce modèle peut être utilisé pour des politiques, des programmes et des projets. Même s'il apparaît visuellement comme un processus linéaire, il n'en est pas un en réalité. Il y aura inévitablement un va-et-vient entre les étapes, et l'on s'atta- quera parfois à plusieurs étapes à la fois. Le modèle contient certaines caractéristiques uniques, notamment l'Étape 3, qui consiste à effectuer un examen de l'état de préparation. Cet examen ­ souvent omis ­ est un outil diagnostique qui vise à déterminer si les gouvernements sont effecti- vement prêts et capables de mettre en place, utiliser et entretenir des systèmes de suivi-évaluation axés sur les résultats. Les trois principales sections de cet examen incluent un examen des incitations ou des demandes pour concevoir et mettre en place un système, les rôles et responsabilités, les structures déjà en place pour éva- luer la performance du gouvernement, et les besoins sur le plan du renforcement des capacités. Plus spécifiquement, l'examen de l'état de préparation aborde huit questions cruciales, soit : qui fait la promotion d'un système de suivi-évaluation ; qu'est-ce qui motive les champions ; qui s'appropriera le système et à qui bénéfi- ciera le système ; comment le système contribuera à une meilleure affectation des ressources et à l'atteinte des objectifs ; les réactions à l'information négative géné- rée par le suivi-évaluation ; la capacité existante pour appuyer un système de suivi- évaluation ; les liens entre le système et les projets, les programmes, les secteurs et les objectifs nationaux. Les examens de l'état de préparation effectués dans les pays en développement ont généré une multitude de leçons. Par exemple, le Bangladesh ne possédait que quelques-unes des caractéristiques nécessaires pour entreprendre la mise en place de systèmes de suivi-évaluation. Les examens en Égypte et en Roumanie ont toutefois mis au jour une information d'une importance vitale sur les points d'ancrage sus- ceptibles de permettre au suivi-évaluation d'être enclenché. On a observé que des *MEP corrigée finale-3 2/3/06 8:43 AM Page 154 154 Vers une culture du résultat champions politiques de haut niveau ainsi qu'un leadership politique soutenu constituaient certains des ingrédients clés dans la recette du suivi-évaluation. On a aussi découvert que des ministères se trouvaient à différents stages dans leur capa- cité d'effectuer un suivi-évaluation. Il est sans doute possible d'aller de l'avant dans la mise en place du suivi-évaluation en travaillant avec des îlots d'innovation au sein du gouvernement. La communication et la coordination entre et au sein des agences gouvernementales et des ministères, ainsi qu'entre les donateurs, sont importantes. Les pays en développement peuvent ne pas avoir encore les capacités institution- nelle, humaine et technique pour concevoir, mettre en place et utiliser les systèmes de suivi-évaluation axés sur les résultats ; cela n'est toutefois pas un obstacle insur- montable. Une assistance technique et une formation peuvent contourner ces diffi- cultés. Mais aucune assistance, aussi considérable soit-elle, ne peut remplacer la volonté politique locale. Les défis politiques sont souvent plus difficiles à surmonter que les défis techniques. La seconde étape consiste à choisir des réalisations à suivre et à évaluer. Tous les gouvernements doivent fixer des objectifs, qu'ils aient ou non la capacité d'effectuer un suivi-évaluation. Les réalisations indiquent la voie à suivre. La mise en place d'un système de suivi-évaluation est fondamentalement un processus déductif où les intrants, les activités, les extrants et les réalisations sont issus des objectifs straté- giques à long terme qui ont été fixés. De même, déterminer les réalisations est la pre- mière composante de base pour développer un cadre de performance. Les indica- teurs, les points de comparaison et les cibles découleront tous des réalisations. La mise en place de systèmes de suivi-évaluation est un processus politique parti- cipatif. Les principaux partenaires internes et externes devraient être consultés à chacune des multiples étapes du modèle ­ y compris l'examen de l'état de prépara- tion, la détermination des réalisations, l'établissement des indicateurs, etc. Il faudra identifier les parties prenantes qui jouent un rôle crucial et leurs principales préoc- cupations. Les problèmes doivent être reformulés en une série de réalisations posi- tives à atteindre. Les énoncés de réalisation doivent être fractionnés et chaque énoncé ne devrait contenir qu'un seul objectif. (Ceci devient particulièrement impor- tant lorsqu'on développe les indicateurs et les cibles.) Une entente sur les priorités et les réalisations stratégiques permettra ensuite d'agir sur l'affectation des ressources. Les indicateurs de performance clés (Étape 3) ne peuvent être déterminés qu'après avoir établi des objectifs communs. Comme dans le cas des réalisations, les intérêts de multiples partenaires doivent être pris en compte lors de la sélection des indica- teurs. Les indicateurs sont les variables quantitatives ou qualitatives qui fournissent une façon simple et fiable de mesurer le degré d'atteinte des objectifs. Comme on l'a souligné pour tous les aspects du modèle, des indicateurs devraient exister pour tous les niveaux d'un système de suivi-évaluation axé sur les résultats, c'est-à-dire que des indicateurs seront nécessaires pour surveiller continuellement le progrès sur le plan des intrants, des activités, des extrants, des réalisations et des impacts. Le progrès doit être suivi à tous les niveaux du système de façon à fournir une rétroaction sur les domaines qui fonctionnent bien, tout comme ceux où des améliorations pour- raient être nécessaires. De bons indicateurs de performance doivent être clairs, pertinents, économiques, adéquats et aptes au suivi. Chaque indicateur a besoin de son propre système de *MEP corrigée finale-3 2/3/06 8:43 AM Page 155 Étape 11. Le suivi-évaluation axé sur les résultats, vous et votre organisation 155 suivi-évaluation. Il faut donc éviter de sélectionner trop d'indicateurs. On peut adopter des indicateurs intermédiaires et préconçus ; ceux-ci impliquent toutefois des avantages et des inconvénients. Cela prend souvent plus qu'un essai pour développer de bons indicateurs. Il faut du temps pour arriver à un ensemble définitif d'indicateurs appropriés. Il est essentiel d'ef- fectuer des essais pilotes et de réfléchir longuement avant de sélectionner les indica- teurs. Il ne faudrait pas les changer trop souvent ­ cela peut créer une situation chao- tique dans le système global de collecte de données. On doit aussi garder en tête que les indicateurs de performance peuvent fournir une rétroaction continue et générer une grande quantité d'information sur la performance. Plusieurs pays en développement ont progressé sur le plan de la sélection des indicateurs de performance. Les données de comparaison, à l'Étape 4, découlent des réalisations et des indica- teurs. Un point de comparaison de la performance est fondamentalement une infor- mation ­ qualitative ou quantitative ­ qui fournit des données témoins prises au début, ou juste avant la période de suivi. Il est utilisé comme point de départ à partir duquel on surveille la performance à venir. En d'autres termes, les points de comparaison sont les premières mesures des indicateurs. Le défi est d'obtenir une information de départ adéquate sur chacun des indicateurs de performance, pour chaque réalisation. L'information de départ devrait tenir compte des huit points fondamentaux sui- vants : les sources des données, les méthodes de collecte des données, qui recueillera les données, à quelle fréquence, les coûts et les difficultés liés à la collecte, qui ana- lysera les données, qui diffusera les résultats, et qui utilisera les données. Les sources de données peuvent être primaires ou secondaires. Il existe une multitude de méthodes de collecte de données sur le continuum, des méthodes informelles et moins structurées à celles qui sont plus formelles et struc- turées. Les méthodes de collecte de données incluent des conversations avec les per- sonnes concernées, des entrevues avec les membres de la communauté, des recen- sions de dossiers officiels, des entrevues avec des informateurs clés et des observations par des participants, des entrevues avec des groupes de contrôle, des observations directes, des questionnaires, des enquêtes ponctuelles, des commissions d'enquête, des recensements et des expériences sur le terrain. Les stratégies de col- lecte de données impliquent nécessairement certains compromis sur le plan des coûts, de la précision, de la crédibilité et de l'échéancier. L'établissement de données de comparaison pour les indicateurs est d'une impor- tance cruciale pour déterminer les conditions actuelles et mesurer la performance future. Les mesures subséquentes, à partir du point de départ, fourniront des don- nées importantes sur la direction ou la tendance des changements et aideront les décideurs à déterminer s'ils sont ou non sur la bonne voie. La sélection de cibles constitue l'Étape 5. Les cibles sont des étapes intérimaires sur la route menant aux réalisations à plus long terme. Encore une fois, un proces- sus de raisonnement déductif est à l'oeuvre, dans lequel les cibles sont fondées sur les réalisations, les indicateurs et les points de comparaison. La sélection des cibles devrait aussi constituer un processus consultatif, politique et participatif impliquant les principaux partenaires. Les cibles peuvent être établies en ajoutant les niveaux souhaités d'amélioration aux niveaux de départ des indicateurs (en présumant un nombre déterminé d'intrants et d'activités). Les cibles doivent tenir compte des *MEP corrigée finale-3 2/3/06 8:43 AM Page 156 156 Vers une culture du résultat ressources (intrants) disponibles. Chaque indicateur devrait comporter une seule cible dans un cadre temporel spécifique. L'établissement des cibles est l'étape finale dans la mise en place du cadre de per- formance. Le cadre de performance devient à son tour le point de départ de la plani- fication ­ avec les implications correspondantes pour la planification budgétaire, l'af- fectation des ressources, le recrutement du personnel, etc. Les cadres de performance ont une grande applicabilité et peuvent notamment encadrer des stratégies nationales de réduction de la pauvreté ainsi que des projets, programmes et politiques. Le suivi des résultats, l'Étape 6, implique aussi bien le suivi de la mise en oeuvre (les moyens et les stratégies) que le suivi des résultats. Les principes clés de la mise en place d'un système de suivi incluent : reconnaître les besoins en information sur la performance des politiques, programmes et projets ; diffuser l'information sur la performance à la fois horizontalement et verticalement au sein de l'organisation ; déterminer la demande pour une information sur la performance à chacun des niveaux ; et déterminer des responsabilités à chaque niveau. Les principaux critères pour une collecte des données sur la performance de qualité sont la fiabilité, la justesse et l'intemporalité des données. Chaque système de suivi dépend de son appropriation, sa gestion, son entretien et sa crédibilité. Le suivi des résultats demande également une collecte des données et une analyse de l'information sur la performance. Assurer la qualité des données pourrait s'avérer un défi lors de la mise en place de systèmes de suivi. Il faut s'attendre à cela, et c'est pourquoi il est important de tester à l'avance les instruments et les procédures de collecte de données. La mise en place du cadre de suivi signifie que chaque réalisation nécessitera un indicateur, un point de départ, une cible, une stratégie de collecte de données, une analyse de données, un plan de diffusion et des utilisateurs clairement identifiés. Il est crucial d'atteindre les résultats dans le cadre de partenariats. Les moyens et les stratégies devront être établis par plusieurs partenaires. Il faut voir au-delà de sa propre unité organisationnelle lorsqu'on considère les intrants disponibles. Les par- tenariats peuvent être formés au sein de sa propre organisation ou même avec d'autres organisations au sein ou à l'extérieur du gouvernement. L'Étape 7 consiste à utiliser l'information évaluative pour appuyer un système de suivi-évaluation axé sur les résultats. Le suivi et l'évaluation sont des processus com- plémentaires, et tous les deux sont nécessaires. L'information évaluative peut servir une multitude de fins : prendre des décisions sur l'affectation des ressources ; repen- ser les causes d'un problème ; déceler les problèmes émergents ; appuyer la prise de décision lorsqu'on cherche des solutions de rechange ; appuyer les réformes dans le secteur public ; etc. L'information évaluative peut aussi s'avérer pertinente à toutes les phases du cycle de vie d'une politique, d'un programme ou d'un projet. On doit aussi se préoccuper du moment choisi pour effectuer les évaluations. L'information évaluative est essentielle lorsque : (a) les mesures régulières des prin- cipaux indicateurs indiquent qu'il existe une divergence appréciable entre la perfor- mance prévue et la performance actuelle ; (b) les indicateurs de performance mon- trent systématiquement qu'une initiative n'entraîne que des résultats décevants ou inexistants ; (c) des ressources sont affectées à des politiques, des programmes ou des projets ; (d) on observe des réalisations différentes à partir de projets, programmes ou politiques similaires. *MEP corrigée finale-3 2/3/06 8:43 AM Page 157 Étape 11. Le suivi-évaluation axé sur les résultats, vous et votre organisation 157 Il existe sept types d'évaluation : l'évaluation de l'enchaînement logique de la per- formance, l'évaluation antérieure à la mise en oeuvre, l'évaluation de la mise en oeuvre du processus, l'estimation rapide, l'étude de cas, l'évaluation d'impact et la méta-évaluation. Chacune est appropriée pour des types de questions spécifiques. Les évaluations de qualité sont caractérisées par leur impartialité, leur utilité, l'im- plication des parties prenantes, la rentabilité, une rétroaction et une diffusion des résultats, et leur conformité technique. La présentation des données obtenues, l'Étape 8, demeure une phase critique du processus. Des données et résultats sur la performance devraient être utilisés pour améliorer les politiques, les programmes et les projets. Lorsqu'on analyse et diffuse les données, plus il y a de mesures, plus on peut être certain des tendances, direc- tions et résultats. Il existe un compromis implicite entre la fréquence et la précision des mesures. Les coûts et les capacités entrent également en jeu. On doit rendre compte des données sur la performance en les comparant aux don- nées précédentes et aux données témoins. Pour mesurer et comparer par rapport aux résultats escomptés, on doit aussi être capable de comparer des circonstances pré- sentes et passées. Les données issues du suivi n'indiquent pas de causalité. Elles ne disent pas pourquoi un événement s'est produit. Il importe également de tenir compte de l'auditoire cible lorsqu'on diffuse les résultats. L'utilisation des données obtenues, soit l'Étape 9, permet d'améliorer le processus de prise de décision. Les données sur la performance peuvent être utilisées d'une multitude de façons. Par exemple, les budgets orientés vers la performance planifient les dépenses en fonction des extrants, mais aident également les décideurs à gérer en fonction des réalisations. On remarque aussi que si l'information sur la performance fait l'objet d'une demande, il en résulte une amélioration de la performance. L'utilisation continue des résultats génère un savoir et un apprentissage au sein des gouvernements et des organisations. La mise en place d'un système crédible de ges- tion du savoir est une autre composante essentielle de l'utilisation des résultats. Un grand nombre de stratégies peuvent être utilisées pour diffuser l'information. Une bonne stratégie de communication est essentielle pour partager l'information avec les principaux partenaires. Le partage de l'information avec les partenaires per- met de les impliquer dans les activités gouvernementales et de susciter la confiance. Il s'agit, après tout, d'un des objectifs de la mise en place d'un système de suivi- évaluation axé sur les résultats. Enfin, l'Étape 10 aborde la question du maintien des systèmes de suivi-évaluation. Six éléments critiques en font partie : la demande, des rôles et des responsabilités clairement définis, les incitations, une information fiable et crédible, la responsabi- lité et les capacités. Des incitations et désincitations jouent aussi un rôle dans le maintien des systèmes de suivi-évaluation. En résumé Les systèmes de suivi-évaluation axés sur les résultats sont un puissant outil de ges- tion publique dont les gouvernements et les organisations se servent pour démontrer leur responsabilité, leur transparence et l'atteinte de résultats. Ils peuvent susciter et soutenir un appui politique et financier pour des politiques, des programmes et des *MEP corrigée finale-3 2/3/06 8:43 AM Page 158 158 Vers une culture du résultat projets communs. Et ils peuvent aider le gouvernement à construire une solide base de connaissances. De façon plus importante encore, les systèmes de suivi-évaluation axés sur les résultats peuvent entraîner des changements politiques et culturels majeurs dans la façon dont les gouvernements et les organisations fonctionnent ­ pouvant mener à une performance améliorée, une responsabilisation et une transparence accrues, à plus d'apprentissage et de savoir. Les systèmes de suivi-évaluation axés sur les résultats sont un processus en perpé- tuel renouvellement. Une attention continue, des ressources et un engagement poli- tique sont nécessaires pour assurer la durabilité et la viabilité de ces systèmes. Il faut du temps, un engagement et de la volonté politique pour accomplir la transforma- tion culturelle nécessaire et amener une organisation à adopter une orientation axée sur les résultats. Si les efforts pour entreprendre cette transformation sont inexis- tants, une organisation ne pourra faire autrement qu'empirer ! La mise en place et l'entretien d'un système de suivi-évaluation axé sur les résul- tats prend du temps et des efforts. Aucun système n'est parfait, mais l'exercice mérite d'être entrepris car les récompenses sont nombreuses. *MEP corrigée finale-3 2/3/06 8:43 AM Page 159 Annexe I Évaluer la capacité des pays à mettre en place des systèmes de suivi et d'évaluation axés sur la performance Un outil d'évaluation pour les pays, les organisations de développement et leurs partenaires Introduction teurs et leurs partenaires seront ainsi mieux en mesure d'envisager les défis en matière de forma- L'ensemble des pays subissent des pressions afin tion et de capacité organisationnelle, et d'évaluer qu'ils réforment les politiques et les pratiques du les efforts qu'il faudra déployer afin de concevoir secteur public. L'efficacité du secteur public contri- et de construire les infrastructures permettant de bue essentiellement au développement durable, à la recueillir, de produire, d'analyser et de diffuser des croissance économique ainsi qu'au bien-être des informations sur la performance. En gros, il s'agit citoyens. La performance du gouvernement devient d'un plan d'action sommaire à l'échelle d'un pays. ainsi un enjeu majeur puisqu'elle permet d'atteindre Cette enquête permet enfin de s'assurer qu'on cir- les objectifs fixés en matière de croissance et de conscrit adéquatement les buts stratégiques, qu'on développement économique et social. accorde une importance suffisante aux cibles et Les gouvernements qui choisissent de relever ce aux données de base, et qu'on détermine des indi- défi voudront documenter leurs efforts afin de cateurs pertinents dans le cadre de l'implantation fournir aux citoyens une information fiable et cré- du système. dible et afin de s'y référer eux-mêmes. Un système On doit recueillir cette information auprès d'ac- de suivi et d'évaluation axé sur les résultats leur teurs clés au sein du pays, soit les fonctionnaires, permettra d'atteindre cet objectif. les membres de la société civile, les ONG, etc. On L'enquête recommande que l'enquête soit effectuée par une personne connaissant bien le renforcement des Cet outil de diagnostic est une enquête d'évalua- capacités et le suivi-évaluation, puisque l'enquête tion qui s'intéresse à la capacité actuelle d'un gou- comporte de nombreuses questions ouvertes et vernement de concevoir et d'implanter un système qu'il pourrait s'avérer nécessaire de clarifier cer- de suivi et d'évaluation. L'enquête cherche à déter- taines questions ou de compléter à l'aide de ques- miner la capacité et les infrastructures qui sont en tions additionnelles. On estime qu'il faut environ place et à prévoir celles qui devront être mises sur 65 minutes pour remplir le questionnaire de 40 pied. L'enquête comporte trois sections : l'intérêt ; questions. les rôles et responsabilités ; et le renforcement des capacités. Informations générales Cet outil a été conçu pour appuyer les gouverne- Nom du répondant : _______________________ ments individuels, les donateurs et les nombreux Titre : ___________________________________ partenaires du développement qui sont impliqués Organisation : ____________________________ dans la réforme du secteur public. Il détermine Au sein de l'organisation depuis : ____________ notamment les conditions (présentes ou non) préa- Occupe ce poste depuis : ___________________ lables à l'implantation d'un tel système. À l'aide de Questionnaire rempli le : ___________________ cette information, les gouvernements, les dona- Nom de l'évaluateur présent: _______________ *MEP corrigée finale-3 2/3/06 8:43 AM Page 160 160 Annexe I Partie I : Les raisons motivant la conception et performance du gouvernement, comme par l'implantation d'un système de suivi et d'évalua- exemple le ministre des Finances, le ministre de tion axé sur la performance la Planification, le ministre de la Santé ou les conseillers au premier ministre? 1. Comment décririez-vous le processus permet- 6. Certains hauts responsables manifestent-ils de tant d'établir les buts et objectifs prioritaires la réticence face à la volonté de produire et de au sein des ministères centraux ? Au sein des diffuser de l'information sur la performance? ministères de tutelles ? Au sein des ministères sectoriels ? Quelles sont les raisons de leur résistance? 2. Êtes-vous en mesure d'identifier quelles entités 7. Des ministères de secteur ou de tutelle entre- demandent régulièrement de l'information sur prennent-ils des évaluations formelles de la per- la performance du gouvernement? formance des projets, programmes ou poli- ­ Le ministère des Finances? tiques au sein de leur ministère? Si oui, quels ­ Le ministère de la Planification? sont les types d'évaluation utilisés? ­ Le bureau du premier ministre? ­ Évaluations formelles? ­ Le bureau du président? ­ Des enquêtes auprès de la population ­ Les ministères sectoriel ou de tutelle? desservie pour déterminer leur niveau de ­ Le Parlement? satisfaction? ­ Les organisations d'audit suprême ­ Des examens de la performance? (nationale) ? ­ Des évaluations des budgets en fonction de ­ Les donateurs? leur performance? ­ Le secteur privé? ­ Autres? ­ Les médias? 8. Le Parlement émet-il des requêtes officielles afin ­ Les ONG? d'obtenir du ministère des Finances, du minis- ­ Les citoyens? tère de la Planification ou d'autres ministères de 3. Le ministère des Finances ou le ministère de la secteur des données sur la performance pour: Planification exige-t-il une forme ou une autre ­ Les audiences sur le budget? d'information concernant la performance des ­ Les débats entourant la performance des projets gouvernementaux, des programmes ou programmes gouvernementaux? des politiques mis de l'avant par les ministères ­ La création de lois? sectoriels et autres agences lorsqu'ils soumet- 9. Le Parlement s'est-il servi de données sur la per- tent leur budget annuel? formance du gouvernement pour: ­ De l'information sur les activités et les réa- ­ Des audiences? lisations projetées des programmes et des ­ Un examen de la performance du gouver- projets? nement? ­ De l'information sur les résultats ou les réalisations (buts à long terme)? ­ L'ébauche de lois? ­ De l'information concernant les évalua- 10. Le Parlement possède-t-il un « comité chargé tions ou autres types d'examens? de rendre des comptes au public » ou un ­ Des données sur les dépenses en fonction « comité chargé des dépenses publiques et du des priorités gouvernementales? budget » ? Si oui, ces comités remplissent 4. Des ministères sectoriels ou d'autres agences quelles fonctions ? Utilisent-ils des données ont-ils établi des critères pour la diffusion de sur la performance dans le cadre de leurs la performance des projets ou programmes de fonctions ? l'organisation ? Si oui, quelles sont les organi- 11. La société civile (médias, ONG, secteur privé, sations et quels sont ces critères ? etc.) a-t-elle cherché à obtenir des données sur 5. Existe-t-il des hauts responsables qui préconi- la performance du gouvernement ? Dans quel sent l'utilisation et la collecte de données sur la contexte ? *MEP corrigée finale-3 2/3/06 8:43 AM Page 161 Annexe I 161 12. La société civile a-t-elle publié ou diffusé de afin d'effectuer des décisions budgétaires ou de l'information concernant la performance du rehausser leur gestion des programmes? gouvernement ? Décrivez les circonstances. 24. Peut-on voir des liens entre l'affectation des res- 13. Les membres de la société civile ont-ils obtenu sources annuelle des ministères des Finances et facilement ou difficilement de l'information de la Planification et la performance des minis- concernant la performance du gouvernement? tères de secteur ou de tutelle? 14. Des ONG ou d'autres membres de la société 25. La société civile peut-elle jouer un rôle ou avoir civile recueillent-ils des données sur la perfor- certaines responsabilités au sein du processus de mance du gouvernement pour leur usage per- planification du gouvernement national? sonnel ou à des fins de vérification? Si oui, dans 26. La société civile peut-elle jouer un rôle ou avoir quel contexte? certaines responsabilités au sein du processus 15. Existe-t-il des lois portant sur l'accès à l'infor- décisionnel du gouvernement concernant l'af- mation? Si non, de tels projets de loi sont-ils à fectation des ressources budgétaires? l'étude? 27. Les agences de développement ou les dona- 16. Les donateurs exigent-ils de l'information sur la teurs jouent-ils un rôle dans la planification performance des projets ou des programmes nationale et le choix des objectifs ? Et dans les qu'ils soutiennent? décisions concernant l'affectation des res- 17. Quels autres types de données sur la perfor- sources budgétaires ? mance les donateurs exigent-ils du gouverne- 28. Le ministère des Finances ou le ministère de la ment? Planification font-ils un suivi des ministères de 18. Comment le gouvernement national procède-t- secteur ou de tutelle? Si oui, s'agit-il d'un suivi il à des audits? Existe-t-il un organisme de véri- léger, moyen ou soutenu? Pouvez-vous fournir fication au sein du gouvernement? Si oui, quelques exemples? quelles sont ses fonctions? Les ministères indi- 29. Les exigences des donateurs concernant la viduels possèdent-ils des vérificateurs internes et publication des données entrent-elles en conflit les unes avec les autres ou imposent-elles au quel est leur rôle? gouvernement d'effectuer du travail en double 19. À votre avis, quels ministères utilisent judicieu- afin de les rencontrer? sement les données sur la performance afin de 30. Quel type de données financières recueille-t-on gérer leurs activités et leurs programmes? (et qui les recueille) sur les extrants des activités 20. Le gouvernement a-t-il entrepris des réformes et des fonctions du gouvernement national? du secteur public (avec ou sans soutien de dona- 31. Êtes-vous en mesure de décrire les données teurs) qui démontrent une volonté de renforcer financières recueillies (et par qui elles le sont) les systèmes de collecte et de gestion de données concernant les dépenses, les coûts et les extrants sur la performance? des activités gouvernementales aux niveaux 21. Selon vous, les Stratégies de réduction de la local et régional? pauvreté du gouvernement (ou autre document 32. Les données sur les dépenses sont-elles facile- du même type) incluent-ils un système censé ment accessibles pour les personnes ou organi- surveiller et diffuser les buts de la stratégie? sations à l'extérieur du gouvernement, telles 22. Comment pourriez-vous décrire les efforts du que les ONG, la société civile, les médias, etc.? gouvernement pour mettre en oeuvre un sys- 33. Qui, au sein du gouvernement, est chargé de tème de suivi-évaluation pour sa Stratégie de recueillir les données sur la situation socioéco- réduction de la pauvreté? nomique et la pauvreté du pays? Ces données Partie II: Les rôles et les responsabilités liés à sont-elles partagées et avec qui? l'examen de la performance du gouvernement 34. Le Bureau national de statistique assume quels rôles et responsabilités? 23. Les gouvernements locaux ou régionaux ­ Quels domaines font l'objet d'enquêtes recueillent-ils des données sur leur performance statistiques? *MEP corrigée finale-3 2/3/06 8:43 AM Page 162 162 Annexe I ­ À quel niveau recueille-t-on des données Partie III: Les critères au niveau du statistiques (municipal, régional, national)? renforcement des capacités pour mettre en place ­ Qui utilise des données statistiques? un système de suivi-évaluation ­ Quelle information fait ou ne fait pas par- tie du domaine public? 38. Selon vous, les fonctionnaires du gouvernement ­ Quelles organisations secondent le Bureau national possèdent-ils les capacités nécessaires dans la collecte des données statistiques? pour: ­ Procède-t-on à des enquêtes spécifiques, ­ Gérer les projets et les programmes? par exemple sur le revenu et les dépenses ­ Analyser les données? des ménages, sur la prévalence du sida, ­ Analyser les politiques? etc.? ­ Déterminer les objectifs des projets et des 35. Quels sont les rôles et responsabilités du programmes? Bureau du Vérificateur général? ­ Gérer le budget? ­ Peut-il examiner librement les activités des ­ Surveiller la performance? ministères de secteur ou de tutelle? 39. Dans les deux dernières années, des paliers de ­ Détient-il de l'autorité auprès des paliers gouvernement (local, régional ou national) ont- gouvernementaux régional et local? ils suivi des formations, participé à des activités ­ À qui fait-on part des résultats? de renforcement des capacités ou obtenu de ­ Les données font-elles partie du domaine l'aide technique? Pouvez-vous indiquer qui a public? fourni cet appui? Ces efforts étaient-ils liés: ­ Le Bureau du Vérificateur général est-il en ­ Aux Stratégies de réduction de pauvreté ou mesure de juger de la qualité des données au Cadre de développement intégré? produites par le gouvernement? ­ Au renforcement des systèmes budgétaires? 36. Quelles unités du gouvernement national pos- ­ Au renforcement de la gestion du secteur sèdent les expertises nécessaires leur permettant public? d'entreprendre des évaluations? ­ À la décentralisation du gouvernement? 37. Les ministères de secteur ou de tutelle, ou les ­ À la réforme de la fonction publique? unités de planification du gouvernement cen- ­ À la réforme en cours dans des ministères tral, possèdent-ils des systèmes pour recueillir centraux ou de tutelle? des données sur: 40. Existe-t-il, à votre connaissance, des instituts, ­ Le budget? des centres de recherche, des organisations pri- ­ Les extrants? vées ou des universités basés au pays et ­ Les réalisations ou l'impact? capables de soutenir et de former des fonction- ­ Les examens de la performance? naires ou d'autres intervenants en matière de ­ Les audits? performance axée sur les résultats? ­ Les rapports finaux sur les projets et les programmes? Ont-ils accès aux systèmes de données des donateurs? À d'autres systèmes? *MEP corrigée finale-3 2/3/06 8:43 AM Page 163 Annexe II Examen de l'état de préparation Mettre sur pied un système de suivi-évaluation axé sur les résultats en Égypte Une mission diagnostique effectuée par la resse surtout aux intrants et aux processus. Le Banque mondiale du 1er au 9 juin 2001, au suivi-évaluation axé sur les résultats insiste sur Caire, Égypte une gestion qui tient compte de la performance et qui cherche à atteindre les objectifs fixés en Table des matières matière de développement. De cette façon, ce Introduction programme soutient la stratégie de la Banque L'expérience internationale mondiale en encourageant les pays à effectuer Les principales conclusions un suivi des progrès au niveau des objectifs de Survol de quelques activités de soutien tech- développement international. nique actuelles Le gouvernement égyptien, et en particulier Les recommandations de la Banque son ministre des Finances, ont exprimé leur Les activités que la Banque soutiendra volonté de participer au programme. Le Annexes ministre souhaite ardemment réformer le bud- get afin d'améliorer la performance et l'effica- Introduction cité du gouvernement. Le ministre ainsi que Mise en contexte. En septembre 2000, le conseil d'autres acteurs clés au sein du gouvernement d'administration de la Banque mondiale donnait comprennent qu'il est nécessaire d'adopter une le feu vert à un programme visant à renforcer le approche axée sur les résultats, et que cela cadre suivi et l'évaluation des activités de la Banque et avec les efforts de réforme de la gestion du sec- de ses emprunteurs. Des données solides sur la teur public en cours dans de nombreux pays. performance permettent à la Banque tout Méthodologie. Lorsqu'un pays fait part de comme à ses emprunteurs de mieux répartir les son désir de participer au Programme d'amélio- ressources, de concevoir et de mettre sur pied ration du suivi et de l'évaluation, la Banque des projets et des programmes avec efficacité, entreprend d'abord une courte étude diagnos- ainsi que d'évaluer si leurs activités ont un tique qui permet d'évaluer l'état de préparation impact réel sur leurs objectifs de développement. du pays et de déceler certains endroits où il La Banque tente actuellement d'effectuer un serait possible de renforcer les efforts en matière virage vers les prêts programmatiques et d'en- de performance. La division de la Banque char- courager davantage de responsabilité et de gée des services aux pays et des politiques opé- transparence de la part des emprunteurs. Ce rationnelles a ainsi effectué une mission dia- programme, intitulé Programme d'amélioration gnostique en Égypte du 1er au 9 juin 2001 (voir du suivi et de l'évaluation, représente ainsi un l'Annexe A). enjeu majeur pour la Banque. Dans ce contexte, L'équipe envoyée sur le terrain a rencontré les fonds accordés aux Stratégies de réduction de multiples intervenants, dont des fonction- de la pauvreté et au Cadre de développement naires clés du gouvernement, des intellectuels, intégré des pays dépendent du suivi des résultats des donateurs, etc. Elle s'est penchée sur de (ou des réalisations gouvernementales) plutôt nombreux documents et rapports afin de déter- que du suivi-évaluation traditionnel qui s'inté- miner si une approche axée vers les résultats *MEP corrigée finale-3 2/3/06 8:43 AM Page 164 164 Annexe II améliorerait l'efficacité de la gestion publique taurer une stratégie globale; fournir des conseils égyptienne (voir l'Annexe B). L'équipe a égale- et un cadre de travail aux activités pilotes en ment cherché à déceler des organisations qui cours dans d'autres ministères ou organisations; avaient déjà amorcé un virage vers le suivi-éva- et développer un plan pour augmenter le nombre luation axé sur les résultats en vue d'atteindre de projets pilotes et partager les leçons tirées de leurs objectifs de développement. Elle a recensé l'expérience entre les ministères. Ce groupe pour- les efforts en cours et a examiné la capacité rait également déterminer si les mécanismes de d'effectuer des recherches et de recueillir des réforme mis en place par d'autres pays ­ tels que données à l'extérieur du gouvernement. les décrets présidentiels, les amendements aux L'équipe a tenté de découvrir s'il existait déjà lois budgétaires et les lois ­ conviendraient au des budgets axés sur la performance ou s'il y contexte égyptien. avait une volonté d'innover dans ce domaine. À 2. Soutenir le Conseil national sur le statut de la la demande du ministère des Finances, l'équipe femme. Ce Conseil surveillera et évaluera l'inté- a émis quelques conseils pratiques destinés à gration de mesures liées au genre au plan de encourager l'émergence d'un climat axé sur la 2002-2006. Le Conseil, qui obtient l'appui de performance au sein du gouvernement. la première dame, a travaillé en étroite collabo- Les recommandations de l'équipe allaient ration avec le ministère de la Planification et les dans ce sens : ministères de tutelle tandis qu'ils développaient · Qu'est-ce qui pousse le gouvernement égyptien leurs plans. L'implantation du système de suivi- à adopter des systèmes de suivi-évaluation évaluation offrira une occasion particulière axés sur les résultats (incitations, demandes)? pour effectuer des changements dans différents · Quelle branche du gouvernement est respon- ministères. Étant donné que le Conseil regroupe sable de l'efficacité des programmes ? des intervenants issus de divers milieux (secteur privé, intellectuels, ONG, médias, ministères · Existe-t-il, au sein du gouvernement, une touchés), il est mieux en mesure de promouvoir stratégie ou une organisation structurée (soit des consensus concernant la transparence et la par mandat ou par statut) qui surveille les conformité des données. objectifs de développement ? 3. Accroître la capacité pour soutenir la · Qui, dans le pays, possède les aptitudes et la réforme. Tout pays qui souhaite entreprendre capacité nécessaires pour concevoir et utili- une réforme significative réussie doit être sou- ser un système de suivi-évaluation ? Comment tenu par une équipe bien organisée et dévouée. cette capacité (ou le manque de capacité) a- Cette équipe clé pourrait : soutenir l'équipe t-elle servit ou nuit à l'utilisation d'un sys- ministérielle et les projets pilotes afin de mini- tème de suivi-évaluation ? miser les embûches administratives et accélérer Les recommandations l'apprentissage et l'innovation ; déterminer les leçons à tirer de l'expérience ; et trouver des 1. Établir un groupe interministériel chargé de moyens d'intégrer ces leçons aux activités du promouvoir la performance et le suivi-évaluation gouvernement. Cette équipe serait composée de axé sur les résultats. La présence d'une équipe fonctionnaires chevronnés, de membres émi- formée de ministres qui souhaitent effectuer des nents de la collectivité et d'intellectuels. changements au sein de leur organisation pour- 4. Moderniser les politiques statistiques. Le sys- rait accélérer l'adoption d'un suivi-évaluation tème statistique égyptien actuel est indéniable- axé sur les résultats et la mise en place d'un pro- ment de bonne capacité. Cependant, on ne peut cessus budgétaire également axé vers les résul- nier que la qualité des données produites et l'at- tats. Le ministre des Finances pourrait diriger ce tention portée aux besoins des clients laissent groupe, qui assumerait divers rôles, dont: ins- un peu à désirer. Le gouvernement devrait donc *MEP corrigée finale-3 2/3/06 8:43 AM Page 165 Annexe II 165 revoir ses lois statistiques en vue de répartir cer- 7. Obtenir le soutien de donateurs. Les donateurs taines responsabilités assumées par l'Agence peuvent jouer un rôle important en accordant centrale pour la mobilisation militaire et les sta- du soutien technique et de la formation au gou- tistiques (CAPMAS) afin d'en faire une agence vernement égyptien tandis qu'il effectue son indépendante uniquement chargée des statis- virage vers le suivi-évaluation axé sur les résul- tiques. De nombreux pays emploient une com- tats. Pour ce faire, les donateurs peuvent s'en- mission statistique nationale ou un organe de tourer d'experts provenant du milieu universi- coordination similaire afin d'encadrer la pro- taire ou d'instituts de recherche indépendants et duction et la diffusion des statistiques offi- s'inspirer des expériences internationales en cielles. L'Égypte devrait se doter d'une stratégie matière de suivi-évaluation. semblable pour coordonner les politiques et standards statistiques. Cette commission serait L'expérience internationale composée de représentants des agences statis- tiques et de statisticiens issus des universités et Dans les deux dernières décennies, les gouverne- du secteur privé. ments des pays développés et, plus récemment, 5. Mieux cibler les besoins du client. Les statis- des pays en développement, ont cherché à obte- tiques possèdent une certaine valeur seulement nir davantage d'information sur les résultats. si elles sont utilisées. Tout producteur de don- Selon une étude récente de l'OCDE, «Un secteur nées statistiques devrait encourager leur dissé- public performant est déterminant pour le bien- mination parmi les utilisateurs tant au gouver- être des individus et la compétitivité de l'écono- nement qu'à l'extérieur de l'appareil étatique. mie. La plupart des réformes du secteur public en Afin de mieux cibler les besoins des clients, les cours dans les pays membres de l'OCDE misent agences pourraient former des groupes repré- sur une gestion axée sur la performance.» sentant les intérêts des utilisateurs. Ces groupes Les pays adoptent diverses stratégies pour permettraient également aux utilisateurs améliorer leur performance. Quelques éléments d'échanger de l'information et de résoudre des semblables font cependant partie de ces straté- problèmes en commun. Les groupes et les gies, dont : gérants des agences tiendraient des rencontres · le mandat d'effectuer un virage vers un sys- ponctuelles. Un groupe se chargerait également tème axé sur les résultats ; d'informer le CAPMAS (ou l'agence statistique · la présence d'un champion politique haut qui sera formée) des besoins des utilisateurs placé dans la hiérarchie gouvernementale ; généraux en matière de données statistiques. · l'utilisation de données fiables pour soutenir 6. Souscrire aux Normes spéciales sur la diffu- les politiques et les décisions de gestion ; sion des données du FMI. Afin de pénétrer · la présence de pressions économiques ou davantage le marché international, l'Égypte d'autres incitations au changement (par devra produire des statistiques fiables et cré- dibles. S'inscrire au Standard sur la dissémina- exemple, des citoyens inquiets ou une volonté tion des données (http://dsbb.imf.org) consti- de réduire le fardeau imposé par les salaires tuerait un pas dans la bonne direction. Pour en des fonctionnaires) ; faire partie, les pays doivent se conformer aux · l'établissement de liens clairs avec le budget normes internationales sur la publication de et les autres décisions sur l'affectation des données statistiques économiques et financières ressources ; et mettre à jour leurs politiques et leurs stan- · l'implication de la collectivité, un partenaire dards actuels. Cette adhésion encouragerait for- important du gouvernement ; cément la modernisation du système de statis- · la présence de pratiques innovatrices qui peu- tiques égyptien. vent initier certains projets pilotes. *MEP corrigée finale-3 2/3/06 8:43 AM Page 166 166 Annexe II Il n'existe pas une manière unique d'incorpo- au Bangladesh, au Ghana ou au Kirghizstan), il rer une gestion axée sur la performance aux ins- est plus facile d'aller de l'avant et ce, malgré le titutions et aux activités du gouvernement. fait que ni le président ni le premier ministre se Dépendamment de la présence ou de l'absence sont engagés à mettre en place une stratégie glo- des éléments mentionnés ci-dessus, les gouver- bale. Certains pays ont centré leur approche sur nements ont tendance à se tourner vers l'une les clients et les bénéficiaires des services gou- des approches suivantes : 1) une approche inté- vernementaux ou sur des groupes ciblés comme grée pour l'ensemble du gouvernement ; 2) une les femmes ou les enfants. Cette stratégie approche par secteur ; ou 3) une approche cen- implique d'inclure, au sein des ministères de trée sur le client. tutelle, des indicateurs de performance ciblés Un certain nombre de pays ayant adopté l'ap- sur l'amélioration de la performance des pro- proche intégrée ont introduit au fil des ans des grammes gouvernementaux. Elle a aussi l'avan- plans stratégiques, des indicateurs de perfor- tage de lancer la réforme et de faire des progrès mance et des plans annuels sur la performance dans un domaine plutôt que d'attendre que qui ont ensuite été intégrés aux documents bud- l'ensemble du gouvernement s'intéresse à la ges- gétaires annuels (Australie et États-Unis). tion axée sur la performance. D'autres ont inclus des indicateurs de perfor- Voici d'autres stratégies employées par les mance dans les rapports financiers annuels dont gouvernements en matière de gestion axée sur le contenu peut être examiné lors d'un audit la performance : (Finlande, Suède et États-Unis) ou ont conclu · La sélection d'autorités non liées qui dispo- des accords sur la performance qui lient les sent d'une flexibilité suffisante pour utiliser ministres et les dirigeants des agences gouverne- les ressources et qui tiennent les dirigeants mentales (Nouvelle-Zélande, Royaume-Uni). responsables des résultats. Par exemple : L'Argentine et la Roumanie ont également mis organisations axées sur la performance, des stratégies à l'essai. Celles-ci comprennent agences Next Steps. des mesures où les indicateurs de performance · La reconnaissance et l'encouragement de pro- pour les programmes gouvernementaux : sont jets pilotes, qui peuvent être imités dans liés aux enveloppes budgétaires ; sont publiés en d'autres organisations. Par exemple : les labo- annexe dans les documents budgétaires ratoires Reinvention. annuels ; font l'objet d'une vérification à la fin · L'introduction d'un modèle de gestion qui de l'année. La Malaisie a quant à elle choisi une privilégie la qualité. Développé par les indus- approche qui privilégie une gestion de qualité tries en vue d'améliorer les processus de fabri- dans son ensemble et qui se concentre sur la cation, ce modèle a été incorporé à la réforme mise à niveau des processus et sur le respect de du secteur public de quelques pays, normale- normes de qualité strictes. ment lorsque le processus de réforme est déjà Bien que la majorité des pays aient recours à bien entamé. Ce type de gestion tient compte une approche intégrée, plusieurs pays (notam- des besoins du client et s'avère particulière- ment les États-Unis) ont d'abord implanté des ment pertinent pour tous les efforts de projets pilotes. En effectuant des essais auprès réforme. Par exemple : la Malaisie. de quelques programmes et secteurs, les gou- Une stratégie n'est pas nécessairement effi- vernements comptaient maximiser l'apprentis- cace dans tous les pays ou toutes les situations. sage et l'expérience du secteur public avant Un pays peut aussi choisir de combiner une ou d'adapter ses efforts à l'ensemble du gouverne- plusieurs approches semblables. De plus, les ment. On a aussi déterminé que là où des réformes s'étalent forcément sur plusieurs efforts de réforme substantiels sont en cours années, ce qui signifie que les stratégies évolue- dans quelques secteurs (comme celui de la santé ront au fil du temps. *MEP corrigée finale-3 2/3/06 8:43 AM Page 167 Annexe II 167 Les principales recommandations la gestion des dépenses publiques. « Je veux que les contribuables égyptiens sachent que le gou- L'équipe a trouvé sur le terrain différents indices vernement dépense leur argent de façon effi- montrant que le pays était en mesure d'encou- cace », disait-il. rager un climat axé sur la performance. Les Les ministères de tutelle (qui sont respon- entrevues en témoignent de diverses façons, sables de la répartition des ressources et qui mais, surtout, ce sont les personnes interviewées supervisent la mise en oeuvre de programmes qui, de façon générale, insistaient sur leur particuliers), doivent s'investir entièrement volonté d'obtenir une information de qualité pour qu'un effort soit couronné de succès. afin de distribuer les ressources, de rendre L'équipe a constaté que plusieurs ministères de compte des progrès, et d'atteindre les objectifs tutelle apparaissaient suffisamment intéressés de développement de manière efficace. Nous par un système de suivi-évaluation axé vers les décrivons ci-dessous les résultats principaux de résultats. Le ministre de l'Électricité, qui avait l'examen de l'état de préparation. Pour chaque auparavant dirigé des réformes au sein de section, nous avons noté les atouts présents l'Agence internationale de l'énergie atomique, ainsi que les obstacles potentiels au virage du suggérait de créer un comité ministériel qui gouvernement égyptien vers un système qui veillerait à l'amélioration de la gestion d'infra- tient compte des résultats. structures et de services publics essentiels. Leadership Une étude récente de la fonction publique égyptienne dévoilait l'importance de l'implica- Un leadership soutenu a fortement appuyé les tion des ministres : « L'intérêt et l'engagement efforts réussis du gouvernement pour instaurer du chef de l'organisation (le ministre ou le un climat axé sur les résultats. Les réformes qui sous-ministre) sont d'une importance capitale. ont connu du succès ont souvent été menées par Les ministres égyptiens ont habituellement les l'aile exécutive ­ le Cabinet (Royaume-Uni), la coudées franches et sont suffisamment Trésorerie (Nouvelle-Zélande), le vice-président influents pour pouvoir introduire des change- (États-Unis), ou le ministre en chef (Andhra ments et modifier leur gestion du personnel au Pradesh, Inde). sein de leur organisation. Les fonctionnaires L'équipe sur le terrain a remarqué que de de haut niveau de l'administration égyptienne nombreux fonctionnaires supérieurs de l'admi- adoptent généralement un concept de gestion nistration, dont le premier ministre et les interactif1. » membres du Cabinet, exprimaient le désir de se Dans de nombreux pays, la branche législa- tourner vers un système axé sur la performance. tive a également joué un rôle important de lea- Le président lui-même souhaitait appuyer ses dership en mettant en place un cadre de décisions économiques sur des données qui réforme (Nouvelle-Zélande), en adoptant des reflètent mieux la réalité. La première dame lois clés (Loi sur la performance et les réalisa- présidait quant à elle le Conseil national sur le tions du gouvernement américain), en propo- statut de la femme, qui s'efforçait de mettre sur sant plus de flexibilité et d'incitations, et en pied un système de suivi-évaluation de la condi- menant des enquêtes, des audits ou des tion féminine traversant différents ministères. audiences sur la performance du gouverne- Le ministre des Finances démontrait un lea- ment. L'équipe sur le terrain n'avait pas pour dership indéniable, en plus d'une volonté de mandat d'explorer ces aspects, mais il serait réformer le processus budgétaire égyptien et de peut-être utile d'évaluer ultérieurement le rôle l'adapter aux critères de performance. Lors des de la branche législative égyptienne, de rencontres avec l'équipe, ce dernier soulignait l'Assemblée populaire, du conseil Shura et du l'importance qu'il accordait à l'amélioration de bureau du Vérificateur général. *MEP corrigée finale-3 2/3/06 8:43 AM Page 168 168 Annexe II Les forces motrices derrière la réforme la compagnie électrique reçoivent actuellement des subventions de 3 milliards LE annuellement La plupart des pays ayant adopté un système axé et obtiennent des investissements cumulatifs de sur les résultats ont été incités à le faire. Certains plus de 280 milliards LE. Le gouvernement pays se sont tournés vers ce type de système en aimerait améliorer la performance de ces ins- raison de leur désir de faire partie de l'Union tances et les inciter à adopter une stratégie de européenne, d'autres parce qu'ils souhaitaient obtenir un allégement de leur dette et qu'ils privatisation. devaient produire des documents de Stratégie · Intérêt des donateurs. Certains donateurs pour réduire la pauvreté (qui incluent un suivi montrent un intérêt particulier pour la per- rigoureux de la performance et un cadre d'éva- formance du secteur public et fournissent luation des indicateurs et des mesures). Des pays conséquemment la formation et le soutien développés et en développement ont dû res- technologique et technique nécessaires (voir treindre leurs dépenses à la suite de déficits plus loin). La Banque mondiale aimerait importants, les incitant ainsi à observer de plus notamment que les processus budgétaires près l'efficacité de l'affectation des ressources. Les soient davantage centrés sur les résultats. coûts élevés et la piètre performance de certaines Le mandat ou le pouvoir d'effectuer des administrations a entraîné un sentiment d'insatis- changements faction au sein de la population, sentiment auquel les politiciens ont répondu en faisant des pro- Les pays qui centrent leurs programmes sur les messes de changement. résultats le font généralement en fonction d'un L'équipe sur le terrain n'a décelé aucun mandat. Ce mandat peut par exemple découler moteur de changement en Égypte. La croissance d'un décret présidentiel, d'une loi ou de déci- économique maintient son dynamisme depuis sions de l'exécutif. Certains pays constatent la deuxième moitié des années 1990. Bien que qu'ils détiennent le pouvoir d'effectuer des le déficit équivalait à 3 % du PIB en 1998 et changements mais que les mandats n'ont pas qu'il existe d'autres faiblesses inhérentes à la entièrement été mis en oeuvre. performance économique, ces facteurs écono- De nombreux individus ou organisations égyp- miques ne suffisent pas à eux seuls à justifier le tiens ont obtenu des mandats spécifiques. Le changement. Les personnes rencontrées par Décret présidentiel no90 établissait par exemple l'équipe avançaient une panoplie de raisons le Conseil national sur le statut de la femme en pour expliquer l'intérêt des différents interve- lui donnant le mandat de «faire un suivi et nants pour la performance : · Accord de partenariat entre l'Égypte et d'évaluer les politiques publiques qui touchent à l'Union européenne. Le premier ministre la question féminine» en plus participer aux dis- insistait sur la nécessité de moderniser l'État cussions sur les politiques et d'assumer d'autres en lien avec l'entente conclue entre l'Égypte et responsabilités. Ce conseil, dont la première l'Union européenne. La signature de cet dame assume la présidence, regroupe 30 accord l'amenait aussi à considérer la néces- membres (fonctionnaires, intellectuels, médias et sité de mettre sur pied un programme de revi- autres organisations). En collaboration avec le talisation industrielle afin que les industries ministère de la Planification et d'autres minis- égyptiennes puissent concurrencer les pro- tères de tutelle, le conseil s'assure que le prochain duits étrangers. plan quinquennal qu'ils préparent tiendra · Décret présidentiel sur la privatisation des ins- compte des enjeux majeurs entourant la condi- tances économiques. La compagnie des che- tion féminine. Le conseil entend mettre en place mins de fer, la compagnie de l'eau du Caire et un système qui fera le suivi et l'évaluation de la *MEP corrigée finale-3 2/3/06 8:43 AM Page 169 Annexe II 169 mise en oeuvre du plan en concordance avec le Par la suite, il faudrait adopter une stratégie mandat du décret présidentiel. de changement plus large, plus imposante, mais Le Centre d'information et de soutien aux qui demeurerait pratique et applicable. Cette décisions du Cabinet égyptien doit établir et stratégie, en plus de guider et de stimuler des diriger des centres d'information dans chaque stratégies additionnelles, encadrerait les efforts division administrative du pays afin d'alimenter actuels destinés à instaurer un système axé sur les décisions. Le Bureau du Vérificateur général les résultats pour les dépenses publiques. Il a depuis longtemps le mandat d'effectuer des n'existe pas de stratégie parfaite. La stratégie audits et des examens de la performance. Les devrait ainsi tenir compte des contraintes et des gens que l'équipe a rencontrés insistaient toute- avantages propres à l'Égypte. fois sur le fait que le Bureau du Vérificateur Tout en mûrissant sa stratégie, l'Égypte pour- général s'intéresse presque uniquement aux rait s'inspirer des expériences internationales et audits financiers. s'appuyer sur sa propre expérience et ses Finalement, l'équipe n'a pas décelé des man- connaissances. Une stratégie réussie devrait dats importants qui seraient capables de soute- avant tout : énoncer clairement ses objectifs ; nir un virage vers le suivi-évaluation axé vers les être facile et simple à communiquer ; inciter les résultats. De plus, l'équipe a constaté l'inexis- fonctionnaires à se rallier. Après tout, ce sont tence de lois et de décrets pour encadrer et sou- eux qui interagissent avec les citoyens et qui tenir un tel changement d'envergure. effectuent le boulot ; il serait donc impossible d'augmenter l'efficacité du gouvernement sans Une stratégie bien formulée leur concours. Une stratégie réussie réagit aux Afin d'effectuer des changements, ceux-ci doi- besoins des citoyens et fait l'objet d'un suivi- vent s'appuyer sur une stratégie solide qui aura évaluation minutieux afin d'assurer qu'elle été communiquée à tous les intervenants. Des demeure adéquate. Une stratégie réussie sou- fonctionnaires de haut niveau devraient prendre tient ceux qui la défendent, en leur laissant suf- en charge une stratégie qui privilégierait la prise fisamment de latitude pour effectuer les change- de décision éclairée et l'atteinte des résultats ments, en leur fournissant de la formation et en escomptés. Un plan de mise en oeuvre qui insis- s'assurant que leurs succès seront reconnus. terait sur les objectifs, la direction et l'opportu- Finalement, une stratégie réussie se traduit par nité soutiendrait la stratégie. des actions concrètes, par une performance L'adoption d'un système axé sur la perfor- améliorée du gouvernement et par l'accroisse- mance nécessitera des investissements étalés sur ment de l'utilisation efficace des ressources. plusieurs années. C'est pourquoi le ministre des Approches innovatrices Finances a entrepris de concevoir une approche qui comporte différents volets. Il aimerait s'ins- L'équipe sur le terrain a trouvé qu'il existait des pirer des expériences de réforme ayant eu lieu approches innovatrices pour mesurer la perfor- dans d'autres pays et a récemment envoyé une mance. Ces approches constituent des points de équipe de fonctionnaires en Malaisie. Quelques départ intéressants pour mettre en oeuvre une activités en cours pourraient à son avis se trans- stratégie globale axée vers les résultats en Égypte. former en projets pilotes de performance bud- Plusieurs ministères (ministère de l'Électricité et gétaire. Il est pour lui important de recourir à de l'Énergie, les services pétroliers ou les services des données de qualité pour effectuer le suivi et de radiodiffusion) pilotent des activités ou des l'évaluation de ces activités. Ceci constitue une centres qui accordent une importance aux résul- excellente assise pour le développement d'une tats. Le ministre de la Santé a accordé beaucoup stratégie fonctionnelle. de temps à l'équipe et leur a expliqué sa stratégie *MEP corrigée finale-3 2/3/06 8:43 AM Page 170 170 Annexe II de collecte des données afin que les statistiques sentement aux fonctionnaires locaux par le soient toujours à jour et puissent informer les biais d'un CD-ROM. Le public peut accéder à décisions politiques en matière de santé. ces données sur Internet. Le Centre diffuse éga- Le ministre des Finances a aussi signalé plu- lement des bulletins économiques mensuels sieurs projets pilotes qui utilisaient de nouvelles ainsi qu'un rapport statistique sur l'ensemble techniques de gestion. Le Centre national de du pays et chaque division administrative. Les recherche et développement en éducation a par gouvernements locaux sollicitent l'appui du exemple mis à niveau un programme destiné à Centre pour produire leurs rapports statistiques réduire les inégalités en éducation et à amélio- annuels et pour entretenir leurs sites Web. rer la qualité de l'éducation. Grâce au soutien Grâce au Centre, l'Égypte compte maintenant de l'Union européenne, de la Banque mondiale un projet de gouvernement en ligne qui permet- et du gouvernement égyptien et de quinze divi- tra aux citoyens d'effectuer des transactions sur sions administratives, le Centre est en mesure Internet ou à un kiosque. de déterminer les communautés qui sont Ces efforts pour diriger le gouvernement vers confrontées à des besoins pressants et de les une gestion axée sur les résultats demeurent tou- consulter afin de connaître leurs priorités. Le tefois diffus et fragmentés (on discute plus ample- ministère des Finances tente également d'adap- ment de cette question un peu plus loin). On n'in- ter le programme de contrôle de la qualité à cite pas réellement les organisations à partager de l'approche axée sur les résultats dans ses divi- l'information ou de l'expérience entre elles, et sions Gestion de la dette et Taxe de vente. celles-ci ont peu d'occasions de le faire. Le Fonds social pour le développement, une organisation égyptienne qui gère les fonds Des décisions qui s'appuient sur de l'information contribués par dix-sept donateurs pour des pro- jets de développement, possède un système Lors de sa visite au Centre national de d'évaluation fort innovateur. Cette organisation recherche et développement en éducation, a mis sur pied une Évaluation des besoins de la l'équipe sur le terrain a observé qu'un dirigeant collectivité afin de mieux contrôler l'affectation se servait de l'information pour prendre des des ressources. Cette évaluation comprend des décisions politiques. Pendant l'entrevue, la indicateurs sur l'état de santé, l'éducation, les directrice du Centre a reçu un appel télépho- infrastructures, les conditions de logement et nique du ministre de l'Éducation. Ce dernier autres besoins de base. Chaque indice regroupe souhaitait obtenir les résultats d'une enquête de l'information sur le niveau de service et l'im- internationale portant sur la fréquence à pact sur le bien-être des personnes. Ces indices, laquelle les étudiants sont soumis à des exa- qui permettent de déterminer les ressources mens. Cette évaluation avait été menée à la allouées, sont ensuite décomposés et appliqués à demande du ministre, qui désirait réformer la chaque district en tenant compte de la taille de pratique des examens annuels. Il s'agit là d'un la population et des contraintes imposées par les bon exemple de la manière dont fonctionne un donateurs. On effectue présentement des tests système moderne de suivi-évaluation axé sur les sur ce système avant de le lancer. résultats. Le Centre d'information et de soutien aux Grâce aux nombreuses entrevues, l'équipe sur décisions contribue aux décisions effectuées par le terrain a relevé d'autres façons innovatrices le Cabinet égyptien, ses gouverneurs et repré- d'utiliser les statistiques et les recherches afin sentants officiels grâce à un soutien technique d'améliorer les prises de décision au sein du qui prend la forme d'un réseau national de gouvernement égyptien. Les données dont se centres d'information. Le Centre a intégré les servent les agences égyptiennes afin de faire un bases de données nationales et les distribue pré- suivi de leurs programmes tiennent compte de *MEP corrigée finale-3 2/3/06 8:43 AM Page 171 Annexe II 171 la plupart des indicateurs pour mesurer les l'assemblée populaire et le Conseil Shura ; et les objectifs internationaux de développement (voir journalistes qui s'intéressent au budget. l'Annexe C). Le ministère de la Santé évalue Les systèmes statistiques. Le système de statis- régulièrement la performance globale de son tiques égyptien existe depuis fort longtemps. Il programme à l'aide d'un ensemble de critères de est maintenant devenu un système à multiples performance. Les entrevues ont toutefois facettes, complexe et capable d'entreprendre des démontré qu'une telle utilisation de l'informa- études d'envergure. On reconnaît à l'intérieur et tion demeure une exception. Une étude portant à l'extérieur du gouvernement la valeur d'une sur la capacité de recherche de l'Égypte signalait information statistique de qualité. Le fait que « Même si la recherche s'avère en lien avec un l'Égypte ait de plus en plus recours aux techno- problème particulier, même si les conclusions et logies de l'information et des communications a les analyses sont pertinentes, les dirigeants n'au- accru la performance des systèmes statistiques. ront pas tendance à en tenir compte. La concep- On s'efforce dorénavant d'utiliser les statistiques tion et la mise en oeuvre des politiques égyp- pour orienter la planification, le suivi, l'évalua- tiennes s'appuient rarement sur des recherches tion et la prise de décision. Les systèmes de sta- sérieuses2. » tistiques constituent une des forces de l'Égypte, La capacité d'effectuer de la recherche. L'Égypte et ils lui permettront de mettre en place des tech- détient une capacité de recherche importante et niques de gestion axée sur la performance. a accès à un bassin de chercheurs chevronnés Cependant, il faudra pallier ces lacunes des sys- oeuvrant tant dans des institutions privées que tèmes si l'Égypte veut améliorer rapidement la publiques. Cela constitue une ressource signifi- qualité de ses statistiques officielles. cative pour les dirigeants qui souhaitent s'orien- Les sources des statistiques officielles. L'Égypte ter vers un suivi-évaluation axé sur les résultats. tire principalement ses données statistiques offi- Le Forum égyptien de recherche sur l'économie, cielles de l'Agence centrale pour la mobilisation un institut privé, est associé au Réseau de déve- militaire et les statistiques (CAPMAS), du minis- loppement mondial parrainé par la Banque tère de la Planification, des ministères de tutelle mondiale. On envisage qu'il devienne le Centre (de l'Économie, des finances, de la Santé et de international sur l'excellence. Ces centres feront l'Éducation) et de la Banque centrale. De plus, les partie du Programme de partenariat pour le centres de recherche académique et les ONG, développement du suivi-évaluation mis sur pied souvent secondés par les agences gouvernemen- par le Département de l'évaluation des poli- tales, ont mené de nombreuses études et produit tiques et des opérations du ministère des des bases de données spécialisées. CAPMAS joue Affaires étrangères (Pays-Bas) et le Département deux rôles: elle recueille et diffuse les statistiques de l'évaluation des opérations de la Banque puis elle accorde son autorisation à toute mondiale. recherche statistique entreprise en Égypte. Avant Le Centre en recherche sociale de l'université d'accorder une autorisation, CAPMAS révise les américaine du Caire a mis sur pied un pro- instruments de sondage, propose des change- gramme de formation pour les évaluateurs. La ments ou des coupures. Elle reçoit par la suite directrice du centre dirige les efforts en suivi- une copie des données recueillies grâce aux ins- évaluation auprès du Conseil national sur le sta- truments qu'elle a autorisés. Par contre, comme tut de la femme. Le Centre de recherche en cette agence est aussi impliquée dans la mobilisa- administration publique de l'université offre tion militaire, elle est portée à considérer les sta- également un programme de recherche et de tistiques de manière très restrictive, jugeant que formation qui couvre les aspects suivants : le de nombreuses statistiques possèdent un intérêt leadership des dirigeants du service électrique militaire. Cela la fait aussi sourciller face au type égyptien ; le soutien aux décisions effectuées par de questions posées par des chercheurs privés. Il *MEP corrigée finale-3 2/3/06 8:43 AM Page 172 172 Annexe II paraîtrait que CAPMAS s'efforce depuis cinq ans existait aussi des inquiétudes face à la définition d'adopter une attitude plus libérale et de diffuser des termes « pauvreté », « analphabétisme » et davantage les données. « taux de chômage » et face aux méthodes de L'expansion des activités statistiques. L'équipe calcul employées. Le peu de confiance envers la sur le terrain a découvert que de nombreuses qualité des statistiques mine les échanges agences développent leur propre système de col- publics, les intervenants perdant leur temps à lecte de données plutôt que de recourir au sys- faire valoir la fiabilité ou la non-conformité des tème statistique hautement centralisé du gouver- données plutôt que de se pencher sur des pro- nement égyptien. Dans certains cas, ces systèmes blèmes concrets liés au développement. sont nettement plus sophistiqués et recueillent Le rôle du CAPMAS. Plusieurs personnes ont bien plus que les données administratives tradi- aussi témoigné leur réticence face au rôle du tionnelles. Le ministère de la Santé et de la Popu- CAPMAS. Des chercheurs et des intervenants à lation considère par exemple que la santé est un l'extérieur du gouvernement trouvaient que le concept qui touche à la fois au bien-être phy- fait que l'agence détenait la responsabilité d'au- sique et social. Ainsi, le ministère a entrepris de toriser ou non des enquêtes par sondage entra- recueillir des données auprès des ménages. Ceci vait le travail des études indépendantes. La complète son système d'information sur la ges- capacité du CAPMAS à effectuer des enquêtes tion, qui regroupera les dossiers médicaux issus est indéniable. On ne la perçoit toutefois pas de 4 500 unités de soins dans une base de don- comme une agence innovatrice capable d'entre- nées nationale. D'autres entreprennent de déve- prendre des changements et de promouvoir lopper des mesures statistiques que ni le CAP- l'avancement dans le domaine des statistiques. MAS ou d'autres sources ne sont en mesure de CAPMAS a libéralisé un peu ses pratiques leur fournir. Le ministère de l'Économie a par entourant la diffusion des données. Elle exemple produit des indices et une série d'indica- demeure cependant principalement engagée teurs déterminants pour l'économie. Cette dans la réglementation de l'information, au expansion des activités statistiques entraîne détriment de la création de celle-ci. CAPMAS cependant quelques défis, notamment celui assume le rôle de bureau national des statis- d'établir des normes et de s'assurer que les diffé- rentes données seront comparables. tiques pour l'Égypte, mais elle ne participe pas La qualité des statistiques. De nombreuses per- aux forums internationaux sur les statistiques sonnes rencontrées lors des entrevues ont men- (comme la Commission des Nations Unies sur tionné leur inquiétude face à la fiabilité des sta- les statistiques) et ne se montre pas intéressée à tistiques produites en Égypte. Des insuffisances faire partie du Système général de diffusion bien documentées alimentaient la plupart de ces pour les données du FMI ni à s'adapter à la inquiétudes : les données fiscales du ministère norme spéciale sur la diffusion des données. des Finances sont incomplètes (en raison d'un Mesurer la performance d'une organisation. grand nombre d'items de dépenses non compta- L'équipe n'a pas observé une collecte ou une bilisés dans le budget) et prennent trop de utilisation systématiques de l'information dans temps à se finaliser ; la compilation des statis- le but de mesurer le niveau de satisfaction de la tiques nationales (présentement sous la respon- clientèle. Bien que cela ne constitue pas un sabilité du ministère de la Planification et du « résultat » du point de vue du développement, CAPMAS) ne respecte pas les normes actuelles, cela demeure une bonne manière d'évaluer la n'est pas exhaustive et est révisée de manière performance d'une organisation. L'expérience arbitraire. Dans les deux cas, on a mis sur pied démontre qu'il s'agit d'un aspect important, et des programmes d'aide technique soutenus par qu'il doit figurer aux côtés des principales réa- des donateurs afin de régler les problèmes. Il lisations sociales et financières escomptées. *MEP corrigée finale-3 2/3/06 8:43 AM Page 173 Annexe II 173 Les décisions budgétaires · Hiérarchiser les dépenses. Le processus bud- gétaire actuel n'incite pas les ministères de Peu importe le pays, le budget constitue un ins- tutelle à hiérarchiser les requêtes budgétaires, trument clé qui permet de déterminer les prio- que ce soit par l'entremise de plafonds ou rités et de choisir les politiques gouvernemen- d'enveloppes budgétaires. De plus, les négo- tales à implanter. Un représentant de l'OCDE ciations et les révisions du budget en cours remarquait récemment : « Depuis les années d'année nuisent au respect des priorités éta- 1980, quelques pays développés ont tran- blies par le Cabinet et l'Assemblée populaire. quillement révolutionné les méthodes · Encourager la prestation efficace des services. employées pour établir le budget. Cette philo- Le processus budgétaire devrait récompenser sophie s'est maintenant répandue au monde la prestation efficace des services, soit lors des entier. La plupart des pays ont depuis entrepris négociations budgétaires, soit par un partage des réformes dans ce domaine. Ces réformes des surplus budgétaires ou en accordant une visent à améliorer la stabilité macroécono- plus grande flexibilité pour déterminer la mique, à hiérarchiser les priorités en matière façon dont les ressources seront utilisées. de dépenses et à implanter les politiques avec · La transparence. Des restrictions excessives davantage d'efficacité. » entourent l'information budgétaire. Présentement, le budget égyptien n'essaie pas tellement de hiérarchiser les dépenses et ne s'as- D'ailleurs, le budget qu'approuve l'Assemblée sure pas que les politiques sont bel et bien res- populaire n'est pas rendu public ; seules les pectées. Ni le processus budgétaire ni son for- personnes qui possèdent un véritable intérêt mat (principalement centré sur les intrants et les peuvent prendre connaissance des documents finances) ne se soucient du lien entre les fonds budgétaires ; les données statistiques finan- attribués et les résultats escomptés. De plus, cières de base ne sont pas publiées ou sont l'Assemblée populaire, le ministère des Finances publiées très sommairement ; et les rapports et le Bureau du Vérificateur général approuvent d'audit sont diffusés de manière restreinte et le budget en effectuant des contrôles financiers n'incluent pas d'information sur l'efficacité mais en négligeant de considérer les réalisations des dépenses. à atteindre. · Vue d'ensemble. Les ministères du Budget et La Banque mondiale a déterminé que le bud- celui de la Planification assument la respon- get égyptien nécessitait une réforme. « Malgré sabilité pour la préparation et la mise en une croissance économique vigoureuse, on oeuvre du budget (voir le tableau). Dans ce constate que les réalisations sociales ­ notam- contexte, des politiques fiscales responsables ment en santé et en éducation ­ n'ont pas connu et une planification réaliste sont difficilement une amélioration notable. Pour s'assurer que les envisageables, puisque les projets d'investis- ressources nationales consacrées à ces domaines sement ont des effets majeurs sur l'ensemble soient dépensées de façon efficace, il faut avant du budget et qu'ils nuisent à la projection des tout réformer le budget (surtout le budget cou- coûts. rant) en l'orientant davantage vers les résul- Mettre en place une stratégie fonctionnelle tats3. » La structure et le processus budgétaire actuels n'encouragent pas l'orientation vers les Plusieurs ministères se sont montrés fortement résultats. L'Examen social et structurel de l'É- intéressés à joindre leurs efforts afin de renfor- gypte signalait quelques pistes à explorer afin cer l'utilisation d'un système de suivi-évaluation d'adopter un processus budgétaire davantage au sein du gouvernement. Ils envisagent de for- centré sur la performance : mer une équipe qui puisse : *MEP corrigée finale-3 2/3/06 8:43 AM Page 174 174 Annexe II Enveloppes budgétaires du gouvernement égyptien MINISTÈRE DES FINANCES MINISTÈRE DE LA PLANIFICATION Chapitre 1 Chapitre 2 Chapitre 3 Chapitre 4 Salaires (incluant Fournitures Dépenses Remboursement les allocations) et matériel d'investissement de la dette · définir les objectifs et développer une vision le suivi-évaluation axé sur les résultats. La stratégique ; Banque mondiale offre un cours destiné aux · encadrer et évaluer les projets pilotes et les fonctionnaires et intitulé Mettre sur pied des sys- autres activités ; tèmes de suivi-évaluation axés sur la perfor- · mesurer les progrès ; et mance. Au Canada, on a aussi initié, en juillet · reconnaître et encourager les réussites. 2001, un Programme international de formation Cette équipe devra obtenir le soutien d'un sur l'évaluation dans un contexte de développe- groupe dévoué et bien structuré qui l'aidera à ment (www.ipdet.org). Il existe une quantité sub- formuler la vision en actions concrètes. Ce stantielle de ressources en formation, tant en groupe pourrait: développer un plan d'action; Égypte qu'à l'étranger. Par exemple, l'Institut de s'assurer que l'équipe reçoit une formation et un planification nationale a développé une forma- soutien adéquats; mesurer les progrès; promou- tion sur la performance budgétaire à l'intention voir les réussites et partager leur expérience avec du service de l'eau du Caire; le Centre de d'autres organisations. Des personnes motivées recherche social offre un programme de forma- et impliquées auraient pour seul mandat de faire tion sur le suivi et l'évaluation; et le Centre de partie de ce groupe. Leur autorité relèverait recherche en administration publique de l'uni- directement du ministre, du premier ministre ou versité du Caire a construit quelques pro- du président. grammes de formation pertinents. Idéalement, on affecterait pour une durée Les activités financées par les donateurs déterminée des membres issus de divers minis- tères à ce groupe. Le Conseil national sur le sta- Lors de sa mission en Égypte, l'équipe a pu ren- tut de la femme avait d'ailleurs réussi à mettre contrer des gens travaillant pour USAID, une sur pied une telle équipe virtuelle composée de organisation donatrice qui contribue énormé- membres issus de ministères différents et tra- ment aux projets égyptiens. USAID ne prévoit vaillant à rédiger le plan national. La partie du pas apporter une aide technique supplémentaire groupe qui siégeait au Conseil informait les en matière de suivi-évaluation axé sur la perfor- groupes interministériels des intérêts et des mance. Toutefois, sa vaste connaissance du sujet orientations du Conseil lors de réunions de tra- constitue un atout indéniable. USAID a aussi vail. Ils ont ensuite collaboré plus étroitement signifié à la Banque mondiale qu'elle entendait alors qu'ils rédigeaient leurs plans ministériels. collaborer plus étroitement avec elle à ce sujet. Le ministre des Finances a manifesté beaucoup Plusieurs donateurs peuvent aider le gouver- d'intérêt face à la possibilité de fournir des acti- nement égyptien à effectuer la transition vers un vités de formation dans le but de soutenir cette suivi-évaluation axé sur les résultats. Voici une initiative. Cependant, peu de cours se penchent liste de quelques activités financées par des spécifiquement sur la performance budgétaire et donateurs : *MEP corrigée finale-3 2/3/06 8:43 AM Page 175 Annexe II 175 Activités de soutien technique présentement en reçoivent le soutien et l'assistance technique cours du PNUD. · Le Projet sur l'accès aux données et leur diffu- Quelques recommandations concernant le sion permet au gouvernement égyptien de suivi-évaluation axé sur les résultats développer et tenir à jour leurs comptes natio- naux afin qu'ils demeurent conformes au Pour qu'une institution du secteur public par- Système des comptes nationaux implanté en vienne à se centrer sur la performance, cela 1993. USAID soutient ce projet, dont le but est nécessite des efforts majeurs, étalés sur plu- de mettre à niveau les systèmes technologiques sieurs années et soutenus par des champions qui d'information du ministère de la Planification souhaitent le changement. Cela est encore plus et d'apporter une aide technique pour renfor- vrai lorsqu'il s'agit d'un gouvernement en cer la cueillette, la présentation et la diffusion entier. Les gouvernements qui se sont embar- des données économiques importantes. qués dans cette aventure il y a plus d'une décen- · Le Programme de modernisation industrielle nie constatent que le processus est en évolution de l'Égypte contribuera à préparer le secteur constante. L'expérience internationale démontre industriel à effectuer la transition vers la libé- que les étapes préliminaires qui sont franchies ralisation des marchés. Ce projet obtient des lors du long voyage vers un climat de perfor- fonds de l'Union européenne, du gouverne- mance sont aussi celles qui s'avèrent les plus ment égyptien et du secteur privé. Son but est gratifiantes. Le gouvernement égyptien se situe de fournir une aide technique aux petites et au tout début du parcours. Les étapes suivantes moyennes entreprises et à l'ensemble du sec- lui permettront de progresser : teur. Une équipe danoise évalue présentement · Établir un groupe interministériel qui fera la la qualité du système national. promotion de la performance et du suivi- · Une activité financée par USAID est à l'origine évaluation axé vers les résultats. La présence d'un réseau pour faciliter l'accès à l'informa- d'une équipe qui regroupe des ministres tion législative du Parlement égyptien. Les adeptes de changement au sein de leur propre documents du projet indiquent que l'Assem- organisation permettra d'accélérer l'adoption blée populaire fait davantage pression pour du suivi-évaluation et d'introduire un proces- obtenir de l'information de meilleure qualité, sus budgétaire davantage axé sur les résultats. surtout celle venant des agences gouvernemen- Relevant directement du ministre des Finances, tales. Les membres de l'Assemblée populaire un tel groupe pourrait par exemple: concevoir souhaitent aussi obtenir de l'information une stratégie globale pour guider les efforts; concernant les sujets dont il est question lors encadrer et évaluer les projets pilotes en cours des débats. dans différents ministères individuels et dans · Le soutien technique temporaire du FMI per- d'autres organisations; trouver un moyen de met aux autorités de déceler les faiblesses pré- partager les meilleures pratiques avec les autres sentes dans la base de données nationale, ministères et mettre sur pied d'autres projets notamment dans les domaines suivants des pilotes. Ce groupe déterminerait si les comptes nationaux, des comptes à recevoir, méthodes employées dans d'autres pays pour des statistiques de prix et des domaines moné- promouvoir la performance ­ tels que des taire et fiscal. Les domaines des comptes à décrets présidentiels, des modifications aux recevoir et de la dette extérieure ont par le lois budgétaires, des lois ­ sont pertinentes passé obtenu un soutien à long terme. dans le contexte égyptien. · Le Centre d'information et de soutien aux · Soutenir le Conseil national sur le statut de décisions ainsi que le ministère des Finances la femme afin qu'il fasse un suivi et une *MEP corrigée finale-3 2/3/06 8:43 AM Page 176 176 Annexe II évaluation de la mise en oeuvre des initiatives d'une telle commission seraient issus à la fois liées au genre incluses dans le plan 2002- des agences mandatées pour la production de 2006. Ce plan a été développé grâce à une statistiques et des statisticiens chevronnés du collaboration étroite entre le Conseil (placé milieu universitaire ou du secteur privé. sous la protection de la première dame), le · Accorder davantage d'intérêt aux besoins du ministère de la Planification et les ministères client. Les statistiques ne possèdent aucune de tutelle. Le suivi-évaluation de la mise en valeur si personne ne les utilise. Les produc- oeuvre entraînera, à notre avis, des change- teurs de statistiques devraient tous encoura- ments au sein de plusieurs ministères. Le ger la diffusion des données, au sein et à l'ex- Conseil réunit des intervenants de divers térieur du gouvernement. Les agences milieux (intellectuels, secteur privé, ONG, pourraient former des comités afin de mieux médias et fonctionnaires). Il est donc en comprendre les besoins de leurs clients. Ces mesure de favoriser les consensus à propos comités pourraient aussi encourager les usa- des questions relatives aux mesures et de gers à partager l'information et à solutionner celles liées à la transparence des résultats. des problèmes en commun. Les comités orga- · Accroître la capacité pour soutenir la niseraient des rencontres périodiques avec les réforme. Pour implanter des réformes signifi- directeurs des agences statistiques. Un comité catives, un pays doit mettre sur pied une conseillerait également le CAPMAS (ou équipe bien organisée dont le rôle est de sou- l'agence qui sera désignée) et l'informerait des tenir les efforts de réforme. Une telle équipe besoins de l'ensemble des usagers de l'infor- appuierait le groupe ministériel et les projets mation statistique égyptienne. pilotes en réduisant au minimum les · Faire partie du Système spécial de diffusion embûches bureaucratiques et en favorisant des données du FMI. Afin de percer sur les l'innovation et l'apprentissage. Cette équipe marchés internationaux, l'Égypte devra de partagerait les leçons tirées de l'expérience plus en plus produire des statistiques fiables. avec les autres paliers gouvernementaux. Il serait ainsi important de souscrire aux Dotée d'un personnel qualifié issu de plu- sieurs ministères, l'équipe puiserait dans les Normes spéciales de diffusion des données vastes ressources des communautés intellec- (http://dsbb.imf.org). Les pays qui y sont ins- tuelle et non gouvernementale de l'Égypte. crits sont tenus de se conformer aux normes · Moderniser les politiques sur les statistiques. internationales sur la diffusion de données Le système statistique égyptien, malgré ses économiques et financières et de tenir leurs forces évidentes, ne produit pas toujours des politiques et leurs normes à jour. La partici- données de qualité ni des données qui répon- pation aux Normes du FMI donnerait le coup dent aux besoins des clients. L'Égypte devrait d'envoi à la modernisation du système statis- réviser sa loi sur les statistiques et confier à des tique égyptien. agences distinctes les responsabilités de recueillir · Encourager le soutien des donateurs. Les des statistiques et de mobiliser des troupes (pré- donateurs peuvent soutenir le virage de sentement assumées par CAPMAS). De nom- l'Égypte vers le suivi-évaluation axé sur les breux pays confient à une commission ou à résultats en lui fournissant notamment de la un organe similaire la tâche de déterminer les formation et de l'aide technique. Pour ce politiques et les normes entourant la produc- faire, les donateurs peuvent s'entourer d'ex- tion et la diffusion de données statistiques perts provenant du milieu universitaire ou officielles. L'Égypte devrait se conformer à d'instituts de recherche indépendants et s'ins- une stratégie semblable afin de coordonner pirer des expériences internationales en les politiques et les normes. Les membres matière de suivi-évaluation. *MEP corrigée finale-3 2/3/06 8:43 AM Page 177 Annexe II 177 Les activités de soutien de la Banque 2. Améliorer la capacité de l'Égypte à produire des données statistiques. 1. Apporter un appui technique au ministre des L'Égypte devrait annoncer son intention de sous- Finances afin qu'il dirige le processus budgétaire crire aux Normes spéciales sur la diffusion des vers un processus qui tient compte des résultats. données du FMI et déterminer l'agence qui en La Banque organisera et coordonnera un atelier sera responsable. Ceci permettra à l'Égypte d'of- ou une séance de consultation pour diriger le frir, tel qu'elle le souhaite, des titres garantis par groupe interministériel nouvellement formé. l'État sur les marchés d'investissement interna- Tout en s'inspirant des expériences internatio- tionaux. Il faudrait qu'elle fasse valoir son inten- nales, cet atelier abordera principalement le tion de souscrire et la date à laquelle elle compte budget et la performance et proposera un plan le faire, même si l'acceptation finale dépend du d'action pour l'Égypte. L'approche sera interac- remaniement de ses comptes nationaux et de sa tive et la séance durera deux jours. Lors de la fiscalité que l'Égypte effectue présentement. première journée, des experts de la Banque par- tageront leurs points de vue inspirés des expé- Annexes riences internationales concrètes. Le ministre des Finances présentera, pendant la deuxième jour- Annexe A Le mandat née, sa vision, son plan et sa stratégie pour l'É- Annexe B Les entrevues gypte. Cette activité devrait avoir lieu à l'au- Annexe C Les Objectifs de développement tomne 2001. pour le Millénaire et l'Égypte La Banque soutiendra le Conseil national sur Annexe D Notes, références et ressources le statut de la femme tandis qu'il prépare un Annexe A ­ Le mandat cadre pour le suivi-évaluation des mesures liées au genre incluent dans le plan des ministères Mission sur le terrain en Égypte afin d'évaluer pour 2002-2006. son état de préparation, 2 au 6 juin 2001 Le Conseil a spécifiquement demandé qu'on Introduction l'assiste dans la conception et la construction d'un système de suivi-évaluation axé sur les En septembre, le conseil d'administration de la résultats afin qu'il puisse suivre le rendement Banque a approuvé le Programme d'améliora- des programmes liés au genre dans certains tion du suivi-évaluation. Huit pays, dont l'É- ministères. On lui fournira ainsi des conseils, gypte, participent à ce programme, dont le but des services de consultants et de la formation. premier est de permettre à la Banque et aux pays Ce soutien sera en lien avec l'évaluation du emprunteurs de faire un meilleur suivi des résul- genre que commandite la Banque. tats du développement en renforçant leur utilisa- La Banque devrait communiquer avec le tion des systèmes de suivi-évaluation. Ces sys- Conseil et ses conseillers techniques afin de tèmes, qui appuient une saine gestion publique, déterminer le moment et le contenu de la séance permettent aux fonctionnaires de déterminer et de consultation prévue pour l'automne 2001 au d'établir des objectifs et des réalisations réalistes Caire. On compte établir les grandes lignes de la pour les programmes publics. Un système de formation qui pourrait être développée conjoin- suivi-évaluation fonctionnel requiert: 1) des indi- tement avec l'université américaine au Caire et cateurs de performance qui font l'objet d'un suivi d'autres instituts de recherche ayant de l'expé- régulier afin de déterminer le progrès vers l'at- rience dans ce domaine. Le secrétaire général du teinte des objectifs de développement ; et 2) un Conseil national sur le statut de la femme siége- système de collecte de données fiable qui permet rait également sur le groupe interministériel. de publier des informations sur ces indicateurs. *MEP corrigée finale-3 2/3/06 8:43 AM Page 178 178 Annexe II Lors de leur mission en Égypte, l'équipe sur le Le ministère de la Santé et de la Population terrain rencontrera de nombreux fonctionnaires, ­ La personne responsable de la sous-traitance des donateurs et des intervenants provenant des services non essentiels d'organisations diverses afin de voir si l'implan- L'Organisation d'assurance-santé tation d'un système de suivi-évaluation pourrait ­ Le directeur ou la personne en charge soutenir une saine gestion publique. L'équipe Le Centre de recherche sur l'agriculture prendra connaissance des efforts présentement ­ La personne en charge en cours et déterminera les capacités actuelles du Le Centre national de recherche en éducation gouvernement en matière de collecte de données ­ Le directeur et de diffusion des résultats. Elle évaluera aussi le Le Bureau national des statistiques (ou l'agence climat général afin de déceler les sources de responsable des enquêtes auprès des ménages) potentiel ou de conflit pour la conception et la ­ Le directeur mise en oeuvre d'un tel système. Les donateurs ­ Une rencontre avec les principaux dona- Les rencontres avec les dirigeants clés teurs, tels que l'USAID, le PNUD, etc. Il sera important de tenir compte des points de vue des fonctionnaires ou des entités suivants : Voici une liste non exhaustive de questions que Le ministère des Finances l'on pourrait poser à ces dirigeants : ­ Ministre des Finances 1) Qu'est-ce qui pousse l'Égypte à adopter un ­ Les personnes impliquées dans la formula- système de suivi-évaluation axé sur les tion du budget résultats ? (incitations et demandes) ­ Si, tel que proposé, une Unité de soutien 2) Qui, au sein du gouvernement, est respon- pour les décisions en matière de politiques sable de l'efficacité des programmes ? fiscales a été mise sur pied, l'équipe la ren- 3) Une organisation ou une stratégie formelle contrera a-t-elle été chargée de faire un suivi des ­ Les personnes impliquées dans l'incorpora- objectifs de développement au sein du tion des 62 services économiques publics gouvernement ? Le ministère de la Planification 4) Le pays possède-t-il la capacité ou les outils ­ Les personnes qui préparent et qui supervi- nécessaires pour concevoir et utiliser un sent le budget d'investissement système de suivi-évaluation axé sur les ­ Le directeur du Bureau des statistiques résultats ? Comment cette capacité (ou cette Le Bureau du premier ministre incapacité) a-t-elle influencé l'utilisation ­ Les personnes qui sont directement respon- d'un tel système ? sables de déterminer les priorités par sec- Les objectifs de la mission teur et qui effectuent la planification de développement économique globale L'équipe sur le terrain espère pouvoir trouver Le Bureau central de comptabilité au moins un champion qui entreprendra la ­ Le directeur ou les personnes chargées d'ef- conception d'un système de suivi-évaluation fectuer les évaluations ex post du budget pour les objectifs des programmes et des sec- Les ministère de la Santé et de la Population, minis- teurs. Idéalement, la mission incitera les princi- tère de l'Agriculture et ministère de l'Éducation paux donateurs qui s'intéressent au suivi-éva- ­ Le directeur des unités de réforme adminis- luation à travailler en partenariat avec l'Égypte trative dans le but de renforcer sa capacité à gérer les ­ Le directeur des systèmes administratifs de programmes nationaux en fonction de leur per- données et de diffusion formance. Enfin, l'équipe d'analystes élaborera *MEP corrigée finale-3 2/3/06 8:43 AM Page 179 Annexe II 179 un plan d'action et fera des recommandations différences de genre qui subsistent pour qui pourront être incorporés à un programme l'éducation primaire et secondaire d'ici destiné à encourager une utilisation judicieuse 2005. du suivi-évaluation par le gouvernement et les 4. Réduire des deux tiers le taux de mortalité principaux intervenants. infantile d'ici 2015. 5. Réduire des trois quarts le taux de mortalité Annexe B maternelle d'ici 2015. Liste des entrevues effectuées 6. Assurer un accès universel aux soins de santé reproductive d'ici 2015. Forum sur la recherche économique 7. Adopter des mesures nationales de dévelop- Centre d'information et de soutien aux décisions pement durable d'ici 2005 de façon à ren- du Cabinet égyptien verser les pertes en ressources environne- FMI mentales d'ici 2015. Ministère de l'Électricité et de l'Énergie Les agences égyptiennes ont inclus la plupart Ministère de l'Éducation de ces objectifs, ainsi que leurs indicateurs, dans Ministère des Finances leurs outils afin d'évaluer leurs programmes. Ministère de la Santé On lancera sous peu une enquête portant sur Ministère de l'Industrie et des Technologies les dépenses des ménages qui permettra de cal- Ministère de la Coopération internationale culer le taux de pauvreté. On discute beaucoup Ministère de la Planification de la meilleure façon de définir et de calculer le CAPMAS seuil de pauvreté national. Le Rapport de déve- Institut national de planification loppement humain pour l'Égypte de 1996 éta- Conseil national sur le statut de la femme blissait quant à lui cinq seuils de pauvreté : un Centre de recherche en administration seuil nutritionnel, un seuil inférieur et un seuil publique, université du Caire supérieur de pauvreté pour le revenu, un seuil Fonds social pour le développement inférieur et un seuil supérieur de pauvreté pour Centre de recherche sociale les dépenses. PNUD On publie largement les taux d'inscription USAID pour le primaire et le secondaire et l'Égypte cherche à atteindre un taux de scolarisation uni- Annexe C versel pour l'éducation de base (jusqu'à la hui- Les objectifs de développement internationaux tième année). Cependant, le recueil statistique et l'Égypte annuel du CAPMAS et le Rapport de dévelop- pement humain de l'Égypte comportent unique- Les conférences mondiales organisées par les ment les taux bruts d'inscription (y compris les Nations Unies dans la première moitié des étudiants plus âgés). Il est facile d'accéder aux années 1990 ont donné lieu à des résolutions et statistiques sur l'inscription des filles à l'école et des ententes qui mettent de l'avant sept objectifs la proportion de femmes faisant partie du corps de développement international : enseignant. On surveille étroitement et l'on dif- 1. Réduire de moitié la proportion de per- fuse les taux d'alphabétisation. L'amélioration sonnes vivant dans une pauvreté extrême de la condition des femmes constitue un objec- d'ici 2015. tif social primordial selon de nombreux docu- 2. Assurer l'universalité de l'enseignement pri- ments officiels et semi officiels. maire d'ici 2015. On publie les indicateurs de santé suivants : 3. Encourager l'égalité entre les sexes et l'au- l'espérance de vie à la naissance, les taux de tonomisation des femmes en éliminant les mortalité infantile et juvénile et les taux de mor- *MEP corrigée finale-3 2/3/06 8:43 AM Page 180 180 Annexe II talité maternelle. Le CAPMAS a procédé récem- Références ment à une nouvelle évaluation des taux de Egypt : Human Development Report, Institut national mortalité maternelle. Pour déterminer le bien- de planification, 1998, 2000. être de la population, le Fonds pour le dévelop- El Saiedi, H.E. Dr. Ali, Restructuring of the Power pement social base son indice de santé sur la Sector and Enhancement of Private Opportunities, compilation des taux de mortalité infantile et document présenté à la Chambre de commerce amé- juvénile ainsi que le taux de mortalité mater- ricaine, Égypte, oct. 2000. nelle. Grâce à son programme complet de santé Healthy Egyptians 2010, ministère de la Santé et de la Population. reproductive qui est offert dans le cadre du pro- Korayerm, Karima. « The Research Environment in gramme de santé de base, le ministère de la Egypt » dans Research for Development in the Santé peut enregistrer des données sur les taux Middle East and North Africa. IDRC. En ligne : de fertilité et l'utilisation de contraceptifs au www.idrc.ca/books/focus/930/15koraye.html. sein de la population desservie. Il recueille aussi Public Debt Management Program, République arabe de l'information sur la disponibilité de l'eau d'Égypte, ministère des Finances, document présenté lors de la conférence Euromoney, Emerging Arab potable. Economies : Breaking New Ground in the Global Les exemples ci-dessus montrent bien que Markets, sept. 2000. l'Égypte s'emploie activement à suivre les pro- The National Council for Women. Pamphlet, n.d. En grès effectués dans le domaine des objectifs de ligne : http://ncw.gov.eg bien-être humain fixés par la communauté Towards a More Result Oriented Budget Process in Egypt, Examen des dépenses publiques des secteurs internationale et qu'elle a besoin de données de sociaux, Banque mondiale, Groupe sur le développe- qualité pour y parvenir. ment économique et social, Région du Moyen-Orient et de l'Afrique du Nord, janv. 1999. Valsan, E.H. « The Egyptian Civil Service and the Continuing Challenge of Reform », Research in Annexe D Public Administration, vol. 5, p. 223-226, 1999. www.IDSC.gov.eg (site Web du Centre d'information et Notes de soutien aux décisions du Cabinet égyptien) http://www.oecd.org/puma (site Web du Programme de 1. Valsan, E.H. « The Egyptian Civil Service and the gestion publique et de gouvernance de l'OCDE) Continuing Challenge of Reform » dans Research in Public Administration, vol. 5, p. 223-226, 1999. 2. Korayerm, Karima. « The Research Environment in Egypt » dans Research for Development in the Middle East and North Africa. IDRC. En ligne : www.idrc.ca/books/focus/930/15koraye.html. 3. Egypt Social and Structural Review, document préli- minaire, Banque mondiale, 2001. *MEP corrigée finale-3 2/3/06 8:43 AM Page 181 Annexe III Objectifs du Millénaire pour le développement Objectif 1 : Réduire l'extrême pauvreté et la Indicateurs faim Cible 1 Réduire de moitié, entre 1990 et 1. Proportion de la population disposant de moins d'un dollar 2015, la proportion de la popu- par jour. lation dont le revenu est infé- 2. Indice d'écart de la pauvreté [incidence de la pauvreté X degré rieur à un dollar par jour. de pauvreté]. 3. Part du cinquième le plus pauvre de la population dans la consommation nationale. Cible 2 Réduire de moitié, entre 1990 et 4. Pourcentage d'enfants de moins de 5 ans présentant une insuf- 2015, la proportion de la popu- fisance pondérale. lation qui souffre de la faim. 5. Proportion de la population n'atteignant pas le niveau minimal d'apport calorique. Objectif 2 : Assurer l'éducation primaire pour Indicateurs tous Cible 3 Donner à tous les enfants, gar- 6. Taux net de scolarisation dans le primaire. çons et filles, d'ici à 2015, les 7. Proportion d'écoliers commençant la première année d'études moyens d'achever un cycle com- dans l'enseignement primaire et achevant la cinquième. plet d'études primaires. 8. Taux d'alphabétisation des 15 à 24 ans. Objectif 3 : Promouvoir l'égalité des sexes et Indicateurs l'autonomisation des femmes Cible 4 Éliminer les disparités entre les 9. Rapport filles/garçons dans l'enseignement primaire, secon- sexes dans les enseignements daire et supérieur, respectivement. primaire et secondaire d'ici à 10. Taux d'alphabétisation des femmes de 15 à 24 ans pas rapport 2005 si possible, et à tous les aux hommes. niveaux de l'enseignement en 11. Pourcentage de femmes salariées dans le secteur non agricole. 2015 au plus tard. 12. Proportion de sièges occupés par des femmes au parlement national. Objectif 4 : Réduire la mortalité infantile Indicateurs Cible 5 Réduire de deux tiers, entre 1990 13. Taux de mortalité des enfants de moins de 5 ans. et 2015, le taux de mortalité des 14. Taux de mortalité infantile. enfants de moins de cinq ans. 15. Proportion d'enfants de 1 an vaccinés contre la rougeole. Objectif 5: Améliorer la santé maternelle Indicateurs Cible 6 Réduire de trois quarts, entre 16. Taux de mortalité maternelle. 1990 et 2015, le taux de morta- 17. Proportion d'accouchements assistés par du personnel de santé lité maternelle. qualifié. Objectif 6 : Combattre le VIH/SIDA, le palu- Indicateurs disme et d'autres maladies Cible 7 Stopper d'ici à 2015 la propaga- 18. Taux de prévalence du VIH parmi les femmes enceintes âgées tion du VIH/SIDA et commen- de 15 à 24 ans. cer à inverser la tendance 19. Taux d'utilisation de la contraception. actuelle. 20. Nombre d'enfants orphelins du sida. *MEP corrigée finale-3 2/3/06 8:43 AM Page 182 182 Annexe III Cible 8 Maîtriser d'ici à 2015 le palu- 21. Taux de prévalence du paludisme et taux de mortalité lié à disme et d'autres grandes mala- cette maladie. dies, et commencer à inverser la 22. Proportion de la population vivant dans les zones à risque qui tendance actuelle. utilisent des moyens de protection et des traitements efficaces contre le paludisme. 23. Taux de prévalence de la tuberculose et taux de mortalité lié à cette maladie. 24. Proportion de cas de tuberculose détectés et soignés dans le cadre de traitements de brève durée sous surveillance directe. Objectif 7 : Assurer un environnement durable Indicateurs Cible 9 Intégrer les principes du déve- 25. Proportion de zones forestières. loppement durable dans les 26. Superficie des terres protégées pour préserver la biodiversité. politiques nationales ; inverser 27. PIB par unité d'énergie consommée (rendement énergétique). la tendance actuelle à la déper- 28. Émissions de dioxyde de carbone, par habitant (plus deux don- dition des ressources environne- nées sur la pollution atmosphérique : appauvrissement de la mentales. couche d'ozone et accumulation des gaz à effet de serre). Cible 10 Réduire de moitié d'ici à 2015 29. Proportion de la population ayant accès de façon durable à le pourcentage de la population une source d'eau meilleure. qui n'a pas accès de façon durable à un approvisionne- ment en eau potable. Cible 11 Améliorer sensiblement la vie 30. Proportion de la population ayant accès à un meilleur système d'au moins 100 millions d'habi- d'assainissement. tants de taudis, d'ici à 2020. 31. Proportion des ménages ayant accès à la sécurité d'occupation des logements (selon des recoupements urbains ou ruraux). Objectif 8 : Mettre en place un partenariat Indicateurs mondial pour le développement Certains indicateurs ci-dessous feront l'objet d'un suivi séparé dans les pays les moins bien développés (PMD), les pays enclavés, les pays insulaires et l'Afrique. Cible 12 Poursuivre la mise en place d'un Aide publique au développement (APD) système commercial et financier 32. APD nette, en pourcentage du PIB des pays donateurs membres multilatéral ouvert, fondé sur du CAD/OCDE (0,7% pour l'ensemble et 0,15% pour les des règles, prévisible et non dis- PMD). criminatoire. Cible 13 S'attaquer aux besoins particu- 33. Proportion du montant total de l'APD allouée par secteur aux liers des pays les moins avancés. services sociaux de base (éducation de base, soins de santé pri- La réalisation de cet objectif maires, nutrition, eau salubre et assainissement). suppose l'admission en franchise 34. Proportion de l'APD qui est déliée. et hors contingents des produits 35. APD reçue pour l'environnement par les petits États insulaires exportés par les pays les moins 36. APD reçue pour le transport par les États enclavés. avancés; l'allégement de la dette des PPTE et l'annulation des dettes bilatérales envers les créanciers officiels; et l'octroi d'une APD plus généreuse aux pays qui démontrent leur volonté de lutter contre la pau- vreté. Cible 14 Répondre aux besoins particu- Accès au marché liers des États enclavés et des 37. Proportion des exportations (en valeur et à l'exclusion des petits États insulaires en déve- armes) admises en franchise de droit. *MEP corrigée finale-3 2/3/06 8:43 AM Page 183 Annexe III 183 loppement. (Programme de la Barbade et clauses de la 22e Assemblée générale) Cible 15 Traiter globalement le problème 38. Taux moyens de droits appliqués par les pays développés aux de la dette des pays en dévelop- vêtements et produits agricoles et textiles en provenance des pement par des mesures d'ordre pays en développement. national et international 39. Estimation des subventions agricoles dans les pays membres propres à rendre leur endette- de l'OCDE en pourcentage de leur PIB. ment viable à long terme. 40. Proportion de l'APD allouée au renforcement des capacités commerciales. Viabilité de la dette 41. Proportion de PPTE dont la dette a été annulée. 42. Service de la dette, en pourcentage des exportations de biens et services. 43. Proportion de l'ADP consacrée à l'allégement de la dette. 44. Nombre total de pays ayant atteint les points de décision de l'initiative PPTE et nombre total de pays ayant atteint les points d'achèvement (cumulatif). Cible 16 En coopération avec les pays en 45. Taux de chômage des jeunes âgées de 15 à 24 ans. développement, créer des emplois décents et productifs pour les jeunes. Cible 17 En coopération avec l'industrie 46. Proportion de la population ayant accès de façon durable à des pharmaceutique, rendre les médicaments de base d'un coût abordable. médicaments essentiels dispo- nibles et abordables dans les pays en développement. Cible 18 En coopération avec le secteur 47. Nombre de lignes téléphoniques pour 1 000 habitants. privé, mettre les avantages des 48. Nombre de micro-ordinateurs pour 1 000 habitants. nouvelles technologies, en parti- culier les technologies de l'in- formation et de la communica- tion, à la portée de tous. *MEP corrigée finale-3 2/3/06 8:43 AM Page 184 *MEP corrigée finale-3 2/3/06 8:43 AM Page 185 Annexe IV Politique d'évaluation nationale pour le Sri Lanka Ce rapport a été produit par l'Association du Sri Lanka pour l'évaluation (SLEvA) et le ministère du Développement et de la Mise en oeuvre des politiques (déc. 2003) Préambule La situation actuelle et la nécessité d'implanter une Politique nationale d'évaluation Le gouvernement sri lankais reconnaît, à l'instar de la communauté internationale, que l'évaluation La plupart des citoyens se préoccupent de la per- constitue un élément essentiel d'une gestion formance du secteur public. Les contribuables exi- publique efficace. L'évaluation encourage l'effica- gent du gouvernement qu'il démontre qu'ils en cité du développement, la transparence, la respon- obtiennent pour leur argent dans la prestation des sabilité et permet de prendre des décisions éclai- services publics. Dans un contexte d'évolution rées. Dans ce document, le terme «évaluation» est mondiale rapide, on remet en question la perti- nence des institutions et de leurs mandats. utilisé dans un contexte de développement. Il s'agit Parallèlement, le nombre croissant de problèmes et d'un «examen systématique et objectif d'un pro- le taux de performance insatisfaisant des projets jet, d'un programme ou d'une politique en cours démontrent la nécessité de recourir à des évalua- ou terminé. Cet examen observe la conception, la tions systématiques. Les données disponibles met- mise en oeuvre et les résultats du projet et tente de tent en lumière le fait qu'un nombre important de déterminer si les objectifs étaient pertinents et s'ils projets de développement n'ont pas entièrement ont été atteints. On y examine également l'effica- atteint leurs objectifs. Au Sri Lanka, on rapporte cité du développement, l'impact et la durabilité» par exemple que seulement 44% des projets finan- (CAD et OCDE). Une évaluation alimente le pro- cés par la Banque asiatique de développement ont cessus de prise de décisions en lui fournissant une obtenu des retombées économiques et sociales suf- information crédible et utile et en lui permettant fisantes2. On conçoit cependant que des évalua- de tirer partie de l'expérience. Une évaluation sys- tions opportunes et des données fiables permettent tématique des projets, programmes et institutions aux gouvernements d'améliorer les politiques et la est déterminante pour une performance respon- conception des projets, d'accroître le rendement sable et une mise à jour des politiques dans le sec- des investissements et de faciliter la mise en oeuvre teur public1. Les évaluations constituent aussi un des projets en cours. outil de réforme pour le secteur public. Une éva- Le gouvernement est parfaitement conscient du fait que la majorité des ressources liées au suivi- luation sera réussie seulement si les planificateurs évaluation sont présentement consacrées au suivi et les décideurs utilisent les résultats de façon judi- des intrants et de la mise en oeuvre physique et cieuse et de manière à améliorer la formulation et financière de projets d'envergure. On accorde peu la planification des politiques. Il est donc néces- d'attention à l'évaluation des résultats, à la dura- saire d'établir des liens clairs entre, d'une part, les bilité, à la prestation des services, à la qualité et à évaluations et, d'autre part, les politiques, les la répartition des retombées bénéfiques parmi les réformes, la planification et le processus budgé- multiples groupes socioéconomiques ou les régions taire. Une politique nationale qui encadrerait géographiques. Par le passé, les systèmes de suivi- l'évaluation permettrait aussi de déterminer son évaluation s'intéressaient davantage à la mise en rôle dans le développement national. oeuvre, comportaient beaucoup de données mais *MEP corrigée finale-3 2/3/06 8:43 AM Page 186 186 Annexe IV peu d'information et ils disparaissaient aussitôt les Politique nationale d'évaluation projets terminés. D'ailleurs, ce sont souvent les donateurs qui exigent les évaluations. Il subsiste Les objectifs de la politique nationale des préjugés quant au fait que les évaluations sont d'évaluation des exercices de contrôle destinés à trouver des La politique nationale d'évaluation espère failles. Un autre problème réside dans le fait qu'il atteindre les objectifs suivants: n'y a pas de demande locale pour l'implantation · Amener les personnes à comprendre correcte- de systèmes de suivi. Il faudrait aussi renforcer le ment les aspects de l'évaluation et susciter un mécanisme qui assure que la conception de nou- intérêt pour l'évaluation axée sur les résultats veaux projets tiendra compte des résultats des éva- parmi les gestionnaires du secteur public. luations. Il s'agit là de problèmes qui méritent une · Promouvoir l'utilisation de l'évaluation en géné- attention immédiate. rant les outils, les méthodes ainsi que les capacités La rareté des ressources, l'inefficacité et la fai- humaines et institutionnelles nécessaires. blesse inhérentes à certains programmes (qui entraî- · Tirer des leçons des expériences passées afin de nent des disparités au niveau du développement), déterminer quels politiques, programmes, pro- montrent de plus en plus la nécessité pour les inter- jets et systèmes sont les plus susceptibles de ventions de développement d'atteindre les résultats réussir et quels sont les facteurs ayant contribué escomptés. Cette prise de conscience a entraîné l'in- à ce succès. troduction du système de suivi-évaluation axé sur les · Améliorer la conception et le développement résultats au sein de l'appareil étatique. L'intro- des politiques et des programmes en intégrant duction d'évaluations planifiées et systématiques à les résultats des évaluations aux politiques, aux tous les paliers gouvernementaux arrive donc à réformes, à la planification et au processus bud- point nommé. Cela est encore plus vrai pour le Sri gétaire. Lanka, où il existe beaucoup de potentiel pour pro- · Promouvoir la responsabilité, la transparence et gresser dans ce domaine compte tenu du fait que le la saine gestion des affaires publiques. pays entame un processus de paix et qu'il faudra développer rapidement (notamment la reconstruc- Les principes fondamentaux de la politique tion des zones dévastées par les guerres et les zones nationale d'évaluation adjacentes). Le programme de réforme économique Les principes fondamentaux suivants sous-ten- inclus dans l'initiative «Retrouver le Sri Lanka» dent la politique nationale d'évaluation: contribuera aussi au développement. · Les évaluations sont des examens pratiques. L'adoption formelle et l'implantation d'une poli- Elles ne sont pas des études scientifiques ni des tique nationale d'évaluation permettraient de suivre contrôles de surveillance. continuellement les progrès, d'examiner la perfor- · Les évaluations sont d'abord et avant tout un mance et d'améliorer les politiques afin de pour- instrument de responsabilisation et d'apprentis- suivre les aspirations de développement écono- sage. Une évaluation doit être effectuée de façon mique du secteur privé. Un environnement indépendante afin de conserver son objectivité favorable à une politique d'évaluation fait partie et sa fiabilité. Il est cependant important d'assu- de la boîte à outils nécessaire pour effectuer un rer un minimum de participation pour des fins suivi systématique du développement. Il permet d'apprentissage. Dépendamment des circons- également de lier le suivi et l'évaluation de la per- tances et des besoins, les gestionnaires devraient formance aux politiques grâce à la Chambre des justifier leur utilisation d'une évaluation interne, opérations nationales3 et au ministère du Dévelop- externe ou commune. On devrait encourager pement et de l'Implantation des politiques. La fonc- toutes les institutions du secteur public à recou- tionnalité de la Chambre des opérations dépend de rir aux évaluations puisqu'elles constituent une l'accès des politiciens et du grand public à l'infor- bonne manière d'apprendre et de se montrer mation sur le développement. responsables des résultats. *MEP corrigée finale-3 2/3/06 8:43 AM Page 187 Annexe IV 187 · Il faut encourager l'utilisation de diverses Mettre en marche la politique nationale formes d'évaluation (ex post, d'impact, de mi- d'évaluation parcours) car leurs fonctions ne sont pas les mêmes et sont effectuées à des moments diffé- Les critères de sélection pour l'évaluation rents du cycle du projet. On privilégiera surtout Pour des raisons d'ordre pratique et financier, il ne les évaluations courantes et celles de mi-par- cours. Pour obtenir une vue d'ensemble du sera peut-être pas possible d'évaluer tous les pro- développement, le gouvernement se fie à des grammes de développement. Les personnes res- évaluations sectorielles, institutionnelles, théma- ponsables de la mise en oeuvre devraient s'assurer tiques et politiques. que les principaux programmes, projets ou poli- · Les conclusions et les leçons à tirer des évalua- tiques seront soumis à une évaluation. Tous les tions devraient faire partie de l'élaboration des ministères sectoriels devraient en tenir compte et politiques, des réformes, de la planification et du développer un plan d'évaluation qui leur est processus budgétaire. Le gouvernement devrait propre. Le Comité sur les politiques économiques, s'inspirer des conclusions et partager cette infor- la Chambre des opérations nationales ou les mation avec les autres intervenants. Le public et Comités nationaux de suivi détermineront les por- les médias sont censés accéder facilement aux tions du plan biannuel qui méritent une évalua- résultats des évaluations des programmes et poli- tion. Les ministères sectoriels qui souhaitent éva- tiques de développement. On peut par exemple luer par eux-mêmes des projets ou des mettre sur pied des sites Web qui répondent à ce programmes pourront former une équipe qui besoin spécifique. comprend: · Dans certains cas, il serait bon de prescrire des 1. un représentant de la Chambre des opérations évaluations obligatoires. Il faudra alors prévoir nationales, du Département d'examen du les ressources nécessaires. Les partisans des poli- suivi et du progrès ou du ministère du tiques, programmes ou projets devront s'assurer Développement et de l'Implantation des poli- que des modalités d'évaluation sont intégrées tiques; lors de la conception et de la planification des 2. des représentants du Département des res- programmes et des politiques. On sélectionnera sources externes et de l'agence donatrice (s'il les sujets à évaluer en fonction de leur potentiel s'agit d'un projet qui est financé par une orga- d'apprentissage et de leur pertinence par rap- nisation étrangère); port au développement. (Voir les critères de 3. des représentants du Département de planifi- sélection plus bas.) cation nationale et du Département du budget · Tous les projets, programmes ou politiques national; devraient contenir, dès leur ébauche, des indica- 4. des représentants des organisations de la teurs et un cadre logique de performance afin qu'il société civile (comme l'Association sri lan- soit possible de s'y référer ultérieurement. · Il faudrait encourager les intellectuels, les orga- kaise pour l'évaluation ­ SLEvA) et des intel- nisations de la société civile et le secteur privé à lectuels. entreprendre des évaluations, de préférence en Cette équipe révisera et sélectionnera des projets partenariat avec les institutions publiques et des programmes qui conviennent à l'évaluation. ciblées. Ceci permettra au Département d'examen du suivi · Les services nationaux et provinciaux sont res- et du progrès et au ministère du développement et ponsables de s'assurer que leurs principaux de l'implantation des politiques de faire un suivi centres de coûts respectent suffisamment une des évaluations en cours. L'équipe se basera sur les discipline d'évaluation. critères suivants pour sélectionner des projets ou Toutes les institutions du secteur public doivent des programmes aptes à être évalués: intégrer les évaluations à leurs techniques de ges- 1. La pertinence de la politique (par exemple, tion du développement. réduire la pauvreté). *MEP corrigée finale-3 2/3/06 8:43 AM Page 188 188 Annexe IV 2. L'importance nationale accordée à la poli- nisations de la société civile ou d'évaluateurs pro- tique et son niveau de financement. fessionnels. Le ministère sectoriel concerné, à 3. L'aspect novateur et la capacité de reproduc- l'aide du Département central d'évaluation de la tion du programme. Il serait donc possible performance et d'autres partenaires, déterminera d'évaluer des projets de moins grande enver- les mandats de chaque évaluation. De son côté, le gure. Département central d'évaluation se chargera des 4. La nature du problème et l'intérêt du public. évaluations stratégiques et globales de nature thé- Les évaluations ne devraient pas s'attarder uni- matique. quement aux problématiques rencontrées, mais En collaboration étroite avec des associations surtout chercher à mettre l'accent sur les réussites et d'évaluation professionnelles, le ministère du les leçons qu'on peut en tirer. La modification du Développement et de l'Implantation des politiques rôle du gouvernement facilitera la transition et il développe et fait la promotion d'une culture faudra confier certains investissements publics au d'évaluation, de normes, de guides, de méthodes, secteur privé. Il sera donc nécessaire d'encourager le de meilleures pratiques, en plus de développer et secteur privé d'entreprendre lui aussi des évalua- de suivre d'évaluation, de sensibiliser les politi- tions de ses propres activités, surtout concernant les ciens et de diffuser les résultats. investissements publics. Des entités représentatives Les évaluations des ministères sectoriels ont ten- (comme la Chambre) se chargeront de ces évalua- dance à exercer davantage de pression, tandis que tions. Ces évaluations serviront à démontrer la celles effectuées par le Département central d'éva- contribution du secteur privé au développement luation de la performance influencent les poli- national et accroîtra la responsabilité et la transpa- tiques et la responsabilité. Il est important de trou- rence publiques. Les évaluations devront porter leur ver un équilibre entre la responsabilité et la attention sur les politiques en lien avec le secteur nécessité de tirer des leçons. privé plutôt que de regarder simplement les projets. Diffuser les résultats des évaluations Mettre en oeuvre la politique nationale d'évaluation Chaque secteur qui se lance dans une évaluation doit aussi songer à une stratégie pour en diffuser Tous les ministères et les agences qui touchent au les résultats à l'interne et à l'externe. Les minis- développement national sont responsables de la tères sectoriels devraient ainsi partager les rap- mise en oeuvre de la politique nationale d'évalua- ports d'évaluation (en version électronique) avec tion. Le ministère du développement et de l'im- le Département central d'évaluation de la perfor- plantation des politiques apportera le soutien, la mance. Ceci permettra de synthétiser les informa- formation et l'encadrement nécessaires. Des cours tions et de les intégrer au Système d'évaluation de d'appoint seront proposés régulièrement afin que l'information de la Chambre des opérations natio- la politique soit implantée le plus efficacement nales. À son tour, le Comité sur les politiques éco- possible. L'unité d'évaluation centrale de la per- nomiques veillera à ce que les résultats figurent formance du Département d'examen du suivi et dans les politiques, la planification, les réformes et du progrès tiendra un rôle déterminant dans l'im- dans le processus budgétaire. Le Parlement, les plantation de la politique. Les secrétaires des vérificateurs et le grand public pourront accéder ministères de tutelle dresseront des plans d'évalua- aux résultats. À la suite de l'atelier sur la diffusion tion dans leurs secteurs respectifs. des résultats, les ministères sectoriels prépareront Chaque ministère sectoriel devrait développer, un plan d'action qui déterminera spécifiquement en lien avec le Département d'examen du suivi et des actions de suivi, des responsabilités et un du progrès, des plans d'évaluation et des mandats échéancier précis. On soumettra des copies de ce lorsqu'il se lance dans une évaluation indépen- plan d'action et des progrès accomplis au minis- dante de ses opérations. Pour entreprendre de tère du Développement et de l'Implantation des telles études, les ministères retiendront les services politiques. Ce ministère et les ministères de tutelle du secteur public ou privé, des universités, d'orga- s'assureront que le plan d'action sera respecté et *MEP corrigée finale-3 2/3/06 8:43 AM Page 189 Annexe IV 189 que les résultats, les leçons et le suivi seront inté- société civile à participer activement aux projets grés à la planification en matière de développe- importants en révisant les indicateurs de perfor- ment et au cadre de gestion. mance (points de départ et objectifs). Les évalua- Les partisans du projet et le personnel de planifi- tions ne sont pas des études scientifiques; elles cor- cation veilleront à inclure les résultats dans la for- respondent plutôt à des enquêtes pratiques. On mulation de nouveaux projets ou programmes. Il peut ainsi employer des méthodes participatives faudra donc que les résultats soient présentés dans qui s'avèrent plus simples, rapides et moins coû- un court résumé facile à lire. Les formulaires et teuses. autres documents requis pour présenter un projet On développera localement des méthodes, des devront être ajustés en conséquence, de sorte à ce normes, des guides et un code d'éthique qui respec- que le processus de planification, le budget, l'exa- tent les standards internationaux d'évaluation. La men des dépenses publiques et les politiques s'ap- méthode, l'expertise et le savoir tiendront compte puient sur les résultats des évaluations. Il sera donc des besoins spécifiques à chaque secteur. Cette tâche important de promouvoir une collaboration étroite reviendra au ministère du Développement et de entre les différents paliers de gouvernement, notam- l'Implantation des politiques et à SLEvA, en colla- ment ceux chargés de l'évaluation, de la planifica- boration avec d'autres organisations de la société tion, du budget, des audits, des finances, des civile. dépenses publiques ou de l'examen des politiques. Soutenir la capacité et les partenariats Conseils, normes, méthodes et code d'éthique Il est important de pouvoir compter sur la dispo- Les évaluations en cours ou ex post devraient tou- nibilité de ressources humaines compétentes dans jours s'intéresser à la pertinence, l'efficacité, l'im- le domaine de l'évaluation. Le gouvernement pact et la durabilité des politiques ou des pro- reconnaît la nécessité de former un bassin profes- grammes. La méthodologie comprendra les sionnel d'évaluateurs et accorde une priorité cer- aspects suivants: financiers, économiques, sociaux taine au renforcement des capacités. On devrait (incluant les conflits), environnementaux, institu- inciter les universités et autres instituts de forma- tionnels ainsi que ceux liés au genre et à la dura- tion à inclure un volet sur l'évaluation à leur cur- bilité. Il faut encourager le recours à des analyses sus régulier. Le gouvernement pourrait aussi de coûts-bénéfices financières et économiques afin encourager les évaluations communes et les ate- de déterminer le rapport qualité-prix. De plus, la liers régionaux afin de partager des connaissances, méthodologie comprendra des aspects sociaux et des techniques et des méthodes d'évaluation. Les environnementaux. L'évaluation des bénéficiaires évaluations communes permettent de conserver fera partie intégrante de l'évaluation des pro- une certaine indépendance tout en renforçant la grammes sociaux. On accordera aussi une impor- capacité et l'appropriation locales. D'ici 2005, on tance particulière à l'environnement politique. Les souhaite que toutes les évaluations importantes problématiques liées à l'évaluation seront soule- montrent un niveau élevé d'appropriation natio- vées au moment de la planification et de la formu- nale. Pour ce faire, il faudra assurer la participa- lation du projet. Les projets qui engendrent des tion locale dans la planification, la conception, coûts de plus de 10 millions $US devront intégrer l'implantation et la diffusion de l'évaluation. des indicateurs de performance bien définis et se Les ministères sectoriels devront renforcer, dans conformer à une théorie de programme, à un leurs domaines respectifs, leur capacité d'effectuer modèle logique ou au Cadre d'analyse logique. On des évaluations de performance, ex post ou d'im- devrait encourager les projets de moins grande pact. Le ministère du Développement et de envergure à utiliser, autant que possible, des l'Implantation des politiques encadrera globale- approches semblables comprenant des indicateurs ment les évaluations et prendra les mesures sui- et des mesures de référence. On incite le vantes: a) le Département central d'évaluation de Département central d'évaluation de la perfor- la performance apportera son leadership, son sou- mance, SLEvA et d'autres organisations de la tien et sa supervision à la pratique évaluative; b) *MEP corrigée finale-3 2/3/06 8:43 AM Page 190 190 Annexe IV on utilisera, lorsque c'est approprié, les résultats et d'outils concernant les méthodes et les pratiques des évaluations lors de la prise de décisions; c) on évaluatives. établira des normes, des pratiques idéales et un code d'éthique; et d) on fera un suivi de la capa- Le financement des évaluations cité d'évaluation au sein du secteur public. Des ressources financières suffisantes contribuent Le Département central d'évaluation de la per- à la qualité de l'évaluation. Les ministères et les formance, secondé par des organisations d'évalua- conseils provinciaux devront allouer des sommes tion professionnelles issues de la société civile, pour les évaluations dans leur budget annuel. En aidera les ministères sectoriels à améliorer leur plus des fonds gouvernementaux, il est important capacité d'évaluation, à établir des normes et des qu'une partie du financement par des donateurs méthodes, et à accroître les capacités de son per- soit consacrée à des évaluations. Le gouvernement sonnel. Afin de parvenir à créer un bassin local de devra financer des évaluations ultérieures réguliè- consultants en évaluation, les ministères sectoriels rement car celles-ci ne font généralement pas par- pourront sous-traiter des contrats en évaluation à tie des projets financés par les donateurs. Il fau- des firmes du secteur privé ou à des organisations drait aussi trouver le moyen de financer des de la société civile. Le gouvernement encourage ce évaluations thématiques, institutionnelles et poli- type de partenariat, qui a pour but d'introduire les tiques. Le ministère du Développement et de évaluations participatives dans le secteur public. l'Implantation des politiques et les autres minis- De nombreuses évaluations mandatées par des tères de tutelle procéderont à un vote spécial à cet donateurs ont été menées par les donateurs eux- effet. mêmes et sans obtenir une grande participation du La supervision pays concerné. Une telle approche unilatérale conserve bien son objectivité mais n'aide aucune- Le ministère du Développement et de l'Implan- ment le pays évalué à développer les capacités tation des politiques supervisera l'implantation de nécessaires et ne lui permet pas d'inclure l'évalua- cette politique et s'assurera qu'elle rencontre ses tion dans son processus de planification d'en- objectifs. Le secrétaire du ministère (en lien avec semble. Le gouvernement devrait inciter les dona- des organisations de la société civile comme teurs à renforcer les capacités du pays à procéder SLEvA, la Chambre de commerce, des associa- à des évaluations. De plus, toutes les évaluations tions professionnelles) assurera un suivi annuel de portant sur des projets financés par des donateurs la mise en oeuvre de la politique. Le ministère du et toutes les évaluations indépendantes devraient Développement et de l'Implantation des politiques se faire en lien avec le Département central d'éva- et les autres partenaires créeront une modalité de luation de la performance, qui assurera la coordi- supervision consultative qui reflétera la création nation. Un centre de documentation situé au d'un environnement propre à l'évaluation au sein Département permettrait d'accéder à tous les rap- du secteur public. ports d'évaluation. Notes Les consultants et la sous-traitance 1. D'autres secteurs peuvent aussi bénéficier de l'évalua- Lorsque c'est possible, les ministères sectoriels tion. Ce document traite principalement des poli- tiques nationales pour le secteur public. Il peut cepen- retiendront les services de firmes professionnelles dant s'appliquer à d'autres secteurs. locales ou des individus possédant les compétences 2. Rapport-synthèse du pays sur l'évaluation de la et l'expérience adéquates. Le gouvernement s'en- Banque asiatique de développement de 1999. gage à promouvoir la capacité intérieure du pays à 3. La Chambre des opérations nationales se chargera de procéder à des évaluations. Il encouragera cepen- recueillir, d'analyser et de présenter les données éco- nomiques et les données sur le développement. Elle dant les évaluations communes effectuées par des fera également un suivi et une évaluation des travaux professionnels locaux et des consultants de l'étran- et des investissements de développement en cours au ger afin de stimuler les échanges de connaissances niveau national et régional. *MEP corrigée finale-3 2/3/06 8:43 AM Page 191 Annexe V La loi sur la reddition de comptes en matière de performance de l'Andhra Pradesh (Inde), 2003 (Version préliminaire) (Loi APPAC de 2003) Préambule Chapitre 8 Suivi et évaluation Chapitre 9 Incitations et désincitations Loi pour améliorer la responsabilité, gérer les Chapitre 10 Les comités directeurs systèmes d'information, évaluer la performance Chapitre 11 Les rapports annuels sur la perfor- des individus, des départements et des institu- mance tions dans l'État d'Andhra Pradesh, et pour Chapitre 12 Le développement des ressources toute question qui s'y rattache. humaines L'État d'Andhra Pradesh souhaite instaurer Chapitre 13 Un système de gouvernance simple, une bonne gouvernance comportant une gestion moral, responsable, ouvert et efficace de toutes les ressources afin de devenir transparent un « Swarnandhrapradesh ». Chapitre 14 Divers Attendu que le développement scientifique et systématique de l'État peut se réaliser de la Chapitre 1. Titre abrégé meilleure façon possible par une gestion efficace des systèmes d'information émanant de la base, 1. Loi prévoyant l'établissement d'une planifi- un tel développement nécessite une évaluation, cation stratégique et d'une mesure de la perfor- selon les besoins, de la performance des indivi- mance dans le gouvernement de l'État et pour dus, des départements et des institutions. d'autres fins. Et, attendu que les individus, les départe- Elle est adoptée par l'Assemblée législative du ments et les institutions devront être respon- gouvernement de l'État d'Andhra Pradesh. sables de leur performance par l'utilisation d'in- 2. Titre abrégé citations et de désincitations, un tel système de On peut citer cette loi comme La loi sur la reddition de comptes et d'évaluation établira un reddition de comptes en matière de perfor- système de gouvernance simple, moral, respon- mance de l'Andhra Pradesh, 2003. sable, ouvert et transparent. Elle s'appliquera à l'ensemble de l'État de Contenu l'Andhra Pradesh, incluant : a) tous les départements qui font partie du Chapitre 1 Titre abrégé gouvernement de l'État ; Chapitre 2 Constatations et objectifs b) toutes les agences semi-gouvernementales, Chapitre 3 Historique des réformes adminis- les agences locales, les institutions tratives en Andhra Pradesh coopératives, etc., sous le contrôle du Chapitre 4 Le système de reddition de comptes gouvernement ; en matière de performance c) toutes les institutions du secteur public Chapitre 5 La planification stratégique sous le contrôle du gouvernement ; et Chapitre 6 Les flux d'information d) toutes les organisations, institutions ou Chapitre 7 Mesure de performance et docu- individus qui reçoivent une subvention, mentation une assistance ou une aide, sous toute *MEP corrigée finale-3 2/3/06 8:43 AM Page 192 192 Annexe V forme, qu'elle soit de nature monétaire ou tion nécessaire sur la qualité et les résultats autre, de la part du gouvernement. à atteindre ; (1) La loi entrera en vigueur à la date choisie e) d'améliorer la prise de décision à divers par le gouvernement de l'Andhra Pradesh par niveaux en fournissant plus d'information un avis publié dans la Gazette de l'Andhra objective sur l'atteinte des objectifs, en Pradesh. améliorant l'efficacité des dépenses et des programmes gouvernementaux ; et Chapitre 2. Constatations et objectifs f) d'améliorer la gestion interne du gouver- 1. Constatations nement de l'État. Le gouvernement a constaté que : Chapitre 3. Historique des réformes a) le manque d'efficacité des programmes administratives en Andhra Pradesh publics mine la confiance des citoyens et réduit la capacité du gouvernement à s'at- L'État d'Andhra Pradesh a été un pionnier dans taquer de façon adéquate aux enjeux d'in- la mise en oeuvre de réformes administratives térêt public ; pour améliorer la performance des programmes b) l'information insuffisante empêche les publics : fonctionnaires d'améliorer l'efficacité des 1. le Comité K. B. Lal Ananthraman & programmes ; et Sriramulu sur les réformes administratives c) la conception des politiques et les déci- (1976) ; sions financières sont sérieusement handi- 2. M. K. Rustomji & associés sur les réformes capées par une définition insuffisante des administratives (1986) ; buts, des objectifs, de la performance et 3. le plan d'action pour les réformes adminis- des résultats attendus des programmes. tratives (juin 1986) ; 2. Objectifs 4. le Comité sur la réorganisation administra- Les objectifs de cette loi sont : tive ­ S.R. Ramamurthy, G.R. Nair et K.V. a) d'accroître la confiance des citoyens dans Natarajan (avril 1990) ; la capacité du gouvernement de l'État en 5. le Comité sur la réévaluation du personnel tenant systématiquement les départe- ­ B.C. Gangopadhyaya & J.M. Girglani ments, institutions et individus respon- (avril 1994) ; sables de l'atteinte des résultats attendus 6. le sous-comité ministériel sur les réformes des programmes ; administratives, dirigé par Sri Devender b) d'entreprendre une série de réformes en Goud (janvier 1997) ; matière de performance en fixant des 7. trois comités sur : a) la réorganisation des objectifs pour les programmes, en mesu- secrétariats (M.V.P.C. Sastry); b) la réorga- rant la performance en regard de ces nisation des commissariats et des directions objectifs, et en divulguant les progrès de départements (N.S. Hariharan); c) la réalisés ; délégation de pouvoirs aux percepteurs de c) d'améliorer l'efficacité et l'imputabilité district, etc. (B. Danam) ; publique du gouvernement en mettant 8. un comité spécial de cinq membres dans l'accent sur les résultats, la qualité du ser- chaque département, dirigé par le secrétaire vice et la satisfaction du consommateur ; responsable (décembre 1997) ; d) d'inciter les fonctionnaires à améliorer le 9. un groupe de travail sur la bonne gouver- service en planifiant bien l'atteinte de leurs nance, dirigé par Sri Madhav Godbole (jan- objectifs et en leur fournissant l'informa- vier 2000) ; *MEP corrigée finale-3 2/3/06 8:43 AM Page 193 Annexe V 193 10. un sous-comité ministériel sur les réformes 5) les fonctions et activités du plan stratégique administratives, dirigé par Sri Vidyadher seront essentiellement des fonctions gouver- Rao (2000) ; nementales et devront être exécutées par 11. un document d'orientation sur la gouver- des fonctionnaires du gouvernement. nance et la gestion publique (janvier 2002). 2. Le contenu du plan Chapitre 4. Le système de reddition de Le plan stratégique contiendra : comptes en matière de performance 1) un énoncé de mission détaillé couvrant les principales fonctions et opérations du Un système de reddition de comptes en matière département visant à accroître la capacité de de performance sera mis sur pied dans chaque prise de décision au sein du gouvernement et département ou institution comprenant un à améliorer la performance des compo- cadre exhaustif d'activités de gestion de la per- santes clés du secteur public qui contribuent formance, incluant : de manière significative au développement 1. la planification stratégique ; social et économique de l'État ; 2. les flux d'information ; 2) un énoncé indiquant dans quelle direction 3. la mesure de la performance ; le département entend procéder et quelles 4. le suivi et l'évaluation de la performance ; sont les principales réalisations qu'il vise ; 5. la planification budgétaire axée sur la per- 3) des buts et objectifs généraux, incluant des formance. buts et objectifs liés à des réalisations pour Chapitre 5. La planification stratégique les principales fonctions du département ; 4) une description de la façon dont les buts et 1. La planification stratégique objectifs seront atteints (un plan d'action), Tous les départements et institutions du gou- incluant une description des processus opéra- vernement élaboreront un plan stratégique qui tionnels, des compétences et des technologies, sera conforme à la vision du gouvernement de ainsi que des ressources humaines, finan- l'État : cières, informationnelles et autres qui seront 1) le plan stratégique : (a) établira des données requises pour atteindre ces buts et objectifs; de départ, (b) déterminera des points de 5) une description du lien entre les objectifs de comparaison, (c) élaborera des objectifs et performance inclus dans le plan et les objec- des stratégies ; tifs du département ; 2) le plan stratégique s'étendra sur une 6) une description des différents niveaux période d'un an à partir de l'année fiscale d'imputabilité, c'est-à-dire des objectifs au cours de laquelle il sera soumis, et devra mesurables ; être mis à jour et révisé ; 7) des facteurs extérieurs aux agences et hors 3) pendant le développement du plan straté- de leur contrôle qui pourraient influencer gique, le gouvernement sera consulté et les de manière significative l'atteinte des buts opinions et suggestions de ceux qui pour- et objectifs généraux ; et ront être touchés ou intéressés par un tel 8) une description détaillée des outils d'évalua- plan seront prises en compte ; tion utilisés pour estimer ou réviser les objec- 4) au début de chaque année financière, les tifs et la formulation de buts compatibles. dirigeants des départements prépareront un Chapitre 6. Les flux d'information plan pour l'année en concertation avec le secrétaire et le ministre responsables. Ce 1. La classification de l'information plan sera soumis au ministre qui le soumet- 1) Toute l'information pertinente, de n'im- tra à son tour à l'assemblée ; porte quelle source, sera présentée soit de *MEP corrigée finale-3 2/3/06 8:43 AM Page 194 194 Annexe V manière codée, verbale, textuelle, numé- plusieurs mandals, il sera considéré comme rique, audiovisuelle, alphanumérique, gra- le bureau de la sous-unité administrative. duée ou en pourcentages, et dans le format Par ex.: un bureau de division dans un prescrit, adapté à chaque niveau, dans département d'ingénierie sera considéré chaque département ou institution. comme le bureau de la sous-unité adminis- 2) L'information sera classée comme « ordi- trative pour les fins de cette clause. naire », « urgente » ou « prioritaire » et c) Tous les individus travaillant dans la identifiée par X, XX, XXX. L'information région des opérations à chaque centre d'in- confidentielle sera désignée par le terme formation seront personnellement tenus de « confidentiel ». prêter assistance à l'officier principal à ce niveau particulier pour la soumission d'in- 2. Les centres d'information formations au niveau supérieur d'une 1) Il y aura des centres d'information à trois façon systématique et périodique. niveaux, soit : (a) l'État, (b) le district/unité et (c) le mandal ou sous-unité, pour chaque 4. Le mode de communication département ou institution. 1) Le mode de communication de l'informa- 2) Chaque département et institution devra tion d'un niveau à un autre sera approuvé déterminer et désigner les trois niveaux tel au préalable et prendra la forme verbale, que spécifié dans la sous-section (1) pour personnelle, téléphonique, télégraphique communiquer l'information des niveaux ou s'effectuera par communication sans fil, inférieurs aux niveaux supérieurs et devra postale, électronique, ou par tout autre publier un avis dans la Gazette. moyen de communiquer des données. 3) Il y aura un officier principal nommé à 2) La communication de l'information pourra chaque niveau, qui agira comme dirigeant se faire par un ou plusieurs des modes men- du bureau de cette unité et sera personnel- tionnés dans la clause précédente et devra lement responsable de la collection, la être spécifiée dans les formats prescrits. compilation, l'analyse, la recherche, la pré- 5. Les formats servation et la communication de l'infor- 1) La collecte, la compilation, l'analyse, la mation, avec l'assistance de ses officiers documentation, la préservation et la com- subalternes et de son personnel. munication de toute information devront 3. Les explications se faire dans les formats prescrits spéci- a) Dans le cas où un département ou une ins- fiques à chacun des départements ou insti- titution n'a pas de bureau au niveau du tutions et devront être approuvés par le district ou que celui-ci ne couvre qu'une comité directeur. partie du district, ou qu'il couvre deux ou 2) Chaque format comprendra un code à neuf plusieurs districts, il sera considéré comme chiffres indiquant le code du département le bureau de l'unité administrative. Par (trois chiffres), le code de classification de ex. : un bureau local dans un département l'information (trois chiffres) et le nombre d'ingénierie sera considéré comme le correspondant au format individuel (trois bureau de l'unité administrative pour les chiffres). fins de cette clause. Explication : b) Dans le cas où un département ou une ins- a) Pour les fins de la gestion des systèmes d'in- titution n'a pas de bureau au niveau du formation, chaque département ou institu- mandal ou que celui-ci ne couvre qu'une tion obtiendra un code numéral spécifique partie du mandal, ou qu'il couvre deux ou contenant trois chiffres (par ex.: 036). *MEP corrigée finale-3 2/3/06 8:43 AM Page 195 Annexe V 195 b) Le code de classification de l'information loi, demander toute information de la part sera spécifique à chacun des départements des individus et de tous les bureaux des uni- ou des institutions et contiendra trois tés et sous-unités dans le territoire sous leur chiffres (par ex. : 027). autorité, dans les formats prescrits. c) Le nombre correspondant au format sera 2) Les comités directeurs auront également le le numéro de série du format répertorié pouvoir de demander toute information perti- sous chaque code de classification de l'in- nente de la part d'autres départements ou ins- formation et contiendra trois chiffres (par titutions, et ce, au niveau du comité directeur. ex. : 054). 3) Le gouvernement aura le pouvoir de 3) Les formats devront être désignés de façon à demander toute information de quelque extraire la bonne information appropriée département ou institution, ainsi que de pour l'analyse et susceptible d'être numérisée. tout citoyen de l'État, en rapport avec les 4) Il faudra préciser la périodicité, la désigna- services rendus par les différents départe- tion de l'officier (pour authentifier l'infor- ments et agences du gouvernement. mation), le mode de communication, etc., en Chapitre 7. Mesure de performance et plus des instructions nécessaires pour la col- documentation lecte, la compilation, l'analyse, la documen- tation et la communication de l'information. 1. La mesure de la performance 5) Les formats spécifiés dans cette section La mesure de la performance reliera les plans devront être périodiquement revus et mis à stratégiques aux résultats et sera un processus jour. Ces formats mis à jour devront rece- continu visant : voir un code avec une lettre à la fin qui 1) l'atteinte de la performance par une série changera à chaque mise à jour (par ex. : d'indicateurs, c'est-à-dire l'atteinte de cibles 036 027 054 A). physiques ou financières mensuelles ou cumulatives ­ indicateurs, fonctionnaires, 6. La périodicité des flux d'information institutions et autorité territoriale ; 1) La périodicité des flux d'information d'un 2) la progression des projets importants (phy- niveau à un autre peut être en continu, aux sique et financière) ; heures, quotidiennement, aux semaines, tous 3) l'atteinte de cibles en rapport avec des les quinze jours, mensuellement, trimestriel- points de comparaison et les meilleures pra- lement, tous les six mois ou tous les ans, tel tiques à tous les niveaux du gouvernement ; qu'il est prescrit dans les formats individuels. 4) la collecte d'information, c'est-à-dire que 2) Toute autre correspondance dans laquelle l'information reçue de chaque centre d'in- une information est demandée à un bureau formation sera résumée et que ces som- subalterne, outre celles qui sont déjà préci- maires seront envoyés des centres infé- sées dans les formats approuvés tel que spé- rieurs d'information au centre supérieur cifié dans la sous-section (1), devra néces- suivant dans les formats prescrits et les sairement contenir la date et le moment de délais donnés ; la réception de l'information ainsi que le 5) l'introduction d'un système de suivi de la mode de communication par lequel l'infor- performance en ligne ; mation sera envoyée au bureau supérieur et 6) la mesure des résultats ; vice versa. 7) les succès et les échecs. 7. Le pouvoir d'obtenir de l'information Explication : 1) Dans chaque département, le comité direc- Le mandal/sous-unité devra résumer l'infor- teur peut, afin d'atteindre les objectifs de la mation à son niveau et l'envoyer au centre d'in- *MEP corrigée finale-3 2/3/06 8:43 AM Page 196 196 Annexe V formation du district/unité dans un ou plusieurs 4) Des spécialistes pourront être associés aux modes et selon les formats spécifiés, etc. officiers et au personnel de département L'analyse de l'information se fera manuelle- dans le centre de recherche et d'analyse. ment, au moyen d'un ordinateur ou par tout 5) Les procédures et fonctions du centre de autre moyen tel que spécifié dans les formats. recherche et d'analyse devront être suivies L'officier en charge de l'information à chaque tel que prescrit. centre d'information sera personnellement res- Chapitre 8. Suivi et évaluation ponsable pour l'analyse et devra authentifier les sommaires avant de les envoyer au centre d'in- 1. L'évaluation formation du niveau supérieur suivant. 1) L'évaluation de la performance s'appli- quera à chaque individu travaillant sous 2. Documentation l'autorité des centres des trois niveaux, 1) Toute information recueillie et analysée devra c'est-à-dire : (a) l'État (b) le district/unité (c) être archivée sur support papier, électronique le mandal/sous-unité, et dans chaque ou autre avant que de nouvelles informations département ou institution de l'État. soient reçues au centre d'information. 2) Des indicateurs de performance devront être 2) Un officier responsable de la documenta- conçus pour chaque niveau tel que spécifié tion sous la supervision de chaque officier dans la section (1) selon leur juridiction, dans principal sera personnellement responsable les formats approuvés par le comité directeur pour l'archivage, la préservation et la récu- dans chaque département et institution, et pération d'information et devra prendre pourront être révisés périodiquement par le toutes les mesures nécessaires pour assurer gouvernement selon les besoins. la sécurité des archives et pour la récupéra- 2. Les paramètres d'évaluation tion de l'information à tout moment, 1) Les paramètres pour l'évaluation des indi- chaque fois que la demande en sera faite. vidus, des départements et des institutions 3) La procédure pour l'archivage devra se seront ceux approuvés par les comités faire tel que prescrit. directeurs ou le gouvernement, selon le cas. 3. Le centre de recherche et d'analyse 2) Les paramètres devront inclure des indica- tions sur la performance des individus, des 1) Il y aura un centre de recherche et d'analyse départements et des institutions pour le au centre d'information de l'État dans recouvrement des recettes, la modération chaque département et institution chargé dans les dépenses, l'utilité des dépenses, d'analyser les données passées et présentes l'habileté dans la planification, la gestion reçues des divers centres d'information et du temps, l'atteinte des objectifs, la rapidité d'autres sources. d'action, les compétences administratives, 2) Le centre sera dirigé par l'un des officiers le suivi et l'inspection, ou tout autre para- supérieurs du département ou de l'institu- mètre tel que prescrit. tion avec du personnel d'appui et sera sous 3) Tous les paramètres devront être calculés le contrôle du secrétaire du département selon une échelle ou quantifiables en concerné. temps, argent, quantité de travail, etc., et 3) Le centre analysera périodiquement l'infor- devront être spécifiés pour les individus, mation pour déterminer les tendances les départements et les institutions de quant à l'atteinte des objectifs de politique manière scientifique. publique par le gouvernement dans chaque 4) Il y aura quatre notes pour l'évaluation de département, tel que prescrit. la performance de chaque individu, dépar- *MEP corrigée finale-3 2/3/06 8:43 AM Page 197 Annexe V 197 tement et institution (par ex. : A, B, C et D), 5) Des réunions spéciales d'examen seront tel qu'approuvé par le gouvernement. tenues occasionnellement, à n'importe quel niveau mentionné dans cette section, en 3. Le pouvoir d'évaluation plus des réunions d'examen régulières, 1) Les officiers suivants seront chargés d'exa- selon la volonté du gouvernement. miner la performance des individus sous leur 6) La procédure pour les réunions d'examen et autorité selon les indicateurs prescrits. Au la responsabilité des individus sera telle que niveau du mandal ou sous-unité: l'officier en prescrite. charge du mandal ou sous-unité; au niveau du district ou unité: le percepteur du district Chapitre 9. Incitations et désincitations ou l'officier de l'unité; au niveau de l'État : le 1. Incitations secrétaire ou le chef du département. 1) Les individus, les départements et les institu- 2) Le premier ministre ou le premier secrétaire tions seront récompensés pour leur haut de l'État examinera la performance de tous degré de performance selon les spécifications. les départements et institutions au niveau 2) Les comités directeurs distribueront ces du gouvernement avec l'assistance d'un ou récompenses aux individus sous leur auto- de plusieurs secrétaires nommés à cette fin. rité selon les normes du gouvernement. 3) Le pouvoir d'examiner la performance des 3) Le gouvernement sera chargé de distribuer autres organisations, institutions ou indivi- ces récompenses aux départements et aux dus recevant toute forme de subvention, institutions. d'assistance ou d'aide, qu'elle soit moné- 2. Désincitations taire ou autre, du gouvernement, sera uti- 1) Dans les cas d'une performance déficiente, lisé tel que prescrit. les autorités compétentes prendront des 4. Réunion d'examen mesures disciplinaires en guise de sanctions, 1) L'officier en charge du mandal ou sous-unité tel que prescrit par les Règles CCA dans la examinera la performance dans le territoire présente loi pour les infractions suivantes : sous son autorité dans les formats prescrits a) information non soumise ; une fois par mois, le premier jour du mois. b) délai persistant dans la soumission d'information ; 2) Le percepteur du district ou l'officier en c) soumission d'information fausse ; charge de l'unité d'un département ou d) analyse déficiente ; d'une institution devra examiner la perfor- e) manquement au devoir officiel en rap- mance dans le territoire sous son autorité port avec la responsabilité prescrite dans dans les formats prescrits, une fois par la présente loi et les présentes règles; mois, le 5 de chaque mois. f) performance déficiente selon ce qui est 3) Le secrétaire ou le chef du département, prescrit ; selon le cas, devra examiner la performance g) irrégularités financières ; du département ou de l'institution, selon le h) mauvais usage des magasins, outils ou cas, dans les formats prescrits, une fois par usines; mois, le 10 de chaque mois. i) manquement dans la tenue de réunions 4) Le premier ministre ou premier secrétaire d'examen, dans le suivi complémen- devra examiner la performance de tous les taire, dans l'inspection et la sur- départements dans la deuxième semaine de veillance, etc. ; chaque trimestre, soit en janvier, avril, j) mauvais archivage et préservation des juillet et octobre de chaque année. documents. *MEP corrigée finale-3 2/3/06 8:43 AM Page 198 198 Annexe V 3. Instance d'appel 4) L'un des membres du comité directeur sera L'instance d'appel sous les ordres du comité nommé secrétaire par le président et sera directeur ou du gouvernement, selon le cas dans responsable de l'organisation des réunions. la présente loi, sera la Haute Cour de l'Andhra 5) Le secrétaire sera personnellement respon- Pradesh. sable de la convocation des réunions tri- mestrielles et des réunions spéciales aux Chapitre 10. Les comités directeurs dates spécifiées et fera le compte rendu de 1. La formation d'un comité directeur la réunion et des actions entreprises. 1) Un comité directeur pour chaque départe- 6) Le secrétaire entreprendra toutes les actions ment ou institution sera dirigé par le nécessaires à la mise en oeuvre du procès- ministre en charge du département ou de verbal de la réunion et portera à l'attention l'institution en tant que président et par le du comité directeur toute question se rap- secrétaire ou chef du département en tant portant aux actions entreprises ou à entre- que vice-président. prendre à chaque réunion. 2) Le comité directeur comprendra neuf membres incluant le président et le vice- Chapitre 11. Les rapports annuels sur la président ainsi que sept autres membres performance (par nomination) choisis dans les différents 1. Les registres de performance secteurs d'activité du département ou de 1) L'officier en charge tiendra un registre de l'institution tels que l'administration, la performance pour chaque individu qui sera comptabilité, le soutien technique, etc. remis à son successeur au moment de la 3) Le comité directeur peut s'adjoindre un transition à chacun des trois niveaux. nombre maximal de six experts et peut invi- 2) Le registre contiendra une autoévaluation ter des personnes à lui faire des suggestions. de l'officier responsable ainsi qu'une éva- 4) Le comité directeur sera nommé pour une luation de ses subordonnés en rapport avec période de trois ans et tout poste vacant les objectifs et les réalisations fixés pour devra être rempli par le comité en s'adjoi- chaque mois. gnant des membres. 5) La fonction du comité directeur sera rem- 3) Le registre sera examiné par le comité de plie tel que prescrit et le comité aura le pou- promotion du département ou par des offi- voir de mettre en vigueur la présente loi ciers au moment de la promotion à un dans le territoire du département ou de poste supérieur. Le contenu du registre ne l'institution sous son autorité. sera pas confidentiel. 2. Les réunions 2. Les manuels de département et les manuels 1) Le comité directeur dans chaque départe- de fonction ment ou institution devra obligatoirement 1) Chaque département ou institution aura un se réunir le 10e jour de chaque trimestre, manuel de département pour assurer la soit en janvier, avril, juillet et octobre de bonne marche dans l'atteinte de ses objectifs. chaque année. 2) Chaque département ou institution aura 2) La réunion sera présidée par le président, également un manuel de fonction pour ou par le vice-président en cas d'absence du chaque type d'emploi comprenant des pro- président. cédures détaillées et une attribution des res- 3) Le président pourra à sa discrétion convo- ponsabilités à divers niveaux. quer le comité directeur à d'autres moments, 3) Tous les individus travaillant dans un dépar- selon le besoin. tement ou une institution devront se confor- *MEP corrigée finale-3 2/3/06 8:43 AM Page 199 Annexe V 199 mer au manuel du département et au tera de façon écrite ou dans tout autre mode manuel de fonction. tel que prescrit les informations suivantes : a) le budget détaillé ; 3. Les tableaux d'emploi b) toutes les sanctions et approbations ; 1) Un tableau d'emploi sera préparé pour c) le détail des recettes et des dépenses ; chaque poste en tenant compte de sa situa- d) le nom des officiers et du personnel en tion au sein de chaque département ou ins- fonction ; titution. Les individus qui occupent ce poste e) le détail de toutes les activités dans le terri- seront responsables de leur performance toire sous son autorité ; et telle que décrite dans le tableau d'emploi. f) toute autre information, tel que prescrit de 2) Des tableaux d'emploi distincts seront pré- façon périodique. parés pour des postes similaires dans des 2) Les officiers responsables de l'archivage environnements différents, en tenant seront personnellement responsables de la compte de leur situation spécifique. préparation de ce rapport annuel avant le Explication : Des individus qui occupent le 1er mai de chaque année. même poste peuvent travailler dans des envi- 3) Les modalités de préparation du rapport ronnements différents qui nécessitent l'exécu- annuel, de sa distribution, préservation, tion de tâches spécifiques. Par ex. : un ingénieur etc., seront telles que prescrites. dans une unité de construction, dans une unité Chapitre 12. Le développement des ressources de relèvement, dans une unité de gestion des humaines eaux ou dans une unité de conception aura des tâches différentes à exécuter et aura un tableau 1. Les instituts de formation d'emploi spécifique à sa situation. 1) Il y aura un institut de formation principal 3) La préparation des tableaux d'emploi, la au niveau de l'État pour le développement portée et l'attribution des responsabilités, des ressources humaines, pour les officiers devront se faire tel que prescrit. et le personnel, et des centres de formation dans les districts sous son contrôle. 4. Les listes de contrôle 2) L'institut de formation principal devra sur- 1) Il y aura des listes de contrôle appropriées veiller et coordonner les activités de tous les pour chaque transaction exigeant une sanc- autres instituts de formation dans les diffé- tion ou une approbation, qu'elle soit de rents départements, tel que prescrit. nature technique, administrative ou en rap- 3) Un budget centralisé pour la formation sera port avec le suivi, dans chaque département géré par l'institut de formation principal ou institution. qui distribuera des fonds parmi les diffé- 2) Les listes de contrôle comprendront des rents départements, en pourcentage des listes pour les procédures de soumission, de estimés budgétaires, tel que prescrit de traitement et de sanction/approbation et façon périodique. devront être dûment authentifiées par les 4) L'institut de formation principal développera individus responsables à chaque niveau. un plan stratégique pour tous les instituts de formation sur la base d'une évaluation des 5. Le rapport annuel besoins des officiers et du personnel dans les 1) Chaque centre d'information devra, dans le différents départements et institutions. but de s'acquitter efficacement de ses fonc- tions selon la présente loi, produire un rap- 2. La formation port annuel devant guider ses opérations 1) La formation des officiers et du personnel pour les années à venir. Le rapport présen- peut toucher les compétences administratives, *MEP corrigée finale-3 2/3/06 8:43 AM Page 200 200 Annexe V techniques, managériales, et d'autres com- des services, par une décentralisation accrue pétences tel que prescrit, dans le but d'amé- et par l'inclusion des personnes pauvres et liorer l'efficacité dans l'atteinte des objec- désavantagées. tifs des programmes de l'État. Un gouvernement transparent : pour amélio- 2) Pendant la durée d'un mandat, on peut rer la planification, l'affectation des ressources, offrir des formations de différents types : le suivi, la gestion, les systèmes de comptabilité (a) d'orientation; (b) sur le terrain; (c) spé- et l'accès à l'information, de façon à ce que la ciale; et (d) d'autres types de formation tel responsabilité soit claire, l'allocation des fonds que prescrit. soit transparente et les dépenses publiques 3) Les composantes, la durée et le nombre de soient mieux contrôlées. formations, la sélection des participants et les autres modalités concernant l'organisa- Chapitre 14. Divers tion des programmes de formation seront 1. Le pouvoir d'enlever les obstacles tels que prescrits. 1) Si un obstacle surgit dans la mise en oeuvre 3. L'analyse de rétroaction des dispositions de la présente loi, le gou- L'efficacité de la formation fera l'objet d'une vernement pourra, selon les besoins, faire le surveillance, sur la base d'une analyse de rétro- nécessaire pour l'enlever, par une ordon- action des compétences des stagiaires avant et nance publiée dans la Gazette de l'Andhra après la formation. Pradesh. 2) Toutes les ordonnances rendues dans le Chapitre 13. Un système de gouvernance simple, cadre de la présente section devront, dès que moral, responsable, ouvert et transparent possible, être déposées à l'Assemblée législa- tive de l'État et être amendées ou rejetées Le gouvernement de l'Andhra Pradesh vise à dans la session courante ou la suivante. mettre en place un gouvernement simple, moral, responsable, ouvert et transparent. 2. Le pouvoir de réglementation Simplifier le gouvernement: pour permettre au 1) Le gouvernement de l'État peut, par un avis gouvernement d'améliorer la qualité du service publié dans la Gazette officielle, émettre aux consommateurs et pour obtenir un meilleur des règlements dans le but d'atteindre les rendement en simplifiant les procédures. objectifs de la présente loi. Un gouvernement moral : pour développer un 2) Tout règlement émis dans le cadre de la pré- plan HRM efficace en intégrant de nouvelles sente loi devra être déposé immédiatement structures et approches au HRM. à l'Assemblée de l'État si une session est en Un gouvernement responsable : pour amélio- cours, ou dans la session suivante, pour une rer la qualité et la rapidité de la fourniture des période de quatorze jours pouvant services, et pour développer une culture de per- s'étendre sur une ou deux sessions succes- formance flexible axée sur les résultats dans sives. Si, avant l'expiration de la session au toute la fonction publique au moyen de sys- cours de laquelle le règlement a été déposé, tèmes qui surveillent efficacement et mesurent ou la session qui suit, l'Assemblée législa- la performance. tive accepte d'entériner toute modification Un gouvernement sensible aux préoccupa- au règlement ou d'abroger le règlement, le tions des citoyens : pour garantir que les règlement devra, à partir du moment où la citoyens pourront s'exprimer d'une voix forte modification ou l'abrogation fait l'objet sur les questions de gouvernance de l'État, d'un avis, entrer en vigueur dans cette ver- par des mécanismes de participation à la pla- sion modifiée, ou être abrogé selon le cas, nification et une surveillance de la livraison et cela de telle façon que toute modification *MEP corrigée finale-3 2/3/06 8:43 AM Page 201 Annexe V 201 ou abrogation devra se faire sans préjudice ment ou une institution, pour une perfor- envers la validité de tout de qui a précé- mance donnée, sur la base des rapports demment été fait selon ce règlement. approuvés du comité statutaire mis en place 3. Protection des agissements de bonne foi à cette fin. Aucune sanction ne sera imposée à un indi- 6. « Désincitation » signifie toute forme de vidu, un département ou une institution pour désincitation, qu'elle soit monétaire, sous l'exécution de toute fonction dans le cadre de la forme de condamnation, d'une rétrograda- présente loi, pour une perte ou un dommage pro- tion, d'une sanction, etc., imposée à un voqué ou vraisemblablement provoqué par une individu, un département ou une institution action exécutée de bonne foi ou avec l'intention pour une performance donnée, sur la base d'être exécutée conformément à la présente loi des rapports approuvés du comité statu- ou selon les règlements qui s'y rattachent. taire mis en place à cette fin. 7. « Information » signifie une information Quelques définitions codée, verbale, textuelle, numérique, alpha- Dans la présente loi, à moins que le contexte numérique, audiovisuelle, graduée, en n'indique un sens différent, pourcentages, etc., générée ou à être géné- 1. « Gouvernement » signifie le gouvernement rée par des individus, des départements ou de l'État. des institutions (aussi bien des données 2. « Département » signifie tout département brutes que des données ayant fait l'objet sous contrôle du gouvernement de l'Andhra d'une analyse) dans l'exécution de leurs Pradesh. devoirs. 3. « Institution » signifie une institution ins- 8. « Système d'information » signifie le sys- taurée selon la loi par l'État ou toute autre tème approuvé de collecte, compilation, institution qui reçoit n'importe quelle analyse, documentation, récupération et forme de subventions, d'assistance ou communication de l'information à partir de d'aide, monétaire ou autre, du gouverne- la base et jusqu'au niveau de direction, tel ment. que prescrit. 4. « Individu » signifie un individu travaillant 9. « Performance » signifie toute forme de per- dans un département ou une institution formance calculable selon une échelle en publique et recevant un salaire ou toute rapport avec l'atteinte des objectifs pour les forme de rémunération ou d'assistance du cibles fixées, qu'elles soient monétaires, en gouvernement. termes de services, ou autrement, tel que 5. « Incitation » signifie toute forme d'incita- prescrit. tion, qu'elle soit monétaire, honorifique, 10. « Avis » signifie un avis publié dans la promotionnelle, sous forme de récompense, Gazette de l'Andhra Pradesh, et le terme etc., accordée à un individu, un départe- « avisé » sera interprété en conséquence. *MEP corrigée finale-3 2/3/06 8:43 AM Page 202 *MEP corrigée finale-3 2/3/06 8:43 AM Page 203 Annexe VI Glossaire des principaux termes relatifs à l'évaluation et la gestion axée sur les résultats Action de développement : Instrument d'aide utilisé Audit (contrôle) : Activité de contrôle en matière de par un partenaire (bailleur de fonds ou non) en qualité, exercée de façon objective et indépen- vue de promouvoir le développement. dante, et destinée à améliorer les opérations Remarque : par exemple, projets, programmes, d'une organisation et à en accroître la valeur. avis ou conseils en matière de politiques. L'audit aide une organisation à atteindre ses Activité : Actions entreprises ou travaux menés en objectifs grâce à une approche systématique et vue de produire des réalisations spécifiques. rigoureuse pour constater et améliorer l'effica- L'activité mobilise des ressources telles que des cité de la gestion des risques, du contrôle et des fonds, une assistance technique et d'autres types processus de gouvernance. de moyens. Remarque : une distinction doit être effectuée Terme connexe : action de développement. entre l'audit de régularité (de contrôle, exemple: Analyse des risques : Analyse ou appréciation de fac- contrôle financier) qui porte surtout sur la confor- teurs (appelés hypothèses dans le cadre logique) mité avec les procédures et règlements en vigueur qui contribuent, ou pourraient contribuer, à l'at- et l'audit de performance qui s'intéresse à la perti- teinte des objectifs d'une intervention donnée. nence, à l'économie, à l'efficacité. L'audit interne Examen détaillé des conséquences non voulues et fournit une appréciation des contrôles internes négatives qu'une action de développement pour- exercés par une unité rendant compte à la direc- rait avoir sur la vie humaine, la propriété ou l'en- tion, tandis que l'audit externe est exécuté par un vironnement. Processus visant à déterminer sys- organisme indépendant. tématiquement les conséquences indésirables et Autoévaluation : Évaluation réalisée par ceux qui ont les risques, avec quantification de leur probabi- la responsabilité de concevoir et de mettre en lité d'apparition et leur impact prévisible. oeuvre une action de développement. Appréciation préalable : Appréciation globale de la Bénéficiaires : Individus, groupes ou organisations pertinence, de la faisabilité et de la durabilité qui bénéficient de l'action de développement, probable d'une action de développement avant directement ou non, intentionnellement ou non. que la décision de financement ne soit prise. Termes connexes : publics concernés, ciblés ou Remarque : dans les agences et banques de déve- atteints. loppement, le but de cette appréciation est de But : Objectif énoncé relatif au projet ou au pro- donner aux décideurs les éléments qui leur sont gramme de développement. nécessaires pour décider si l'action représente un Cadre de résultats : Représentation logique expli- usage approprié des ressources de l'organisme. quant comment l'objectif de développement Terme connexe : évaluation ex ante. peut être atteint en prenant compte des relations Assurance qualité: L'assurance qualité couvre toute causales et des hypothèses implicites. activité concernant l'appréciation et l'amélioration Termes connexes : chaîne des résultats, cadre des mérites et de la valeur d'une action de déve- logique. loppement, ou le respect de normes préétablies. Cadre logique : Outil visant à améliorer la concep- Remarque: exemples d'activités d'assurance qua- tion des actions, le plus souvent au niveau des lité: appréciation préalable, gestion par les résul- projets. Cela suppose de déterminer les éléments tats, examens intermédiaires, évaluations, etc. stratégiques (ressources, extrants, réalisations, L'assurance qualité peut aussi concerner l'appré- impacts) et leurs relations causales, les indica- ciation de la qualité d'un portefeuille de projets et teurs, ainsi que les facteurs extérieurs (risques) son efficacité en termes de développement. qui peuvent avoir une influence sur le succès ou *MEP corrigée finale-3 2/3/06 8:43 AM Page 204 204 Annexe VI l'échec de l'action. Il facilite aussi la conception, durable, et avec un impact positif en termes de l'exécution et l'évaluation d'une intervention de développements institutionnel. développement. Terme connexe : effectivité. Terme connexe : gestion axée sur les résultats. Efficience : Mesure selon laquelle les ressources Cahier des charges : Document écrit présentant le but (fonds, expertise, temps, etc.) sont converties en et le champ de l'évaluation, les méthodes à utili- résultats de façon économe. ser, les références permettant d'apprécier la per- Enseignements tirés : Généralisations, établies à par- formance ou de mener les analyses, les res- tir de circonstances spécifiques relatives à des sources et le temps nécessaires, ainsi que les évaluations de projets, de programmes ou de conditions de présentation des résultats. Une politiques permettant de tirer des enseignements autre expression parfois utilisée avec la même plus larges. Souvent, les enseignements souli- signification est le « mandat ». gnent les points forts et les points faibles dans la Chaîne des résultats: Suite de relations de cause à effet préparation, la conception et la mise en oeuvre, qui mènent d'une action de développement à qui ont un effet sur la performance, les résultats l'atteinte des objectifs. La chaîne des résultats et l'impact. commence par la mise à disposition des res- État des lieux : Analyse décrivant la situation avant le sources, se poursuit par les activités et leurs lancement de l'action de développement, et par extrants. Elle mène aux réalisations et aux rapport à laquelle on pourra apprécier des amé- impacts, et aboutit à une rétroaction. Dans liorations ou faire des comparaisons. quelques agences d'aide, le public concerné fait Évaluabilité : Mesure selon laquelle une activité un partie de la chaîne des résultats. programme est évalué de façon fiable et crédible. Termes connexes: hypothèses, cadre de résultats. Remarque : l'appréciation de l'évaluabilité sup- Conclusions : Les conclusions font ressortir les fac- pose d'examiner à l'avance l'activité projetée teurs de succès et d'échec de l'action évaluée, afin de vérifier si ses objectifs sont définis de avec un intérêt particulier accordé aux résultats façon adéquate et si les résultats sont vérifiables. et aux impacts, escomptés ou non, et plus géné- Évaluation à mi-parcours : Évaluation menée à la ralement aux autres points forts et points moitié de la mise en oeuvre de l'action. faibles. Une conclusion fait appel à des données Terme connexe : évaluation formative. et des analyses élaborées à partir d'un enchaîne- Évaluation commune (partenariale) : Évaluation à ment transparent d'arguments. laquelle participent différents organismes Constatations : Données avérées déduites d'une ou bailleurs et leurs partenaires. de plusieurs évaluations permettant d'établir des Remarque : il peut y avoir plusieurs degrés de faits. partenariat selon que les partenaires coopèrent Économie : Non-gaspillage d'une ressource donnée. plus ou moins au processus d'évaluation, Remarque: une activité est économique si le coût regroupent leurs ressources et restituent d'utilisation des ressources rares se rapproche ensemble les résultats. Les évaluations com- du minimum requis pour atteindre les objectifs munes peuvent aider à traiter les problèmes d'at- prévus. tribution en appréciant l'efficacité des pro- Effet : Changement escompté ou non, attribuable grammes et des stratégies, la complémentarité directement ou indirectement à une action. des efforts des différents partenaires ainsi que la Termes connexes : résultats, réalisation. qualité de la coordination de l'aide, etc. Efficacité (succès, réussite) : Mesure selon laquelle les Évaluation de processus : Évaluation de la dyna- objectifs de l'action de développement ont été mique interne d'organismes chargés de la mise atteints, ou sont en train de l'être, compte tenu en oeuvre de l'action, de leurs instruments et de leur importance relative. politiques d'intervention, de leurs mécanismes Remarque : ce terme est également utilisé de prestation de services, de leurs pratiques de comme système de mesure globale (ou comme gestion, et des liens entre tous ces éléments. jugement) du mérite et de la valeur d'une acti- Terme connexe : évaluation formative. vité; mesure selon laquelle une intervention a Évaluation de programme national (évaluation- atteint, ou est en voie d'atteindre, ses principaux pays) : Évaluation de l'ensemble des actions de objectifs pertinents, de façon efficiente et développement d'un ou de plusieurs bailleurs ou *MEP corrigée finale-3 2/3/06 8:43 AM Page 205 Annexe VI 205 organismes dans un pays partenaire, au regard vent effectuées au cours de la phase de mise en de la stratégie d'aide sous-jacente. oeuvre d'une projet ou d'un programme. Évaluation de programme sectoriel : Évaluation Remarque : les évaluations formatives peuvent d'une série d'actions de développement dans un également être menées pour d'autres raisons secteur d'un ou de plusieurs pays, contribuant telles que la vérification de la conformité et du ensemble à l'atteinte d'un objectif de développe- respect des obligations légales ou comme partie ment spécifique. d'une évaluation plus large. Remarque: un secteur inclut des activités de déve- Terme connexe : évaluation de processus. loppement habituellement regroupées dans la Évaluation groupée : Évaluation d'un ensemble d'ac- perspective d'une action publique telle que la tivités, de projets ou de programmes connexes. santé, l'éducation, l'agriculture, les transports, etc. Évaluation indépendante : Évaluation d'une action de Évaluation de projet : Évaluation d'une action de développement effectuée par des services ou des développement individuelle conçue pour personnes non liées aux responsables de la atteindre des objectifs spécifiques avec des res- conception et de la mise en oeuvre de l'action de sources et un plan de travail déterminés, souvent développement. dans le cadre d'un programme plus large. Remarque : la crédibilité d'une évaluation Remarque : l'analyse coûts-avantages est un dépend en partie de l'indépendance avec laquelle outil important de l'évaluation pour les projets elle a été menée. L'indépendance implique une présentant des bénéfices mesurables. Si les béné- liberté par rapport aux influences politiques et fices ne peuvent pas être quantifiés, l'analyse aux pressions des organisations. Elle est caracté- coût-efficacité est une approche appropriée. risée par l'accès libre et complet à l'information Évaluation du programme: Évaluation d'un ensemble et par une autonomie totale pour mener des d'actions, structuré pour atteindre des objectifs investigations et en rendre compte. de développement spécifiques à l'échelle d'un Évaluation interne : Évaluation menée par un service secteur, d'un pays, d'une région ou à l'échelle ou des personnes qui dépendent des respon- mondiale. sables de l'action de développement chez le Remarque : un programme de développement a bailleur de fonds, chez ses partenaires ou au sein une durée limitée et implique des activités mul- des organisations chargées de la mise en oeuvre. tiples qui peuvent concerner plusieurs secteurs, Terme connexe : autoévaluation. thèmes ou zones géographiques. Évaluation participative : méthode d'évaluation selon Terme connexe : évaluation-pays, de programme laquelle les représentants des agences d'aide et national, stratégique. des autres parties prenantes (y compris les béné- Évaluation ex ante : Évaluation qui est effectuée ficiaires) collaborent pour concevoir et mener avant la mise en oeuvre d'une action de dévelop- une évaluation et en tirer les conclusions. pement. Évaluation récapitulative : Étude menée en fin d'ac- Terme connexe : appréciation préalable. tion (ou à la fin d'une étape de cette action) pour Évaluation ex post : Évaluation d'une action de déve- déterminer dans quelle mesure les réalisations loppement une fois celle-ci terminée. escomptées ont été atteintes. L'évaluation récapi- Remarque : ce type d'évaluation peut être réalisé tulative vise à fournir de l'information sur la tout de suite après l'achèvement de l'interven- validité du programme. tion ou longtemps après. Le but est d'identifier Terme connexe : évaluation d'impact. les facteurs de succès ou d'échec, d'apprécier la Évaluation thématique : Évaluation d'un certain durabilité des résultats et des impacts, et de tirer nombre d'actions de développement, toutes des conclusions qui pourront être généralisées à orientées vers une priorité spécifique de dévelop- d'autres actions. pement, qui s'applique de façon transversale aux Évaluation externe : Évaluation d'une action de déve- pays, aux régions et aux secteurs. loppement menée par des services ou des per- Évaluation : appréciation systématique et objective sonnes extérieures au bailleur de fonds et à l'or- d'un projet, d'un programme ou d'une politique, ganisation responsable de la mise en oeuvre. en cours ou terminé, de sa conception, de sa Évaluation formative (endoformative) : Évaluation mise en oeuvre et de ses résultats. Le but est de visant à améliorer les performances, le plus sou- déterminer la pertinence et l'accomplissement *MEP corrigée finale-3 2/3/06 8:43 AM Page 206 206 Annexe VI des objectifs, l'efficience en matière de dévelop- Groupe cible (population cible) : Personnes ou orga- pement, l'efficacité, l'impact et la durabilité. nisations au bénéfice desquelles l'action de déve- Une évaluation devrait fournir des informations loppement est entreprise. crédibles et utiles permettant d'intégrer les ensei- Hypothèses : Suppositions déduites de facteurs ou gnements tirés dans le processus de décision des de risques pouvant avoir des répercussions bénéficiaires et des bailleurs de fonds. sur le progrès ou le succès de l'action de déve- Le terme « évaluation » désigne également un loppement. processus aussi systématique et objectif que pos- Remarque: le terme hypothèse peut aussi s'appli- sible par lequel on détermine la valeur et la por- quer aux facteurs qui conditionnent la validité de tée d'une action de développement projetée, en l'évaluation elle-même, par exemple les caracté- ristiques de la population dont est tiré l'échan- cours ou achevée. tillon d'une enquête. Dans une « approche théo- Remarque : dans certains cas, l'évaluation sup- rique » de l'évaluation, les hypothèses émises pose la définition de normes appropriées, l'ap- sont systématiquement vérifiées par rapport à préciation des performances par rapport à l'enchaînement des résultats escomptés. celles-ci, et en juger les résultats attendus et Impact en termes de développement institutionnel : obtenus. Elle permet de dégager des enseigne- Effets d'une action touchant, plus ou moins, la ments pertinents. capacité d'un pays ou d'une région d'utiliser ses Terme connexe : examen. ressources propres (humaines, financières et Examen : Appréciation de la performance d'une naturelles), de façon plus efficiente, équitable et action, périodiquement ou de façon ad hoc. durable. Par exemple : a) des mécanismes insti- Remarque : le terme « évaluation » est souvent tutionnels mieux définis, plus stables, transpa- appliqué pour une appréciation plus globale rents et effectivement appliqués de façon prévi- ou plus profonde que l'examen. L'examen tend sible; ou b) pour les organisations concernées à souligner les aspects opérationnels. Les par ces changements institutionnels, un meilleur termes « examen» et « évaluation » sont par- ajustement entre leur mandat, leurs missions et fois synonymes. leurs capacités. Ces impacts peuvent inclure les Terme connexe : évaluation. effets, escomptés ou attendus, d'une action. Extrant (produit) : Biens, équipements ou services Impacts : Effets à long terme, positifs et négatifs, pri- qui résultent de l'action de développement. Le maires et secondaires, induits par une action de terme peut s'appliquer à des changements développement, directement ou non, intention- induits par l'action qui peuvent mener à des nellement ou non. effets directs. Imputation : Confirmation d'une relation causale Fiabilité : Cohérence et consistance des informations entre les changements observés (ou que l'on s'at- sur la base desquelles se fondent l'évaluation et tend à observer) et une action spécifique. Remarque : l'imputation met une partie du les jugements qui en découlent. La fiabilité fait changement observé au crédit de l'action éva- référence à la qualité des techniques, procédures luée. Elle représente la part des effets observés et analyses utilisées pour collecter et interpréter qui est attribuable à une intervention spécifique les données. ou à l'action d'un ou de plusieurs partenaires. Remarque : l'information est fiable si des obser- Elle suppose de prendre en compte les autres vations répétées utilisant les mêmes outils dans interventions, les facteurs exogènes (anticipés ou des conditions identiques produisent des don- non) et les chocs externes. nées similaires. Indicateur de performance : Indicateur permettant de Finalité : Objectif global vers lequel l'action de déve- vérifier les changements intervenus en cours loppement doit contribuer. d'action ou les résultats obtenus par rapport à Terme connexe : objectif de développement. ce qui était planifié. Gestion axée sur les résultats : Stratégie de manage- Termes connexes : suivi des performances, ment orientée vers la performance, la réalisation mesure des performances. d'extrants et l'accomplissement d'effets directs. Indicateur : Facteur ou variable, de nature quantita- Terme connexe : cadre logique. tif ou qualitatif, qui constitue un moyen simple *MEP corrigée finale-3 2/3/06 8:43 AM Page 207 Annexe VI 207 et fiable de mesurer et d'informer des change- Performance : Mesure selon laquelle l'action de déve- ments liés à l'intervention ou d'aider à apprécier loppement, ou un partenaire, opère selon des la performance d'un acteur du développement. critères, des normes, des orientations spéci- Mesure des performances : système permettant d'ap- fiques, ou obtient des résultats conformes aux précier les performances des actions de dévelop- objectifs affichés ou planifiés. pement par rapport aux objectifs affichés. Pertinence : Mesure selon laquelle les objectifs de Termes connexes : suivi des performances, l'action de développement correspondent aux indicateur. attentes des bénéficiaires, aux besoins du pays, Meta évaluation : Évaluation conçue comme une syn- aux priorités globales, aux politiques des parte- thèse des constatations tirées de plusieurs éva- naires et des bailleurs de fonds. luations. Le terme est également utilisé pour Remarque : rétrospectivement, la question de la désigner l'évaluation d'une évaluation en vue de pertinence consiste souvent à s'interroger sur le juger de sa qualité ou d'apprécier la perfor- fait de savoir si les objectifs de l'action ou sa mance des évaluateurs. conception sont encore appropriés compte tenu Objectif de développement : Impact attendu, en de l'évolution du contexte. termes physiques, financiers, institutionnels, Publics concernés : Bénéficiaires et autres parties sociaux, environnementaux ou autres, par une prenantes concernées par une action de déve- ou plusieurs actions de développement, au béné- loppement. fice d'une société, d'une communauté, d'un Terme connexe : bénéficiaires. groupe de personnes. Réalisations (effet direct) : Ce que l'action doit Objectif du programme ou du projet : Résultats que accomplir ou a accompli à court ou à moyen le programme ou le projet est supposé contri- terme. buer à générer en termes physiques, financiers, Termes connexes : résultat, extrant, produit, institutionnels, sociaux, environnementaux ou impact, effet. autres. Recommandations : Propositions qui ont pour but Outils d'analyse : Techniques utilisées pour traiter et de promouvoir l'efficacité, la qualité ou l'effi- interpréter l'information durant une évaluation. cience d'une action de développement, de Outils pour la collecte de données : Méthodologie réorienter les objectifs ou de réallouer les res- utilisée pour identifier des sources d'information sources. Les recommandations doivent être liées et les rassembler au cours de l'évaluation. aux conclusions. Remarque : par exemple, enquêtes formelles ou Redevabilité : Obligation de rendre compte du fait informelles, observation directe et participative, que le travail a été conduit selon les règles et les interviews de collectivités, groupes de contrôle, normes convenues, ou obligation de rendre avis experts, études de cas et recherche de docu- compte de façon claire et impartiale sur les résul- mentation. tats et la performance, au regard du mandat ou Partenaires : Personnes ou organisations qui collabo- des objectifs fixés. Cela peut exiger une démons- rent pour atteindre des objectifs convenus en tration précise, voire juridique, que le travail a commun. été accompli selon les termes du contrat. Remarque : le concept de partenariat évoque des Remarque : dans le contexte du développement, objectifs communs, des responsabilités partagées le terme peut concerner l'obligation des parte- en ce qui concerne les réalisations, des engage- naires à agir selon des responsabilités clairement ments réciproques et une obligation de rendre établies, un partage des rôles et des perfor- compte de manière claire. Les partenaires peu- mances attendues, souvent dans le respect d'une vent être des organisations gouvernementales, de gestion prudente des ressources. En ce qui la société civile, des ONG, des universités, des concerne les évaluateurs, le terme évoque la res- associations professionnelles, des organisations ponsabilité de fournir des appréciations de per- multilatérales, des entreprises privées, etc. formance et des rapports d'avancement précis, Parties prenantes (protagonistes) : Agences, organisa- impartiaux et crédibles. Pour les décideurs et les tions, groupes ou individus qui ont un intérêt gestionnaires du secteur public, le devoir de direct ou indirect dans l'action de développe- rendre compte s'effectue envers les contribuables ment ou dans son évaluation. et les citoyens. *MEP corrigée finale-3 2/3/06 8:43 AM Page 208 208 Annexe VI Référence : Norme permettant d'apprécier la perfor- programme ou d'une politique au regard des mance ou les résultats obtenus. résultats escomptés. Remarque : la référence se rapporte à des résul- Suivi : Processus continu de collecte systématique tats obtenus dans le passé récent par d'autres d'information, selon des indicateurs choisis, organisations comparables, ou à ce qu'on pen- pour fournir aux gestionnaires et aux parties sait pouvoir atteindre raisonnablement dans un prenantes d'une action de développement en contexte donné. cours, des éléments sur les progrès réalisés, les Ressources (moyens, intrants) : Moyens financiers, objectifs atteints et l'utilisation des fonds humains et matériels utilisés pour l'action de alloués. développement. Termes connexes : suivi des performances, Résultats : Extrants (produits), réalisations ou indicateur. impacts (escomptés ou non, positifs ou négatifs) Triangulation : Utilisation d'au moins trois théories, d'une action de développement. démarches d'analyse ou sources et types d'infor- Termes connexes : réalisation, effet direct, mation pour vérifier et soutenir une apprécia- impacts. tion ou un point de vue. Rétroaction : Transmission des constatations résul- Remarque : en combinant plusieurs sources, tant du processus d'évaluation à ceux qui peu- méthodes, analyses ou théories, les évaluateurs vent en tirer des enseignements utiles et perti- cherchent à surmonter la partialité qui existe nents afin de favoriser un meilleur apprentissage. quand on se fonde sur une seule source d'infor- Cela peut impliquer de réunir et de diffuser les mation, un seul observateur, une seule méthode constatations, les conclusions, les recommanda- ou une seule théorie. tions et les fruits de l'expérience. Validité : Disposition selon laquelle les stratégies et Scénario en absence d'intervention (situation contre- les instruments de collecte d'information per- factuelle) : situations ou conditions dans les- mettent de mesurer ce qu'ils sont censés mesurer. quelles se trouveraient les personnes, les organi- Viabilité (pérennité, durabilité) : Continuation des sations ou les groupes concernés si l'action de bénéfices résultant d'une action de développe- développement n'existait pas. ment après la fin de l'intervention. Suivi des performances : Processus continu de col- Probabilité d'obtenir des bénéfices à long terme. lecte et d'analyse de l'information, visant à Situation par laquelle les avantages nets sont apprécier la mise en oeuvre d'un projet, d'un susceptibles de résister aux risques. *MEP corrigée finale-3 2/3/06 8:43 AM Page 209 Bibliographie Banque mondiale. « Core Welfare Indicators Question- Banque mondiale. 2003b. Aperçu des Stratégies pour la naire », Washington, D.C. En ligne : www4.world- réduction de la pauvreté. www.worldbank.org/ bank.org/afr/stats/pdf/cwiq.pdf poverty/strategies/overview.htm Banque mondiale. « Ghana Core Welfare Indicators », Banque mondiale. 2003c. « Toward Country-Led Devel- Washington, D.C. En ligne : www.worldbank.org/ opment : A Multi-Partner Evaluation of the CDF », afr/stats/pdf/ghcoreinds.pdf OED Precis, no 233, Washington, D.C. Banque mondiale. « Introducing the Core Welfare Binnendijk, Annette. 2000. « Results Based Manage- Indicators Questionnaire (CWIQ) », Washington, ment in the Development Cooperation Agencies : A D.C. En ligne : www4.worldbank.org/afr/stats/pdf/ Review of Experience », document présenté lors du cwiqloop.pdf Comité de travail de l'OCDE et du CAD sur l'éva- Banque mondiale. 1997. World Development Report luation de l'aide, Paris, 10-11 février. (Version révi- 1997 : The State in a Changing World, New York, sée, octobre 2000.) Oxford University Press. Cabinet du gouvernement du Royaume-Uni. n.d. En Banque mondiale. 2000. Rural Development Indicators ligne : www.cabinet-office.gov.uk Handbook, 2e éd., Washington, D.C. En ligne : Carroll, Lewis. 2002 [1865]. Alice's Adventures in www-wds.worldbank.org/servlet/WDS_IBank_ Wonderland, New York, Sea Star Books. Servlet ?pcont=details&eid=000094946_0106160 ChannahSorah, Vijaya Vinita. 2003. « Moving from 4041624 Measuring Processes to Outcomes : Lessons Banque mondiale. 2001a. International Program for Learned from GPRA in the United States », pré- Development Evaluation Training (IPDET). senté lors de la conférence « Performance www.worldbank.org/oed/ipdet/ Evaluation System and Guidelines with Application Banque mondiale. 2001b. « Outcomes-Based Budgeting to Large-Scale Construction, R&D, and Job Systems : Experience from Developed and Devel- Training Investments » de la Banque mondiale et de oping Countries », Washington, D.C. l'Institut coréen pour le développement, Séoul, Banque mondiale. 2001c. « Readiness Assessment-- Corée du Sud, 24-25 juill. Toward Results-Based Monitoring and Evaluation Conseil du Trésor du Canada. 2001. « Guide for the in Egypt », Washington, D.C. Development of Results-Based Management and Banque mondiale. 2001d. « Readiness Assessment-- Accountability Frameworks », Ottawa. Toward Results-Based Monitoring and Evaluation Conseil du Trésor du Canada. 2002. « Le rendement du in Romania », Washington, D.C. Canada. Rapport annuel au parlement », Ottawa. Banque mondiale. 2001e. « Readiness Assessment-- Crawford, David. 2003. « With Help from Corpora- Toward Results-Based Monitoring and Evaluation tions, German Group Fights Corruption », Wall in the Philippines », Washington, D.C. Street Journal, 26 nov. Banque mondiale. 2002a. Documents et rapports sur Dorotinsky, William. 2003a. « Active and Passive l'Albanie, Washington, D.C. En ligne : Approaches to Use of Results Findings », lnweb18.worldbank.org/eca/albania.nsf Washington, D.C., Banque mondiale, entrevue avec Banque mondiale. 2002b. « Heavily Indebted Poor les auteurs, 5 déc. Country Initiative (HIPC) », Washington, D.C. En Dorotinsky, William. 2003b. « Information on Monitor- ligne : www.worldbank.org/ug/hipc.htm ing for Results in Brazil », Washington, D.C., Banque mondiale. 2002c. « Readiness Assessment-- Banque mondiale, entrevue avec les auteurs, 5 déc. Toward Results-Based Monitoring and Evaluation FIDA (Fonds international de développement agricole). in Bangladesh », Washington, D.C. 2002. « A Guide for Project M&E : Managing for Banque mondiale. 2002d. « Republic of Albania : Estab- Impact in Rural Development », Rome, FIDA. En lishment of a Permanent System of Household ligne : www.ifad.org/evaluation/guide/ Surveys for Poverty Monitoring and Policy Evalua- FMI. 2002. « What is the General Data Dissemination tion », document conceptuel, Washington, D.C. System (GDDS) ? », Washington, D.C., FMI. *MEP corrigée finale-3 2/3/06 8:43 AM Page 210 210 Bibliographie FMI. 2003. « Financial Soundness Indicators », Lee, Yoon-Shik. 1999. Dans Boyle et Lemaire (dir.). Washington, D.C., FMI. En ligne : imf.org/external/ Building Effective Evaluation Capacity : Lessons np/sta/fsi/eng/fsi.htm from Practice, New Brunswick (New Jersey), FNUAP. 2002. « Monitoring and Evaluation Toolkit for Transaction Publishers. Programme Managers », Office of Oversight and Lee, Yoon-Shik. 2002. Dans Furubo, Rist et Sandahl Evaluation. En ligne : www.unfpa.org/monitoring/ (dir.). International Atlas of Evaluation, New toolkit.htm Brunswick (New Jersey), Transaction Publishers. Fukuda-Parr, Sakiko, Carlos Lopes et Khalid Malik Leeuw, Frans L. 2003. « Evaluation of Development (dir.). 2002. Capacity for Development : New Solu- Agencies' Performance : The Role of Meta- tions to Old Problems, Londres, Earthscan Evaluations », document présenté lors de la 5e Publications, Ltd. Conférence biennale de la Banque mondiale sur Furubo, Jan-Eric, Ray C. Rist et Rolf Sandahl (dir.). l'évaluation du développement Washington, D.C., 2002. International Atlas of Evaluation, New 15-16 juill. Brunswick (New Jersey), Transaction Publishers. Mackay, Keith. 1999. « Evaluation Capacity Devel- Guerrero, R. Pablo. 1999. « Evaluation Capacity Devel- opment : A Diagnostic Guide and Action Frame- opment : Comparative Insights from Colombia, work », Washington, D.C., Département de l'éva- China, and Indonesia, » dans Boyle et Lemaire luation des opérations de la Banque mondiale, (dir.), Building Effective Evaluation Capacity : ECD Working Paper Series, no 6. Lessons from Practice, New Brunswick (New Mackay, Keith. 2002. « The Australian Government : Jersey), Transaction Publishers. Success with a Central, Directive Approach, » dans Hatry, Harry P. 1999. Performance Measurement : Furubo, Rist et Sandahl (dir.), International Atlas Getting Results. Washington, D.C., The Urban of Evaluation, New Brunswick (New Jersey), Transaction Publishers. Institute Press. Marchant, Tim. 2000. Allocution sur la Région Afrique, Hatry, Harry P., Elaine Morley, Shelli B. Rossman et Washington, D.C., Banque mondiale. Joseph P. Wholey. 2003. « How Federal Programs Ministère de l'Économie, des Finances et de l'Industrie. Use Outcome Information : Opportunities for 2001. « Vers la nouvelle gestion publique », Répu- Federal Managers », Washington, D.C., IBM blique française, no 1, septembre. Endowment for The Business of Government. O'Connell, Paul E. 2001.« Using Performance Data for Hauge, Arild. 2001. « Strengthening Capacity for Accountability : The New York City Police Depart- Monitoring and Evaluation in Uganda : A Results ment's CompStat Model of Police Management », Based Perspective », Washington, D.C., Départe- Arlington (Virginie), PricewaterhouseCoopers ment de l'évaluation des opérations de la Banque Endowment for the Business of Government. mondiale, ECD Working Paper Series, no 8. OCDE. 2001. Evaluation Feedback for Effective Learn- IDA (International Development Association). 2002. ing and Accountability, Paris, OCDE et CAD. « Measuring Outputs and Outcomes in IDA OCDE. 2002a. Glossary of Key Terms in Evaluation Countries », IDA 13, Washington, D.C., Banque and Results-Based Management, Paris, OCDE et mondiale. CAD. Khan, M. Adil. 2001. A Guidebook on Results Based OCDE. 2002b. Public Management and Governance Monitoring and Evaluation : Key Concepts, Issues (PUMA). « Overview of Results-Focused Manage- and Applications, Monitoring and Progress Review ment and Budgeting in OECD Member Coun- Division, Ministry of Plan Implementation, gou- tries », 23e rencontre annuelle des chefs de trésore- vernement du Sri Lanka, Colombo. rie de l'OCDE, Washington, D.C., 3-4 juin. Kumar, Krishna, ed. 1993. Rapid Appraisal Methods, ONU. 2003. Indicators for Monitoring the Millennium Washington, D.C., Banque mondiale. Development Goals, New York, ONU. En ligne : Kusek, J.Z. et R.C. Rist. 2001. « Building a www.developmentgoals.org/mdgun/MDG_ Performance-Based Monitoring and Evaluation metadata_08-01-03_UN.htm System : The Challenges Facing Developing ONU. n.d. En ligne : www.un.org/millenniumgoals/ Countries », Evaluation Journal of Australasia, Osborne, David et Ted Gaebler. 1992. Reinventing vol. 1, no 2, p. 14­23. Government, Boston, Addison-Wesley Publishing. Kusek, J.Z. et R.C. Rist. 2003. « Readiness Assessment : Picciotto, Robert. 2002. « Development Cooperation Toward Performance Monitoring and Evaluation and Performance Evaluation : The Monterrey in the Kyrgyz Republic », Japanese Journal of Challenge », document de la Banque mondiale pré- Evaluation Studies, vol. 3, no 1, p. 17­31. senté lors de la table ronde portant sur une gestion *MEP corrigée finale-3 2/3/06 8:43 AM Page 211 Bibliographie 211 et une évaluation plus efficaces des retombées du makers, Managers, and Researchers, Washington, développement, parrainée par les banques multila- D.C., Banque mondiale. térales de développement avec l'aide du CAD de Ville de New York. 2003. « New York City Continues to l'OCDE, Washington, D.C., 5-6 juin. be the Nation's Safest Large City ». En ligne : www. PNUD. 2001. Human Development Report, New York, nyc.gov/html/om/html/2003a/crime_falls.html Oxford University Press. En ligne : www.undp.org/ Webb, E.J., D.T. Campbell, R.D. Schwartz et L. hdr2001/faqs.html##1 Sechrest. 1966. Unobtrusive Measures : Nonreac- PNUD. 2002. Handbook on Monitoring and Evaluating tive Research in the Social Sciences, Chicago, Rand for Results, New York, Bureau d'évaluation du McNally. PNUD. Wholey, Joseph S. 2001. « Managing for Results : Roles Schacter, Mark. 2000. « Sub-Saharan Africa : Lessons for Evaluators in a New Management Era », The from Experience in Supporting Sound Gover- nance », Washington, D.C., Département de l'éva- American Journal of Evaluation, vol. 22, no 3, luation des opérations de la Banque mondiale, p. 343­347. ECD Working Paper Series, no 7. Wholey, Joseph S., Harry Hatry et Kathryn Newcomer. Schiavo-Campo, Salvatore. 1999. « `Performance' in the 1994. Handbook of Practical Program Evaluation, Public Sector », Asian Journal of Political Science, San Francisco, Jossey-Bass Publishers. vol. 7, no 2, p. 75­87. Worthen, Blaine, James Sanders et Jody Fitzpatrick. Sri Lanka Evaluation Association and the Ministry of 1997. Program Evaluation : Alternative Approa- Policy Development and Implementation. 2003. ches and Practical Guidelines, New York, « National Evaluation Policy for Sri Lanka », Longman Publishers. Colombo, Sri Lanka. Wye, Chris. 2002. « Performance Management : A `Start Stiglitz, Joseph et Roumeen Islam. 2003. « Capitale Where You Are, Use What You Have' Guide », information », Le Monde, 3 janvier. Arlington (Virg.), IBM Endowment for Business in The Daily Star. 2003. « Saidi Predicts Gains from Government, Coll. « Managing for Results ». Joining IMF Data System : Part of Good Gover- nance », 28 janvier. Liens utiles Transparency International. 1997 et 2002. En ligne : www.transparency.org/ Gouvernement de la Nouvelle-Zélande : www.e- Tufte, Edward R. 2001. The Visual Display of Quantita- government.govt.nz/ tive Information, Cheshire (Conn.), Graphics Press. Musée égyptien, Caire : www.touregypt.net/egyptmuseum/ Tufte, Edward R. 2002. Visual Explanations : Images egyptian_museum.htm and Quantities, Evidence and Narrative, Cheshire Monitoring and Evaluation Capacity Development : (Conn.), Graphics Press. www.worldbank.org/oed/ecd/ U.S. Department of Labor. 2002. « Annual Performance Nouvelles de l'évaluation et de la supervision : Plan : Fiscal Year 2003 », Washington, D.C. www.mande.co.uk/ U.S. General Accounting Office. 2002. « Highlights of a OECD Development Assistance Committee Working GAO Forum, Mergers and Transformation : Lessons Party on Aid Evaluation : www.oecd.org/home/ Learned for a Department of Homeland Security Gouvernement de l'OCDE : www.oecd.org/department/ and Other Federal Agencies », Washington, D.C. 0,2688,en_2649_34131_1_1_1_1_1,00.html U.S. General Accounting Office. 2003. « Program OECD Public Management Program : www1.oecd.org/ Evaluation : An Evaluation Culture and Collabo- puma/ rative Partnerships Help Build Agency Capacity », Transparency International : www.transparency.org/ Washington, D.C. Réseau d'information en ligne de l'Organisation des U.S. Office of Management and Budget. 1993. « Government Performance Results Act of 1993 », Nations Unies (UNPAN) : www.unpan.org/ Washington, D.C. USAID Center for Development Information and United Way of America. 1996. « Outcome Measurement Evaluation : www.usaid.gov/pubs/usaid_eval/ Resource Network », En ligne : national.united- Département de l'évaluation des opérations de la way.org/outcomes/resources/mpo/contents.cfm Banque mondiale : www.worldbank.org/oed/ Valadez, Joseph et Michael Bamberger. 1994. www.worldbank.org/oed/ecd (M&E capacity building) Monitoring and Evaluating Social Programs in www.worldbank.org/oed/ipdet/ Developing Countries : A Handbook for Policy- WWW Virtual Library : www.policy-evaluation.org/ *MEP corrigée finale-3 2/3/06 8:43 AM Page 212 212 Bibliographie Références additionnelles Development : A Guide for Project M&E », Rome, FIDA. En ligne : www.ifad.org/evaluation/guide/ Introduction Khan, M. Adil. 2001. « A Guidebook on Results Based Banque mondiale. 1994. Report of the Evaluation Monitoring and Evaluation : Key Concepts, Issues Capacity Task Force, Washington, D.C. and Applications », Monitoring and Progress Kettl, Donald F. 2002. The Global Public Management Review Division, Ministry of Plan Implementation, Revolution : A Report on the Transformation of Colombo, Government of Sri Lanka. Governance, Washington, D.C., Brookings IDA (Association internationale de développement). Institution. 2002. « Measuring Outputs and Outcomes in IDA Kusek, J.Z. et R.C. Rist. 2000. « Making M&E Countries », IDA 13, Washington, D.C., Banque Matter--Get the Foundation Right », Evaluation mondiale. Insights, vol. 2, no 2, p. 7-10. Kusek, J.Z. et R.C. Rist. 2002. « Building Results-Based Chapter 3 Monitoring and Evaluation Systems : Assessing Hatry, Harry P. 2001. « What Types of Performance Developing Countries Readiness », Zeitschrift für Information Should be Tracked, » dans Forsythe Evaluation, no 1, p. 151-158. (dir.), Quicker, Better, Cheaper ? Managing Kusek, J.Z. et R.C. Rist. 2003. « Readiness Assessment : Performance in American Government, Albany Toward Performance Monitoring and Evaluation (New York), Rockefeller Institute Press. in the Kyrgyz Republic », Japanese Journal of Kusek, J. Z. et Ray C. Rist. 2000. « Making M&E Evaluation Studies, vol. 3, no 1, p. 17-31. Matter--Get the Foundation Right », Evaluation Mayne, John et Eduardo Zapico-Goni (dir.). 1999. Insights, vol. 2, no 2, p. 7­10. Monitoring Performance in the Public Sector : Mayne, John et Eduardo Zapico-Goni (dir.). 1999. Future Directions from International Experience, Monitoring Performance in the Public Sector : New Brunswick (New Jersey), Transaction Future Directions from International Experience, Publishers. New Brunswick (New Jersey), Transaction Picciotto, Robert et Eduardo D. Wiesner (dir.). 1998. Publishers. Evaluation and Development, New Brunswick Shand, David. 1998. « The Role of Performance (New Jersey), Transaction Publishers. Indicators in Public Expenditure Management », FMI Working Paper, Washington, D.C., FMI. Chapter 1 U.S. Department of Justice. National Institute of Justice. Boyle, Richard et Donald Lemaire (dir.). 1999. Building « Mapping and Analysis for Public Safety », Effective Evaluation Capacity : Lessons from Washington, D.C., U.S. Department of Justice. En Practice, New Brunswick (New Jersey), ligne : www.ojp.usdoj.gov/nij/maps/ Transaction Publishers. U.S. Department of the Treasury, Financial Manage- Kusek, Jody Zall et Ray C. Rist. 2000. « Making M&E ment Service. 1993. « Performance Measurement Matter--Get the Foundation Right », Evaluation Guide », Washington, D.C., US Department of the Insights, vol. 2, no 2, p. 7-10 Treasury. Kusek, Jody Zall et Ray C. Rist. 2001. « Building a Wye, Chris. 2002. « Performance Management : A `Start Performance-Based M&E System : The Challenges Where You Are, Use What You Have' Guide », Facing Developing Countries », Evaluation Journal Arlington (Virg.), IBM Endowment for Business in of Australasia, vol. 1, no 2, p. 14-23. Government, coll. « Managing for Results ». Kusek, Jody Zall et Ray C. Rist. 2002. « Building Results-Based Monitoring and Evaluation Chapter 5 Systems : Assessing Developing Countries' Wye, Chris. 2002. « Performance Management : A `Start Readiness », Zeitschrift für Evaluation, no 1, p. Where You Are, Use What You Have' Guide », 151-158. Arlington (Virg.), IBM Endowment for Business in Kusek, Jody Zall et Ray C. Rist. 2003. « Readiness Assess- Government, coll. « Managing for Results ». ment : Toward Performance Monitoring and Evalua- tion in the Kyrgyz Republic », Japanese Journal of Chapter 6 Evaluation Studies, vol. 3, no 1, p. 17-31. Mayne, John and Eduardo Zapico-Goni (dir.). 1999. Monitoring Performance in the Public Sector : Chapter 2 Future Directions from International Experience, FIDA (Fonds international de développement agricole). New Brunswick (New Jersey), Transaction 2002. « Managing for Impact in Rural Publishers. *MEP corrigée finale-3 2/3/06 8:43 AM Page 213 Bibliographie 213 PNUD. 2002. Handbook on Monitoring and Evaluating Kumar, Krishna (dir.). 1993. Rapid Appraisal Methods, for Results, New York, Bureau d'évaluation du Washington, D.C., Banque mondiale. PNUD. Rist, Ray C. 1994. « Influencing the Policy Process with Qualitative Research, » dans Denzin et Lincoln Chapter 7 (dir.). Handbook of Qualitative Research, Thousand Creswell, John W. 1994. Research Design : Qualitative Oaks (Calif.), Sage Publications. and Quantitative Approaches, Thousand Oaks (Calif.), Sage Publications. Chapter 9 Furubo, J.E., R.C. Rist et R. Sandahl (dir.). 2002. Leeuw, Frans L., Ray C. Rist et Richard C. Sonnichsen. International Atlas of Evaluation, New Brunswick 1994. Can Governments Learn ? Comparative (New Jersey), Transaction Press. Perspectives on Evaluation and Organizational French Council for Evaluation. 1999. A Practical Guide Learning, New Brunswick (New Jersey), to Program and Policy Evaluation, Paris, Scientific Transaction Publishers. and National Councils for Evaluation. Rist, Ray C. 1997. « Evaluation and organizational lear- Patton, Michael Q. 2002. Qualitative Research and ning », Evaluation Journal of Australasia, vol. 9, Evaluation Methods, 3e éd., Thousand Oaks no 1 et 2. (Calif.), Sage Publications. Chapter 10 Rist, Ray C. (dir.). 1999. Program Evaluation and the Boyle, Richard et Donald Lemaire (dir.). 1999. Building Management of Government, New Brunswick Effective Evaluation Capacity : Lessons from (New Jersey), Transaction Publishers. Practice, New Brunswick (New Jersey), Vedung, Evert. 1997. Public Policy and Program Transaction Publishers. Evaluation, New Brunswick (New Jersey), Georghiou, Luke. 1995. « Assessing the Framework Transaction Publishers. Programmes », Evaluation, vol. 1, no 2, p. 171- Wholey, J.S., H.P. Hatry et K.E. Newcomer (dir.). 1994. 188. Handbook of Practical Program Evaluation, San Ittner, Christopher D. et David F. Larcker. 2003. Francisco, Jossey-Bass Publishers. « Coming Up Short on Nonfinancial Performance Worthen, B.R., J.R. Sanders et J.L. Fitzpatrick. 1997. Measurement », Harvard Business Review, vol. Program Evaluation : Alternative Approaches and 81, no 11, p. 88-95. Practical Guidelines, 2e éd., New York, Addison, Mayne, John et Eduardo Zapico-Goni (dir.). 1999. Wesley, and Longman. Monitoring Performance in the Public Sector : Future Directions from International Experience, Chapter 8 New Brunswick (New Jersey), Transaction Banque mondiale. 2003. International Program for Publishers. Development Evaluation Training. En ligne : Pollitt, Christopher. 1995. « Justification by Works or www.worldbank.org/oed/ipdet/ et www.carleton.ca/ by Faith ? », Evaluation, vol. I, no 2, p. 133-154. ipdet/ Pollitt, Christopher. 1997. « Evaluation and the New Creswell, John W. 1994. Research Design : Qualitative Public Management : An International Perspec- and Quantitative Approaches, Thousand Oaks tive », Evaluation Journal of Australasia, vol. 9, no (Calif.), Sage Publications. 1 et 2, p. 7-15. *MEP corrigée finale-3 2/3/06 8:43 AM Page 214 *MEP corrigée finale-3 2/3/06 8:43 AM Page 215 Index AID ­ Voir ASSOCIATION INTERNATIONALE DE pays en voie de, xi, xiv, 2-5, 7, 10, 13, 19-20, DÉVELOPPEMENT 23-25, 31-34, 37-38, 40, 46, 49, 51-52, APPROPRIATION, 8, 99-100, 105, 143, 152, 156, 190 55, 62, 70, 75, 77, 82, 138-139, 145, ASSOCIATION INTERNATIONALE DE DÉVELOPPEMENT (AID), 149, 152-155, 165, 168, 182 3, 5-7 programmes de, xiv, 4, 72, 88, 187 AUDIT, 29, 160-162, 166, 168-169, 173, 189 projets de, 11, 47, 170, 185 financiers, 45 DÉVELOPPEMENT ÉCONOMIQUE ET SOCIOÉCONOMIQUE, xi, BANQUE AFRICAINE DE DÉVELOPPEMENT, 30 xiv, 7-8, 18, 54, 58, 66, 73, 139, 153, 159, 178, BANQUE ASIATIQUE DE DÉVELOPPEMENT, 185 186 BANQUE MONDIALE, xii, 5, 67, 117, 163, 168, 170, 173- DONNÉES, 40, 45-46, 68, 78-79, 98-100, 107-108, 119, 175 135, 164 ­ Voir aussi PERFORMANCE, DONNÉES Guide des indicateurs du développement de SUR LA la, 68 accessibilité et disponibilité des, 43, 66, 78, Questionnaire sur les indicateurs essentiels de 101, 103 bien-être, 71 analyse des, 40, 43, 45, 47, 48, 65, 83, 92, Réseau de développement mondial, 171 93, 103, 105, 155, 156, 157 CADRE ­ Voir aussi GESTION, CADRE DE; PERFORMANCE, base de, 77, 96 CADRE DE collecte des, 11, 13, 15, 17, 22, 30-31, 43, de développement intégré, 8, 35, 162-163 45, 47-49, 51, 62, 65-67, 70-71, 75-78, CHAMPION, 2, 19, 27, 31, 39-40, 44-51, 100, 150-151, 82-83, 93, 100, 104-105, 155-156, 170, 153-154, 166, 175, 179 172, 178 importance des, 43 de base, 15, 159 présence de, 42 de comparaison, 155 rôle du, 19 diffusion des, 133, 142, 172, 175-177 CIBLES, 8, 11-13, 18, 22, 45, 54, 57, 60, 65, 70, 72, fiabilité des, 117, 166, 172, 185 76, 87-89, 93, 96-97, 99, 101, 124, 137, 148, gestion de, 52 154, 156, 159 ­ Voir aussi PERFORMANCE, CIBLES méthode de collecte de, 79-81, 115-116 DE; OBJECTIFS DU MILLÉNAIRE POUR LE DÉVELOPPE- Normes spéciales sur la diffusion des, 165, MENT; RÉALISATIONS, CIBLES POUR LES 176 définition, 85 partager les, 140 sélectionner des, 21-23, 75, 85-88, 105, 155- présentation des, 23, 121-128, 134, 136, 156 139, 157 DÉVELOPPEMENT, 133, 142, 182, 187 ­ Voir aussi primaires et secondaires, 78, 82, 155 INDICE DE DÉVELOPPEMENT HUMAIN; ASSOCIATION publication des, 20, 48, 83, 138 INTERNATIONALE DE DÉVELOPPEMENT; qualité des, 20, 31, 40, 65, 84, 93, 102-103, ORGANISATION DE COOPÉRATION ET DE DÉVELOPPE- 156, 162, 165, 169, 176, 180 MENT ÉCONOMIQUES; OBJECTIFS DU MILLÉNAIRE quantité de, 21, 43 POUR LE DÉVELOPPEMENT; IMPACT DU DÉVELOPPE- statistiques, 161-162, 165, 171, 173 MENT; RÉSULTATS DU DÉVELOPPEMENT système du FMI, 84 agences multilatérales de, xiv, 66, 117, 151, utilisation des, 23, 27, 40, 43, 49, 77, 83, 161 121-123, 129-131, 133, 136, 140 banques multilatérales de, 8 DONNÉES TÉMOINS, 23, 54, 57, 60, 64, 75-78, 81, 84- défis particuliers des pays en voie de, 30, 32 86, 117, 124, 155, 157 efficacité du, xi, 5, 11, 15, 185 EFFICACITÉ, 14, 94, 107 objectifs du, 8, 14, 20, 39-40, 52, 66-67, 70- dans l'utilisation des ressources, 110, 168 71, 99, 153, 163-164, 167, 171, 178- de la fourniture des services, 17 179 des audits, 29 partenaires du, 8, 41, 99, 140, 151, 159 des dépenses, 173 *MEP corrigée finale-3 2/3/06 8:43 AM Page 216 216 Index des programmes, 164, 178 LE DÉVELOPPEMENT, INDICATEURS DES du développement, 11 choix des, 8, 21-22, 63-64, 66, 71, 73 du gouvernement, 34, 163, 169 construire des, 69, 72 du secteur public, 29, 159 de développement mondial, 68 ÉVALUATION de performance, 13, 22, 24, 28, 49, 52, 62- d'impact, 13, 114, 117, 157, 187, 190 65, 70, 72, 75-77, 132, 154-156, 166, définition de l', 14 178, 189 EXAMENS définition, 61 de l'état de préparation, 22, 37-41, 43-52, établir des, 20, 22-23, 54-55, 61-62, 70, 154 153-154, 163, 167 évaluation des, 67 de la performance, 160-162, 169 intermédiaires, 62, 66, 155 des dépenses publiques, 46, 189 nature qualitative ou quantitative des, 64-66, diagnostiques, 46 154 EXTRANTS, 2, 14-15, 20, 22, 25-26, 32, 34-35, 39, 45, pertinence des, 82 54, 57, 61-62, 70, 77, 87, 89, 91-94, 97, 111, pour les réalisations, 6, 15, 17, 61 115, 147, 151, 154, 157, 161-162 préconçus, 62, 66, 68-69, 155 FMI ­ Voir FONDS MONÉTAIRE INTERNATIONAL sociaux, 5, 71, 83, 139 FONDS MONÉTAIRE INTERNATIONAL, 175 ­ Voir aussi sources de données pour les, 78 DONNÉES, SYSTÈME DU FMI stabilité des, 149 indicateurs de solvabilité financière du, 67-68 surveiller les, 24 Normes du, 177 utilisation des, 70 Système de diffusion des données du, 83, INDICE DE DÉVELOPPEMENT HUMAIN, 68 173, 176 INITIATIVE PPTE, 3, 5, 8, 35, 54, 142, 151 FONDS STRUCTURAUX DE L'UE, 7 INTRANTS, 2, 14, 20, 22, 25, 34-35, 54, 57, 61-62, 70, GANT, GRAPHIQUE DE. 92 77, 87, 89, 91, 93, 97, 111, 151-152, 154-156, GESTION, 26 ­ Voir aussi RÉSULTATS, GESTION AXÉE SUR 163, 173, 185 LES; PERFORMANCE, GESTION ORIENTÉE VERS LA OBJECTIFS ­ Voir aussi DÉVELOPPEMENT, OBJECTIFS DU; budgétaire, 13, 50 OBJECTIFS DU MILLÉNAIRE POUR LE DÉVELOPPEMENT cadre de, 8, 28, 37, 189 atteindre les, 4, 6, 11, 24, 33, 43, 55, 87, 92, d'un système de suivi-évaluation, 105, 156 95 des affaires publiques, xi-xii, 11, 29 de l'action gouvernementale, 14 des ressources, 17, 35, 68, 94, 96 de performance, 96 d'un système de suivi-évaluation, 100-101, de réduction de la pauvreté, 8 144 différence entre réalisations et, 53 outil de, xi, xiv, 2, 10-11, 18, 24, 70, 78, 92- établir des, 8, 40, 58 93, 115, 121, 125, 133, 149, 151, 157 évaluer les, 37 nouveaux défis, 2 pertinence des, 14 publique, xiv, 2-3, 26, 35, 37, 46, 49, 52, 65, traduire les objectifs en réalisations, 58 87, 103, 162-164, 178, 185-186 OBJECTIFS DU MILLÉNAIRE POUR LE DÉVELOPPEMENT, 3-5, GOUVERNANCE, xiv, 5-6, 11, 19, 37, 41, 43, 55, 72, 84, 7, 23, 51, 53-54, 67-69, 87, 151, 181-182 ­ Voir 138, 153 aussi CIBLES IMPACT, xi, 2, 12, 14-15, 17, 20, 22, 25, 45, 97, 110, cibles des, 4, 67, 87, 181-182 134, 147, 151, 154, 162, 185 ­ Voir aussi ÉVA- indicateurs des, 4, 67-68, 73, 181-182 LUATION D'IMPACT réalisations des, 4 de l'affectation des ressources, 44 OCDE ­ Voir ORGANISATION DE COOPÉRATION ET DE des actions du gouvernement, 2, 18 DÉVELOPPEMENT ÉCONOMIQUES des politiques ou programmes, 9, 34, 110- OMD ­ Voir OBJECTIFS DU MILLÉNAIRE POUR LE DÉVE- 111, 163, 189 LOPPEMENT du développement, 4, 6, 11, 33 ORGANISATION DE COOPÉRATION ET DE DÉVELOPPEMENT de la corruption sur le développement, 6 ÉCONOMIQUES (OCDE), 2, 13, 15, 19, 25-28, 30, INDICATEURS, 8-9, 11, 18, 22, 38, 57-58, 60, 62-63, 69- 48, 130, 135, 138, 149, 152, 165, 185 70, 85, 88-89, 102, 111, 125, 154, 156, 159, PERFORMANCE, xi-xii, 17-18, 22-23, 27, 29, 44, 46, 63, 168, 170-172, 180, 187 ­ Voir aussi DONNÉES 66, 70, 75, 78, 80, 92, 99-100, 102, 108, 111- TÉMOINS; CIBLES; OBJECTIFS DU MILLÉNAIRE POUR 112, 121-126, 128-131, 133, 136-140, 143-144, *MEP corrigée finale-3 2/3/06 8:43 AM Page 217 Index 217 149-150, 155-156, 167, 171, 177, 179, 190 ­ cibles pour les, 89 Voir aussi INDICATEURS DE PERFORMANCE; EXAMENS déficience des, 128 DE LA PERFORMANCE; RÉTROACTION SUR LA PERFOR- défis particuliers pour les pays en développe- MANCE ment, 55 améliorer la, 37, 96, 129, 133-134, 149, des programmes et politiques, 13, 20, 89, 157-158, 165, 168 109, 113, 156, 160 budgétaire, 24, 49, 93, 152, 169, 173-174 déterminer les, 22, 23, 53, 54, 55, 56, 58, cadre de, 63, 72, 76, 85, 88-89, 91, 93, 154, 60, 72, 154, 178 156, 187 différence entre intrants et, 152 cibles de, 26, 62, 85, 86, 87, 88, 95, 96, 130, différence entre objectifs et, 53 152 évaluer et surveiller les, 11, 39, 60-62, 70, des gouvernements, xiv, 20, 26, 34, 39, 42, 75, 142 45, 50, 52, 55, 137-138, 143-144, 153, formulation positive des, 56-58 159-161, 164, 168, 170 importance de simplifier les, 57 données sur la, 157, 160-161, 163 mesurer les, 62, 68, 148 du secteur public, 139, 168, 175, 185 planification budgétaire axée sur les, 34 enchaînement logique de la, 114, 157 traduire des objectifs en, 58 évaluer et surveiller la, 9, 40, 48, 65, 107, traduire les réalisations en indicateurs, 62-63 130, 148 RESPONSABILISATION, xi, 8, 134-135, 140, 143, 145, gestion orientée vers la, 28, 37, 49, 93, 96, 149-150, 152, 158, 187 ­ Voir aussi 163, 165-166, 171 RESPONSABILITÉ mesurer la, 10, 17, 24, 32, 41, 51, 61, 71, RESPONSABILITÉ, xi, 5, 9, 11, 14, 17, 19-20, 22-23, 32- 75, 84, 127, 131, 149, 152, 155, 170, 33, 36, 40, 42, 46, 49, 72 ­ Voir aussi RÉSULTATS, 173 RESPONSABILITÉ ENVERS LES Performance and Results Act, 144-145 accroître la, xiv, 34, 37, 41, 43 suivi de la, 6, 30, 52, 62, 73, 94, 150, 186 et gouvernance, xi PLAN NATIONAL DE DÉVELOPPEMENT, 9, 32, 39, 54 RÉSULTATS, xi-xii, xiv, 2-6, 8, 10-14, 17-19, 24, 26, 28, PNUD ­ Voir PROGRAMME DES NATIONS UNIES POUR LE 32-37, 41-42, 44-45, 49, 57, 62, 71-72, 85, 92- DÉVELOPPEMENT 93, 101-102, 107-108, 112-113, 116-119, 122- PPTE ­ Voir INITIATIVE PPTE 123, 125-126, 133, 142, 145, 150-152, 156, 160, PROCESSUS 165, 169-170, 173, 176, 186 ­ Voir aussi budgétaire, 28, 32-33, 35, 51, 95-96, 146, TRANSPARENCE DES RÉSULATS 164, 167-168, 173, 175, 177, 185-187, analyser les, 21, 50, 105 189 définition, 15 itératif, 22 diffuser les, 50, 77, 81, 83, 123, 127, 133, participatif, 8, 22, 53, 55, 60, 69, 83, 89, 138, 155, 157, 178, 188-189 122, 154-155 du développement, 5-6, 9 PROGRAMME gestion axée sur les, xi, 12, 48, 51, 108, 119, d'amélioration du suivi et de l'évaluation, 170 163 mesurer les, 62, 73 international de formation en évaluation de partager les, 140 projet de développement (IPDET), 108 présenter les, 22, 28, 81, 84, 121, 124-125, international de formation sur l'évaluation 128 dans un contexte de développement, 174 responsabilité envers les, 8, 28, 166, 187 PROGRAMME DES NATIONS UNIES POUR LE DÉVELOPPE- surveiller les, 22, 23, 47, 48, 91, 93, 105 MENT (PNUD), 67-68, 78, 117, 175, 178 ­ Voir utiliser les, 136, 145, 157, 185 aussi INDICE DE DÉVELOPPEMENT HUMAIN RÉTROACTION, 18, 21-22, 61-62, 70, 100, 118, 124, RÉALISATIONS, 2, 12, 15, 17, 19-21, 25-26, 32, 35, 45, 129, 135, 140, 148, 154, 157 59-66, 76, 79, 85, 88, 91, 97, 101, 111, 115, 117, sur la performance, xi, 122, 155 124-125, 130, 132-133, 145, 151, 155, 157 ­ sur les décisions, 108 Voir aussi INDICATEURS POUR LES RÉALISATIONS sur les projets et programmes, 115, 121, 133 améliorer les, 44 systèmes de, 10-11, 41 atteindre les, 54, 84, 87, 89, 92-94, 97, 99, REVUE DES DÉPENSES PUBLIQUES ­ Voir EXAMEN DES 105, 108, 111, 114-115, 139, 173 DÉPENSES PUBLIQUES *MEP corrigée finale-3 2/3/06 8:43 AM Page 218 218 Index SECRÉTARIAT D'ÉTAT AU DÉVELOPPEMENT INTERNATIONAL DU ROYAUME-UNI (DFID), 117 STRATÉGIE NATIONALE DE RÉDUCTION DE LA PAUVRETÉ, 8- 9, 39, 54, 162 TRANSPARENCE, xiv, 19-20, 23, 27, 36, 41, 46, 72, 149 de l'information, 20, 44, 137, 143, 164 des audits, 29 des gouvernements et organisations, xi, 5, 9- 10, 49, 150-151, 157-158, 188 des prêts programmatiques, 163 des processus budgétaires, 33, 35, 173 des régimes commercial et légal, 7 des résultats, 176 des systèmes financiers, 32 et la gouvernance, 185, 186 et le climat d'investissement, 42 et les systèmes de suivi-évaluation, 45, 133, 152 et l'Initiative PPTE, 8 pays en développement et la, 32 TRANSPARENCY INTERNATIONAL, 3, 5-6, 47, 143 USAID, 175 VÉRIFICATEUR, 189 général, 139, 162, 168, 169, 173 interne, 161 VERS UNE CULTURE DU RÉSULTAT Dix étapes pour mettre en place un système de suivi et d'évaluation axé sur les résultats Déterminer les Planifier les Procéder à principaux améliorations ­ un examen indicateurs pour Sélectionner les Utiliser les de l'état de surveiller les cibles pour les Le rôle des données préparation réalisations résultats évaluations obtenues 1 2 3 4 5 6 7 8 9 10 S'entendre sur Établir des points Surveiller Présenter les Maintenir le les réalisations de comparaison les données système de suivi à surveiller et et recueillir des résultats obtenues et d'évaluation à évaluer données sur les au sein de résultats l'organisation Le développement économique durable va de pair avec l'efficacité de l'État. Depuis l'avène- ment de la mondialisation, les gouvernements et les organisations du monde entier tentent de répondre de façon adéquate aux exigences des partenaires internes et externes qui récla- ment une gestion des affaires publiques plus saine, davantage de responsabilité et de trans- parence, une plus grande efficacité au niveau du développement ainsi que l'obtention de résultats tangibles. La demande accrue pour une responsabilisation et des résultats concrets a entraîné l'émergence de politiques, de programmes et de projets fondés sur l'évaluation et la gestion axées sur les résultats. Ce guide propose un modèle complet en dix étapes pour concevoir et mettre en oeuvre un système de suivi-évaluation axé sur les résultats. La première étape comporte une «évaluation de l'état de préparation», puis l'on enchaîne avec la conception, la ges- tion et ­ plus important encore ­ la durabilité du système de suivi-évaluation. Les étapes sont décrites en détail, et le guide contient également les tâches à accomplir ainsi que les outils disponibles pour ce faire. Banque mondiale ISBN 2-89035-391-5 Africa Region Knowledge and Learning et le Operations Evaluation Department