June 2010 83157 Renforcement des Systèmes Nationaux des Dépenses Agricoles Publiques en Afrique Sub-Saharienne Evaluation d'Impact de la Composante Dépenses Modèle de Termes de Référence web page: www.worldbank.org/afr/agperprogram email contact address: agperprogram@worldbank.org June 2010 1. CONTEXTE Le programme «Renforcement des Systèmes Nationaux des Dépenses Agricoles Publiques en Afrique Sub-Saharienne », financé par la Fondation Bill et Melinda Gates et mis en œuvre par la Banque mondiale, vise à améliorer l'impact des rares ressources publiques consacrées par les gouvernements des Etats de l’Afrique sub-saharienne pour le développement des activités du secteur agricole afin d’améliorer le bien-être des populations pauvres essentiellement rurales. Le programme est mis en œuvre dans le cadre du Programme Africain Global pour le Développement de l’Agriculture (CAADP) du Nouveau Partenariat pour le Développement de l'Afrique (NEPAD) de l'Union africaine (UA) qui encourage les gouvernements et les partenaires au développement (PaD) à cibler les dépenses publiques du secteur de l'agriculture comme le moyen le plus efficace pour stimuler la croissance dans le secteur, et par là même réduire la faim et la pauvreté. L'objectif général du projet est, par la fourniture d’un soutien analytique, de promouvoir l'articulation et la mise en œuvre du renforcement de programmes nationaux généraux de dépenses publiques pour l’agriculture, de manière à bâtir le consensus pour des niveaux accrus de dépenses publiques dans le secteur en Afrique sub-saharienne, et à en renforcer l’efficacité, l'efficience et l'équité. Le programme est destiné à fournir des recommandations avérées [sur la base de preuves] qui traiteront, entre autres, la planification budgétaire, l'exécution du budget, la responsabilisation dans le secteur agricole, la création d'une base de données fiable et une coordination plus efficace intra et intersectorielle. Il vise également à stimuler l'augmentation d’allocations de ressources par les bailleurs de fonds, et à renforcer l'harmonisation et l'alignement des ressources sur les stratégies nationales. Dans le contexte spécifique du CAADP, le programme mettra l'accent sur : le niveau des dépenses dans l'agriculture, avec une référence particulière à l'objectif explicite fixé par les chefs d'Etat africains dans la Déclaration de Maputo d'allouer 10% des budgets nationaux au secteur, la composition et les priorités de dépenses à l'égard des stratégies nationales, la preuve de l'impact, la durabilité et la capacité d'absorption, la planification budgétaire et la mise en œuvre de manière à renforcer la gestion financière publique en général et dans la cohérence du budget notamment, les produits (« outputs »), les résultats et les mécanismes de soutien tels que les marchés publics et les audits. Modèle de termes de référence Deux niveaux différents de soutien analytique seront fournis par le programme: (a) procéder à un examen des dépenses publiques de base dans le secteur de l’agriculture (PER) dans les pays où ce travail n'a pas déjà été entrepris récemment, et (b) effectuer des analyses spécialisées des dépenses publiques dans les situations où un PER du secteur de l'agriculture existe déjà. Les trois études spécialisées sont les suivantes : l'élaboration d'un cadre sectoriel de dépenses à moyen terme (MTEF) (Le sujet de ces termes de référence) ; enquêtes de suivi des dépenses publiques 2|Page June 2010 (PETS), et évaluation de l'impact de la composante dépenses. L'existence d'un PER de l'agriculture est la condition préalable à la réalisation des autres études spécialisées. Cela devrait permettre la compréhension essentielle de la structure du soutien public pour le secteur et des flux de fonds qui en résultent. L'enquête de suivi des dépenses publiques (PETS), qui examine les produits (« outputs ») des programmes publics, et l’étude d'évaluation de l’impact de la composante des dépenses qui examine les résultats (« outcomes »), sont à tous les deux des exercices rétrospectifs destinés à éclairer le choix des politiques et la conception de programme. Ils alimentent les programmes d'investissement du secteur dans le cadre du MTEF du secteur qui est de nature prospective. Le produit de l'appui analytique sera constitué de rapports spécifiques aux pays, qui auront été préparés conjointement par le personnel du gouvernement des Ministères de l'Agriculture et des Finances avec l'assistance technique extérieure. Le but de la préparation de ces termes de référence modèle (TDR) est de fournir une structure claire qui définit le cadre, la méthodologie et les processus qui devraient être adoptés dans la conduite de l'étude pour chacun de ces pays, tout en permettant la flexibilité dans la mise en œuvre pour tenir compte des besoins spécifiques, de la disponibilité des données et des capacités d'analyse qui existent dans chaque pays. Ils doivent servir comme une liste de points qui devraient être couverts dans chaque étude avec une indication du niveau de détail qui doit être visé et sources de données possibles de l'approche. Le modèle-cadre vise à garantir que, dans la mesure du possible, les données et les analyses peuvent être comparées entre les différents pays. Les termes de référence modèle s'inspirent fortement dans leur méthodologie de la « boîte à outils des praticiens pour l’analyse de dépenses publiques dans l’agriculture» (APEA) mis en place par la Banque mondiale et le DFID1 et "Manuel de gestion des dépenses publiques2" de la Banque. 2. Cadre Le but de l’étude spécialisée relative à la composante évaluation de l'impact des dépenses consiste à aider les gouvernements retenus en Afrique sub-saharienne à améliorer les résultats et la durabilité de la programmation et de la budgétisation dans le secteur de l'agriculture ainsi que l'efficience et l'efficacité des dépenses publiques dans le secteur. À travers la réalisation d'évaluations d'analyser les résultats et impacts des dépenses publiques dans des domaines spécifiques du secteur de l'agriculture, cette étude doit renforcer les fondements (bases factuelles) pour la prise de décision et l'extension des programmes ainsi que la création d'un environnement de «gestion axée sur les résultats" et améliorer l'efficacité de la planification budgétaire. Ses résultats peuvent également être utilisés pour identifier des actions correctives dans les programmes existants pour s'assurer que les investissements en cours et futurs dans les sous-secteurs clés produisent les résultats attendus et durables. 1 “Practitioners’ Toolkit for Agriculture Public Expenditure Analysis�, World Bank and DFID (draft) 2 “Public Expenditure Management Handbook �, World Bank, 1998 3|Page June 2010 L'évaluation d'impact est l'une des différentes façons qui peut être utilisée par un gouvernement (ou un bailleur de fonds) pour comparer les projections ex ante des impacts d'un investissement public spécifique faite au niveau de la faisabilité d’un programme avec les résultats effectifs ou l'impact ex post. Une évaluation d'impact complète les outils tels que les rapports d'achèvement de mise en œuvre (ICRs) préparés par les gouvernements et les bailleurs de fonds, et les enquêtes de suivi des dépenses publiques (PETS) du type de celles qui seront entreprises dans le cadre de ce programme, qui sont plus concernées par les produits [outputs] de prestation de services. Une évaluation d'impact formelle exige une plus grande rigueur dans l'analyse que des exercices qui sont plus descriptifs (tels que les AgPER ou ICR, par exemple) ou qui relèvent du diagnostic (tel qu’un PETS) qui constituent une part de ce programme dans son ensemble. Échelle L'ampleur et la complexité des évaluations d'impact varient considérablement. Au niveau le plus simple, elles peuvent être utilisées pour déterminer l'impact d'un aspect particulier d'un investissement public important ou un projet. À l'autre extrême, elles peuvent tenter d'évaluer l'impact sur l'économie dans son ensemble - l'impact sur la croissance et la réduction de la pauvreté, par exemple - d'un secteur entier du programme d'investissement public. Dans le cadre de ce programme, l'accent sera mis sur la conduite des évaluations d'impact plutôt étroitement ciblées telles que sur une composante ou une sous-composante qu’une revue des dépenses publiques de base a indiqué comme étant un élément important du programme d'investissement global et pour laquelle il est possible d'améliorer les résultats, de sorte que les ressources limitées disponibles peuvent produire des résultats crédibles. Enquête ciblée Comme indiqué plus haut, les évaluations d'impact réalisées en vertu de ce programme seront de portée limitée. Dans le secteur de l'agriculture, chaque évaluation est susceptible de couvrir un seul des éléments suivants : • la vulgarisation et la formation, • la recherche agricole, • Les interventions sur l’approvisionnement en intrants [inputs], • l’assistance au marketing et chaînes de valeur, • Le développement des infrastructures (tel que yes: irrigation, les routes de desserte, de marché, la manutention post-récolte), • Soutien à un produit spécifique ou groupe de produits (tels que des cultures spécifiques, de l'élevage, la pêche ou des produits forestiers), • Les questions institutionnelles telles que l'accès à la terre ou au crédit. Sélection de pays Afin d'apporter une contribution significative à l'efficacité des dépenses publiques, une évaluation d'impact devrait être menée dans les pays qui répondent aux critères suivants : 4|Page June 2010 • Avoir un niveau suffisamment solide de gestion des dépenses publiques (GDP) de s'assurer que l'utilisation des fonds peut être établi en détail, • Disposer d'un système d'évaluation sectoriel suffisamment articulé et d’un cadre de suivi et d'évaluation (S & E) en place pour fournir une base de données qui permet de quantifier les produits [outputs] et de mesurer au moins une partie de l'impact des programmes sur les ménages, • A terminer récemment une revue des dépenses publiques (PER) du secteur de l'agriculture (éventuellement une PER de base qui s'inscrit dans le cadre de ce programme dans son ensemble), afin qu'il y ait une compréhension claire de la circulation des fonds dans les institutions du secteur et entre différents niveaux administratifs (flux vers unités décentralisées), • Le gouvernement est disposé à permettre que les données et des analyses effectuées dans le cadre du programme soient disponibles en ligne à des fins de formation du personnel du MOA et du MOF dans d'autres pays de la région. Cadre institutionnel Le Ministère de tutelle (généralement le Ministère de l'Agriculture) ou les agences qui sont responsables du programme pour lequel l'impact doit être évalué peuvent être choisis comme partenaires pour une évaluation d'impact. Le choix de l'orientation thématique serait de déterminer l'institution responsable. Exécution L'exercice est destiné à fournir des indications probantes sur l'impact des investissements publics aux décideurs de haut niveau et à ceux en charge des politiques. Les résultats de cette enquête seront utilisés, par exemple, pour justifier une proposition d’étendre [généraliser-scale up] un programme existant ou de réduire ou de modifier un programme qui n’a pas eu l'impact escompté. Lorsque les grands choix stratégiques doivent être faits sur la base d'une telle évaluation, il est important de veiller à ce que le Ministère de tutelle du secteur ou l'organisme concerné soit pleinement associé à l'exercice. Toutefois, des précautions doivent être prises pour éviter une influence excessive de la part de ceux qui sont engagés dans le programme en cours d'évaluation sur la façon dont l'étude est entreprise. Pour cette raison, groupe de pilotage multi- acteurs (SG) de niveau élevé, pourrait assurer la surveillance de l'exercice et faciliter l'accès aux décideurs de haut niveau. Le programme sera réalisé par une équipe d'assistance technique comprenant un expert international ayant les compétences analytiques nécessaires, et de deux experts nationaux ayant une connaissance du secteur et de la méthodologie d'évaluation. Les experts nationaux apporteront des connaissances sur le pays et le sous-secteur ainsi que des compétences analytiques et partageront la responsabilité avec l'expert international pour la conception de l'enquête, la collecte de données, analyse et rédaction de rapports. Les produits spécifiques de l'équipe d’assistance technique (TA) sont énumérés à l'article 6 ci-dessous. Le calendrier et la durée de l'enquête dépendra de sa mise au point [« focus »] et la mesure dans laquelle il existe d'importantes caractéristiques saisonnières qui doivent être saisies. Comme expliqué ci-dessous, la durée de l'étude dépendra de la complexité de la tâche. Au minimum, il est probable qu'une période de cinq (5) mois serait nécessaire pour réaliser une 5|Page June 2010 évaluation relativement simple. Pour des situations plus complexes, neuf (9) mois ou plus pourraient être nécessaire. Engagement des bailleurs de fonds L'engagement actif du groupe de travail des bailleurs de fonds (DWG) dans le secteur de l'agriculture dans l'identification ou l’approbation du domaine thématique de l'évaluation, sa conception et, finalement, la discussion des résultats est importante, notamment parce que les bailleurs de fonds ont presque toujours joué un rôle important et ont participé à la conception et au financement du programme objet de l'évaluation. Les bailleurs de fonds demandent de plus en plus des évaluations de l'impact des programmes qu'ils ont financé, et il est particulièrement important que cela soit réalisé d'une manière rigoureuse lorsque de nouvelles phases ou une extension [scaling up] sont à l'étude ou considérées. En outre, la participation du DWG permettra de : • faciliter le lancement des discussions avec le gouvernement sur les domaines prioritaires potentiels pour une évaluation avant que l'équipe d'assistance technique ne soit recrutée, • Veiller à ce que les bailleurs de fonds (DPs) aient la possibilité d'exprimer leurs préoccupations sur certains programmes d'investissement public, • Veiller à ce que, une fois l'évaluation terminée, les DPs soient en mesure d'en approuver les résultats et faciliter le dialogue avec le gouvernement sur les stratégies recommandées pour l'extension ou des modifications des programmes d'investissement • Dans le cas où le DWG est fermement engagé en vue d’une évaluation qui est susceptible d’être "complexe" par nature, faciliter l’accès au financement supplémentaire de la tâche par les membres du DWG. 3. MÉTHODOLOGIE L'ampleur et la complexité de l'évaluation d'impact qui seront entreprises est susceptible de varier considérablement d'un pays à l'autre. Ceci reflètera la complexité intrinsèque de la composante des dépenses sélectionnées comme le point d’intérêt [focus], ainsi que la mesure dans laquelle les données existantes sont considérées comme suffisantes et fiables. Ces facteurs, entre autres, permettront de déterminer l'ampleur de la collecte des données requises, la durée du temps qui sera nécessaire pour l'enquête et, bien sûr, le coût de l'exercice. Pour cette raison, il est difficile de proposer une méthodologie standard. Le tableau ci-dessous résume de manière comparative les caractéristiques de «simple évaluation » d’impact avec celles d'enquêtes [survey] plus "complexes". 6|Page June 2010 Evaluation Simple Evaluation Complexe Enquête met l’accent sur • Petit pays • Grand pays • Comparativement • Service de grande nouveau service ou envergure et à long- programme terme • Population non • Besoin d’une différenciée en grande stratification partie par rapport au rigoureuse de l’ domaine échantillon • Gérée de manière • Niveaux centralisée administratifs multiples • Responsabilités décentralisées Disponibilité des données • Bon système de suivi- • Système de suivi- évaluation en place évaluation non- • Conditions existantes existant ou insuffisant de référence [Baseline] • Pas de données sur les • Données sur la conditions de population cible et référence non-cible • Les données ne tiennent pas compte des questions d’enquête Collecte des données • Equipe d’assistance • Equipe d’assistance technique technique • Petite équipe de • Equipe de contrepartie contrepartie • Interviews et enquêteurs/agents de recensement Coûts supplémentaires • Limité-peuvent être • Coûts importants pour intégrés dans le budget recruter et mobiliser existant les agents de recensements et enquêteurs. Les principaux facteurs déterminant la méthode à employer pour l'évaluation d'impact sont : • Des compétences d’analyse : Contrairement à d'autres parties de ce programme, une évaluation d'impact requiert des compétences analytiques, telles que la modélisation et l'analyse de régression qui sont souvent rares dans les Ministères de l'Agriculture. Cela signifie probablement que la plupart de l'analyse sera effectuée directement par l'équipe d'assistance technique et c'est cela qui déterminera le type de soutien fourni par l’assistance technique. 7|Page June 2010 • Les données disponibles : Il y aura une grande dépendance des sources de données existantes. La disponibilité et la qualité de ces données permettra de déterminer la portée de l'évaluation. • Le Suivi-évaluation [M & E] : La plupart des données proviennent de systèmes M & E en place et si celles-ci ne génèrent pas de résultats probants, il sera difficile de procéder à une évaluation approfondie, sans une collecte importante de données supplémentaires. • Les ressources limitées : Les ressources limitées disponibles pour l'enquête signifient que : o le sujet de l'évaluation doit être soigneusement ciblé, o la collecte de données au niveau des exploitations [fermes] doit être réduite au minimum, o les sources de données existantes doivent être utilisées pour l'évaluation, y compris les évaluations de l'impact bénéficiaire, le revenu des ménages et enquêtes sur les dépenses, les enquêtes sur le niveau de vie, évaluations de la pauvreté, enquêtes sur le cheptel et les cultures [récoltes] • Sélection des sous-secteurs : La méthodologie devra être adaptée au sous-secteur spécifique ou à la composante des dépenses choisies. Mise en place d'une évaluation d'impact Il y a quatre étapes à suivre lors de la mise en place d'une évaluation d'impact : 1. Sélection du thème de l'évaluation, 2. Évaluation des données et des sources d'information, 3. Collecte de données supplémentaires, et 4. Analyse des données, rapports et diffusion. 1. Sélection du thème de l'évaluation : Le choix du sujet ou de thème de l'évaluation d'impact doit être effectué en étroite collaboration avec le Ministère de tutelle concerné et avec les bailleurs de fonds. Un large accord sur le domaine-cible de l'évaluation d'impact devrait avoir été atteint avant l'engagement de l'équipe d'assistance technique du fait que le sous-secteur sélectionné pourrait requérir des compétences spécifiques. Critères de sélection : Comme indiqué plus haut, il ya un nombre limité de domaines clés potentiels pour une évaluation, mais la possibilité devrait également être prise pour ajouter des dimensions transversales. Cela peut impliquer la recherche à la dimension « genre » du développement de l'irrigation, par exemple, ou l'accès au crédit dans une chaîne de valeur spécifique. Dans les pays où CAADP a atteint le stade du compact, le matériau de base figurant 8|Page June 2010 dans « le bilan et l'analyse institutionnelle" qui fait partie du processus de table ronde nationale du CAADP, pourrait fournir des indications utiles sur les domaines critiques qui méritent une évaluation plus poussée. Les critères à appliquer pour la sélection d'un sujet ou un thème pourraient inclure : • Le programme est un élément essentiel du secteur, • La part des dépenses publiques totale dans le secteur est importante (par exemple> 20%), • Il y a un potentiel pour une réplication ou une extension [scaling up], • Il dispose de fonctionnalités innovantes dont l'impact aurait besoin de justification, et • Il s'agit d'un important programme mais il y a des questions [doutes] sur son impact. Le choix d'un sujet pour l'évaluation doit être accompagné d'une compréhension approfondie des manières dont des investissements publics spécifiques sont censés atteindre les effets escomptés. A ce stade, l'équipe d'assistance technique et ses homologues [de contrepartie] devraient proposer des hypothèses de recherche clairement définies et mises en œuvre ainsi qu’une ou plusieurs "chaînes de résultats" qui lient les investissements publics aux impacts. Indicateurs : Une partie du processus préparatoire devra être consacrée à la prise de décision sur les principaux indicateurs d'impact qui seront mesurés. Le point de départ pour cela sera d'examiner les objectifs de développement du programme et, s'il en existe un, le cadre logique qui faisait partie de la conception et de l’évaluation du programme. Bien qu'un cadre logique aurait été préparé pour les programmes financés par l'aide au développement, cela pourrait ne pas être le cas pour un programme national financé par des fonds nationaux ou celui dans lequel seuls certains éléments ont été financés par des sources de financement extérieures. Les types d'évaluation qui sont susceptibles d'être entrepris dans le cadre de ce programme seront intéressés par l'évaluation de cinq types d'impact : • Retour sur investissement : le calcul a posteriori des taux de rentabilité économique ou de la valeur actuelle nette en utilisant une analyse coûts-avantages, l'impact sur les investissements du secteur privé, • Impact au niveau des ménages : le calcul des revenus supplémentaires ; taux de rentabilité financière, l'analyse de la rentabilité des exploitations agricoles, l'accès accru aux marchés ; dimensions « genre », • Impact technique : impact sur la productivité des récoltes ou du cheptel [betail], • Impact institutionnel : amélioration des compétences et des capacités dans les institutions du secteur ; amélioration de la gouvernance du secteur ; et • Durabilité : évaluation des coûts récurrents du programme, la génération de recettes, engagement des bénéficiaires dans des processus ou des technologies. 9|Page June 2010 Une partie difficile de l'analyse consistera à trouver un moyen de bien filtrer ou de commande pour le «bruit» dans les données en tentant de déterminer la cause et l'effet des relations dans les impacts. Par exemple, les facteurs saisonniers qui affectent les prix des intrants [inputs] et des produits [outputs], la variabilité du marché, bonnes et mauvaises saisons de pluies, et ainsi de suite. En outre, des facteurs échappant au contrôle du programme, telles que les catastrophes naturelles, et les insuffisances dans la mise en œuvre tels que le manque de fonds de contrepartie, la mauvaise gouvernance et les questions connexes du budget, doivent être identifiés. 2. Évaluation des données et sources d'information Une évaluation doit être faite des données primaires et secondaires et des sources d'information, en particulier à la recherche de données dans les sous-secteurs et des domaines d'intérêt pour une évaluation. Les données primaires sont les plus susceptibles de provenir de systèmes M & E associés à des projets ou programmes spécifiques. Les principales caractéristiques à évaluer, en fonction du type de sujet sont : • Les séries chronologiques : de préférence des données de séries chronologiques pour la durée du programme, mais un minimum de deux (2) ans, • Niveau de détail : les données jusqu'à la plus petite unité administrative et / ou au niveau du groupe d'agriculteurs, couvrant tous les domaines dans lesquels le programme fonctionne, • Qualité : la cohérence interne et l'absence d’ensembles de données vierges [blank data sets], • Base de référence : ensembles de données du système M & E qui n'ont pas entièrement documentés et base plausible doivent être traitée avec prudence, et • Les données brutes : disponibilité des données brutes sous forme électronique pour la vérification des données et, si elles ne sont pas pleinement exploitées et analysées, pour une analyse sur mesure [« tailored »]. L'information et les sources de données secondaires sont plus susceptibles d'être utiles pour le recoupement des conclusions tirées des données primaires. Par exemple, les évaluations ou les évaluations d'impact des bénéficiaires entrepris sur des sujets similaires ou connexes au sein du secteur peut fournir des contre-vérifications sur la cohérence. 3. Collecte de données supplémentaires Une évaluation d'impact est toujours fortement dépendante des sources de données existantes. Toutefois, s'il existe de graves lacunes dans les données nécessaires pour tester une hypothèse, cela devra être comblé par la génération de nouvelles données dans le domaine. Dans la pratique, même le meilleur système M & E est peu probable d'avoir recueilli des données qui répondent directement aux types de questions posées par une évaluation d'impact. Toutefois, une telle collecte de données supplémentaires devrait être minimisée, très ciblée et aussi réduite que 10 | P a g e June 2010 cela est compatible avec la réalisation des résultats crédibles. Selon le type de sujet [domaine] en cours d'évaluation, des données complètes au niveau des ménages sont les plus susceptibles de faire défaut et une certaine forme d'évaluation de l'impact bénéficiaire (BIA) pourrait être nécessaire. Les principales étapes de la collecte de données supplémentaires seraient : • L'échantillonnage et la conception du questionnaire : aussi bien les données quantitatives que qualitatives peuvent être collectées. Bien que souhaitable, il est peu probable que les instruments d'enquête utilisés puissent être normalisés entre les pays du fait de la possible diversité des sujets cibles et des différentes capacités à encadrer l'exercice au niveau des pays. Des données supplémentaires recueillies par une enquête ciblée doit être effectuée sur un échantillon aléatoire stratifié et soigneusement encadré afin que les résultats de l'enquête soient crédibles d'un point de vue statistique. L'échantillon doit refléter la variabilité typique qui existe (par exemple, les zones bien desservies [served], les zones mal desservies et les zones moyennement desservies) ainsi que des facteurs comme l'éloignement, les régions riches et pauvres, et ainsi de suite. L'efficacité de l'élaboration d'un échantillon aléatoire dépend de l'existence de données claires sur la répartition de la population et les caractéristiques des ménages. • Préparer le projet de questionnaire : Le questionnaire doit être aussi simple que possible et adaptés aux différents niveaux administratifs concernés et aux personnes interrogées, y compris, par exemple, le personnel de l'administration centrale, le personnel des collectivités locales, des groupes d'agriculteurs et les agriculteurs. Le questionnaire devrait être testé sur le terrain et mis en œuvre [administré] par des enquêteurs expérimentés ou des intervieweurs. • Mise en œuvre : Pour une évaluation d'impact « simple » il est probable que la plupart de l'enquête puisse être menée par l'équipe d'assistance technique et une petite équipe de collègues de la contrepartie nationale. Pour des évaluations d’impact plus complexes, il faudra recruter des enquêteurs spécialisés ou des agents recenseurs. Ceci implique : l‘identification d’agents recenseurs / enquêteurs et, si nécessaire, de leur donner une formation adéquate ; des essais sur le terrain du projet de questionnaire sur une échelle pilote afin de permettre les ajustements et les améliorations à apporter avant le lancement de l'enquête ; la collecte de données, avec une surveillance adéquate et supervision de la tâche ; entrée de données et de nettoyage ; si un système reconnu pour sa fiabilité et utilisé localement n'est pas disponible, le Système de Traitement des Recensements et d'Enquêtes (CSPro) du bureau américain du recensement (US Census Bureau) est disponible en téléchargement gratuit sur internet. • Études de cas : de précieuses informations sur des aspects spécifiques d'une évaluation peuvent être validées et illustrées par l'utilisation d'études de cas, surtout si les données de haute qualité font défaut. 4. Analyse des données, rapports et diffusion Analyse des données : Le processus d'analyse des données sera effectué par l'équipe d'assistance technique en étroite collaboration avec le personnel du ministère de tutelle partenaire. Une formation sur le tas fera partie de la responsabilité de l'équipe d'assistance technique, mais elle sera limitée principalement aux moyens de gérer le processus d'évaluation d'impact afin que cela devienne un élément de routine dans le processus de programmation du MoA. 11 | P a g e June 2010 Préparation de rapports [Reporting] : Le premier rapport devant être produit serait un résumé de l'analyse de données qui contient les conclusions initiales de l'évaluation. Ce rapport sommaire devrait être discuté avec le Ministère sectoriel ou l'organisme concerné avant de produire un rapport complet. Cela doit normalement inclure une analyse complète des données ainsi que des conclusions sur l'impact du programme objet de l’évaluation. Diffusion : La diffusion du rapport d'évaluation d'impact devrait être faite avec l'accord préalable du Ministère ou l'organisme concerné. Le rapport devrait être distribué aux hauts fonctionnaires du gouvernement, les politiciens et les DPs et devrait également être discuté lors d'un atelier de travail pour toutes les parties prenantes. Recommandations Outre les conclusions qui se dégagent de l'évaluation de l'impact, l'équipe d'assistance technique devrait également formuler des recommandations qui pourraient aller au-delà du cadre du rapport lui-même, y compris : • Lorsque la disponibilité des données et/ou leur qualité se sont révélées être un problème, la nécessité d'introduire un système de M & E fonctionnel ou amélioré pour le secteur, • La création de systèmes de données institutionnelles et sectorielles afin de permettre que de meilleures analyses soient réalisées dans le futur. 4. Sources de données et d'information Une évaluation de l'impact utilise des données existantes et génère [produit] de nouvelles données spécifiques pour le secteur agricole. La clé d'une évaluation de l'impact réussie et utile est de commencer avec une bonne connaissance du secteur, les dépenses publiques et les principaux programmes qui composent l'investissement public. Les principales sources sont : Les sources officielles • les documents de conception/évaluation des programmes et projets, • les données électroniques de MoA et MoF, • les rapports et statistiques publiés du MoA et des organismes associés tels que le Ministère du Commerce. Les sources secondaires • Les études et rapports du MoA, • Les examens à mi-parcours des projets, ICRs, • Les rapports des bailleurs de fonds sur l'exécution du programme, • Les rapports des Table ronde-pays du CAADP, 12 | P a g e June 2010 •Les rapports d'évaluation de la pauvreté, • Les enquêtes sur les revenus et dépenses des ménages, • Les rapports et données d’enquête sur les récoltes [cultures agricoles] et le cheptel [bétail], • Les discussions des groupes cibles de discussion avec les gestionnaires et équipes de projets, •Les rapports d'évaluation des bailleurs de fonds, et • les études d'impact des bénéficiaires. 5. Processus Une approche pleinement participative doit être adoptée pour la réalisation de la tâche. La première étape essentielle dans le démarrage de l'exercice est d'établir un partenariat efficace avec les principaux intervenants : MoA, MoF, bailleurs de fonds du groupe de travail (DWG) pour l'agriculture, point focal du CAADP, parlementaires, représentants du secteur privé, et OSC [CSOs]. Dans le cas du MoA, des homologues au niveau technique doivent être affectés pour travailler avec l'équipe d'assistance technique (nationaux et internationaux) sur la tâche sur une base intermittente pour une période de cinq (5) mois. Le processus d'étude comprendra trois phases, dont chacune nécessite l'engagement actif de l'équipe d’Assistance Technique (TA) : 1. Phase préparatoire Information des parties prenantes : toutes les parties prenantes importantes3 doivent être informées de l'objet et des résultats de l'exercice proposé et de s'entendre sur les principales étapes et le calendrier. Un accord devrait également être conclu sur l'axe thématique de l'évaluation. Atelier de lancement : Un atelier formel de toutes les parties prenantes devrait être prévu dans les deux semaines du début de l'étude pour présenter et discuter un rapport initial qui comprend : • Les termes de référence révisés de l'étude, • Les domaines proposés au titre de sujet de l'évaluation, •Les sources de données et d'informations, • Formulation d'hypothèses de recherche, • Les questions et problèmes en suspens relatifs à l'évaluation, 3 The CAADP Country Roundtable consultative process provides a possible scope for relevant stakeholder consultations. 13 | P a g e June 2010 • Les principales étapes et le calendrier prévu de mise en œuvre, et • La désignation d'un personnel de contrepartie. L'atelier devrait solliciter l'appui des représentants du gouvernement pour faciliter l'accès aux données (y compris la revue des dépenses publiques du secteur de l'agriculture –AgPER--) et des rapports sur différents aspects des programmes du secteur et auprès des DPs (par l'intermédiaire du DWG) sur les évaluations de programme qui ont été menées. Mise en place d'un groupe de pilotage : Un groupe de pilotage de haut niveau (SG) doit être mis en place pour superviser l'évaluation. Il devrait comprendre des spécialistes du secteur de l'agriculture, le personnel responsable du secteur au sein du MoF, des représentants des CSOs, du secteur privé et un représentant de l'DWG. Le SG : • Examine le rapport initial de commencement, • Approuve le domaine/thème de l'évaluation d'impact, • Revoit le rapport sommaire, • Examine le rapport final, et • Facilite le dialogue avec les niveaux supérieurs de gouvernement sur les conclusions de l'évaluation. 2. Phase de mise en œuvre Mise en œuvre de l'enquête : y compris la conception du cadre d’échantillonnage et le questionnaire pour recueillir des données supplémentaires, essai sur le terrain et la mise en œuvre effective de l'enquête d'évaluation. Atelier technique : un atelier technique se tiendra après environ deux mois pour examiner les progrès réalisés en matière d'assemblage de données, et décrire les différentes analyses à entreprendre et les modalités pour toute collecte de données supplémentaires. Analyse des données : la saisie des données et des analyses commencent dès que les données sont produites à l’issue de la première enquête. 3. Phase des rapports Préparation du projet de rapport sommaire : Le rapport de synthèse sera élaboré dès que l'analyse des données est terminée. Atelier sur le projet de rapport : Un atelier officiel devrait être programmé quatre mois après le début de la tâche pour discuter des principales conclusions de l'évaluation qui seront présentées dans un rapport de synthèse. L'équipe d'assistance technique sera principalement responsable de la présentation du projet de rapport. Rapport final : le rapport final sera établi reflétant les discussions à l'atelier de projet de rapport et des observations du gouvernement et du DWG. 14 | P a g e June 2010 6. Produits de l’équipe d'assistance technique, rapports et bases de données Produits de l’équipe d'assistance technique : l'équipe d'assistance technique, en étroite collaboration avec leurs homologues du MoA sera responsable des tâches suivantes : • Discuter avec le gouvernement et les bailleurs de fonds le sujet/domaine de l'évaluation, • Aider à affiner [approfondir] l'hypothèse de recherche, • Préparer une « chaîne de résultats » [« results chain »], • Concevoir la collecte de données supplémentaires, • Effectuer l'analyse des données • Mettre en œuvre une formation sur le tas sur la méthodologie et la gestion de l'évaluation d'impact, • Préparation d'un rapport sommaire, • Préparation d'un rapport d'évaluation complet, • Concevoir et gérer les ateliers sur l’initiation de la tâche, les aspects techniques et le projet de rapport, • Assurer la liaison avec le DWG, • Formuler des recommandations pour améliorer les systèmes M & E du secteur et l'utilisation des résultats de l'évaluation, et • Veiller à ce que toutes les données utilisées au cours de l'évaluation soient assemblées dans une forme permettant leur mise en ligne. En outre, l'équipe d'assistance technique jouera un rôle actif dans l’approfondissement [Affinage] dans le domaine cible pour l'enquête d'évaluation de l'impact à travers des discussions avec le gouvernement et le DWG. Rapports Après consultation avec toutes les principales parties prenantes, l'équipe d'assistance technique préparera les rapports suivants : • Rapport initial de démarrage : dans les deux (2) semaines qui suivent le début de la tâche, le rapport initial présente les termes de référence révisés de l'évaluation, soulève des questions et définit le domaine de l'évaluation. . Rapport sommaire : dès l’achèvement de l’analyse des données, ce rapport présente les principaux résultats de l’évaluation, 15 | P a g e June 2010 • Le rapport d'évaluation complet : dans le mois suivant l'achèvement de l'analyse initiale, ce rapport comprend toutes les analyses de données et présente les conclusions de l'évaluation, et • Rapport final : dans les cinq (5) mois, ce rapport incorpore les recommandations générales de l'équipe d'assistance technique sur le système M & E et le cadre pour l'utilisation des résultats de l'évaluation. Base de données Au cours de la mission, l'équipe d'assistance technique en collaboration avec le MoA et du MoF mettra en place une base de données comprenant les documents de base et les sources, la méthodologie d'évaluation, le cadre des données d’échantillonnage et les questionnaires, les données d'enquête, d'analyse des documents de travail et les analyses qui peuvent être mises en ligne. Cette base de données sera utilisée à des fins de renforcement des capacités dans le cadre d'une activité de formation commune dans le cadre général du programme de dépenses publiques. 7. Chronologie Le calendrier global pour réaliser la composante évaluation d'impact dans le secteur de l'agriculture est au moins de cinq mois (voir Fig. 1) pour une "simple" évaluation, mais pourrait être de neuf mois ou plus dans des situations [pour des évaluations] "complexes". En ce qui concerne l'échelle de temps, un délai supplémentaire est susceptible d'être requis pour la phase 2, pour refléter l'ampleur de la collecte des données requises. 8. Ressources Le programme financera une équipe de consultants pour une assistance technique (AT) comprenant un expert de haut niveau international avec une expertise méthodologique dans l'évaluation d'impact et de l'expérience multi-pays [internationale], ainsi que deux experts nationaux. Chacun des experts consacrera douze (12) semaines de travail dans le cadre du délai global requis pour la réalisation de l’exercice [la tâche]. L'expert international fera trois visites dans le pays, correspondant aux trois phases de mise en œuvre. L'expert international sera consulté dans le choix de l'expert national. Le MoA, ou tout autre organisme du secteur concerné par l’exercice, sera invité à apporter, en contrepartie, au moins un cadre [staff] à temps plein ou l’équivalent en équipe pour chaque consultant. Les think tanks, les universités et les autres bailleurs de fonds locaux qui contribueront à l'exercice ne seront pas rémunérés. Dans le cas d’évaluations [situations] plus "complexes" où une collecte des données complémentaires importantes doit être entreprise, les coûts de recrutement et de mobilisation des enquêteurs et des agents de suivi devront être financés en dehors du budget du programme, éventuellement par le DWG. 16 | P a g e June 2010