Document of  The World Bank  FOR OFFICIAL USE ONLY      Report No: ICR00004677        IMPLEMENTATION COMPLETION AND RESULTS REPORT  P123315, IDA‐H7770   ON A  GRANT    IN THE AMOUNT OF SDR 3.9 MILLION (US$6 MILLION EQUIVALENT)  TO THE   REPUBLIC OF DJIBOUTI     FOR THE  STRENGTHENING INSTITUTIONAL CAPACITY AND MANAGEMENT OF THE EDUCATION  SYSTEM ( P123315 ) PROJECT             April 30, 2019              Education Global Practice  Middle East And North Africa Region      CURRENCY EQUIVALENTS     Exchange Rate Effective April 28, 2019    Currency Unit  =  Djibouti Franc  DJF178.2 =  US$1  US$1.38  =  SDR 1      FISCAL YEAR  July 1 ‐ June 30      ABBREVIATIONS AND ACRONYMS    ACIGEF  Strengthening Institutional Capacity and Management of the Education System (Projet  d’appui des capacités institutionnelles et de la gestion de l’éducation et de la formation)  AFD  French Development Agency (Agence française de développement)  APL  Adaptable Program Loan  AWP  Annual Work Plan  CAS  Country Assistance Strategy  CFEEF  Teacher Training Center for National Education (Centre de formation des enseignants de  l’enseignement national)  CPP  Project Steering committee (Comité de pilotage des projets)  CRIPEN  National Education Research and Information Production Center (Centre de recherche,  d’information, et de production pour l’éducation nationale)  DGAC  Directorate for Central Administration (Direction générale de l’Administration centrale)  DGE  Directorate for General Pedagogy (Direction générale de la Pédagogie)  EMP  Environmental Management Plan  FM  Financial Management  FTI  Fast Track Initiative  GDP  Gross Domestic Product  GER  Gross Enrollment Rate  IBRD  International Bank for Reconstruction and Development  IDA  International Development Association  IMF  International Monetary Fund  INDS  National Initiative for Social Development (Initiative nationale de développement social)  IDB  Islamic Development Bank  MENSUP  Ministry of Higher Education (Ministère de l’enseignement supérieur)  MENFOP  Ministry of National Education and Vocational Training (Ministère de l’éducation  nationale et de la formation professionnelle)  MOEFP  Ministry of Economy, Finance and Planning  PAEFPT  National Education Action Plan (Plan d’action de l’éducation et de la formation  professionnelle et technique)  PAAE  School Access and Improvement Program (Programme d’amélioration de l’accès aux  écoles)  PAAE2  PAAE2  Second School Access and Improvement Program (Programme d’amélioration de  l’accès aux écoles 2)  PIU  Project Implementation Unit  SISMOER  Système Intégré de Suivi de la Mise en Oeuvre et des Résultats  TVET  Technical and Vocational Education Training                                  Regional Vice President:  Ferid Belhaj  Country Director:  Marina Wes  Senior Global Practice Director:  Jaime Saavedra Chanduvi  Practice Manager:  Andreas Blom  Task Team Leader(s):  Patrick Philippe Ramanantoanina, Simon Thacker  ICR Main Contributor  Franco Russo   ICR Economic Analysis Contributor  Elisabeth Sedmik          TABLE OF CONTENTS    DATA SHEET ............................................................................................................................ 1  I.  PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ........................................................ 5  A. CONTEXT AT APPRAISAL ........................................................................................................... 5  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE) ........................................ 9  II.  OUTCOME ...................................................................................................................... 12  A. RELEVANCE OF PDOs .............................................................................................................. 12  B. ACHIEVEMENT OF PDOs (EFFICACY) ........................................................................................ 12  C. EFFICIENCY ............................................................................................................................. 17  D. JUSTIFICATION OF OVERALL OUTCOME RATING ..................................................................... 18  E. OTHER OUTCOMES AND IMPACTS (IF ANY) ............................................................................. 18  III.  KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 20  A. KEY FACTORS DURING PREPARATION..................................................................................... 20  B. KEY FACTORS DURING IMPLEMENTATION .............................................................................. 21  IV.  BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 21  A. QUALITY OF MONITORING AND EVALUATION (M&E) ............................................................. 21  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ..................................................... 23  C. BANK PERFORMANCE ............................................................................................................. 24  D. RISK TO DEVELOPMENT OUTCOME ........................................................................................ 25  V.  LESSONS AND RECOMMENDATIONS .............................................................................. 25  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 26  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 33  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 35  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 36  ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS ... 40  ANNEX 6. SUPPORTING DOCUMENTS (IF ANY) ...................................................................... 41       The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )        DATA SHEET      BASIC INFORMATION   Product Information  Project ID  Project Name  Strengthening Institutional Capacity and Management of  P123315  the Education System  Country  Financing Instrument  Djibouti  Investment Project Financing  Original EA Category  Revised EA Category  Not Required (C)  Not Required (C)  Organizations  Borrower  Implementing Agency  Republic of Djibouti  Ministry of National Education and Vocational Training  Project Development Objective (PDO)    Original PDO  The Project Development Objective (PDO) is to strengthen the institutional capacity of the Ministry of National  Education and Vocational Training for improved management of the education system.      Page 1 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing          6,000,000  6,000,000  5,449,395  IDA‐H7770  Total    6,000,000  6,000,000  5,449,395  Non‐World Bank Financing          0  0  0  Borrower/Recipient     0     0     0  Total     0     0     0  Total Project Cost  6,000,000  6,000,000  5,449,395        KEY DATES      Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  12‐Jun‐2012  15‐Jan‐2013  07‐Mar‐2016  31‐Aug‐2017  31‐Aug‐2018       RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions  31‐May‐2017  3.60  Change in Results Framework  Change in Components and Cost  Change in Loan Closing Date(s)  Change in Legal Covenants  Change in Institutional Arrangements  Change in Implementation Schedule  Other Change(s)  15‐Mar‐2018  4.63  Change in Results Framework  Reallocation between Disbursement Categories  Change in Disbursements Arrangements  Change in Institutional Arrangements      KEY RATINGS      Outcome  Bank Performance  M&E Quality  Satisfactory  Moderately Satisfactory  Substantial    Page 2 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  26‐Dec‐2012  Satisfactory  Satisfactory  0  02  07‐Jun‐2013  Satisfactory  Satisfactory  .40  03  01‐Aug‐2013  Moderately Satisfactory  Moderately Satisfactory  .40  04  03‐Feb‐2014  Moderately Satisfactory  Moderately Satisfactory  .50  05  12‐Jul‐2014  Moderately Satisfactory  Moderately Satisfactory  .57  06  15‐Jan‐2015  Moderately Satisfactory  Moderately Unsatisfactory  1.28  Moderately  07  07‐Jul‐2015  Moderately Unsatisfactory  1.54  Unsatisfactory  Moderately  08  31‐Dec‐2015  Moderately Unsatisfactory  2.07  Unsatisfactory  09  17‐Jun‐2016  Moderately Satisfactory  Moderately Satisfactory  2.49  10  22‐Dec‐2016  Moderately Satisfactory  Moderately Satisfactory  2.74  Moderately  11  29‐Jun‐2017  Moderately Unsatisfactory  4.01  Unsatisfactory  12  15‐Dec‐2017  Moderately Satisfactory  Moderately Satisfactory  4.46  13  29‐Jun‐2018  Moderately Satisfactory  Moderately Satisfactory  5.16  14  13‐Sep‐2018  Moderately Satisfactory  Moderately Satisfactory  5.45    SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Education   100  Public Administration ‐ Education  64  Secondary Education  15  Workforce Development and Vocational Education  21      Page 3 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Private Sector Development  100    Jobs  100        Human Development and Gender  102    Education  102    Access to Education  38    Education Financing  25    Science and Technology  13    Teachers  13    Standards, Curriculum and Textbooks  13            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Inger Andersen  Ferid Belhaj  Country Director:  A. David Craig  Marina Wes  Senior Global Practice Director:  Steen Lau Jorgensen  Jaime Saavedra Chanduvi  Practice Manager:  Mourad Ezzine  Andreas Blom  Patrick Philippe  Task Team Leader(s):  Safaa El Tayeb El‐Kogali  Ramanantoanina, Simon  Thacker  ICR Contributing Author:    Franco Russo                   Page 4 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )   I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES    A. CONTEXT AT APPRAISAL    Context    1. Djibouti is a small, undiversified, low‐income country bordering Somalia, Ethiopia and Eritrea. The  country has minimal natural resources and is highly dependent on revenue from its ports and on foreign  direct  investment  (FDI).  Leading  up  to  appraisal,  Djibouti  had  achieved  strong  growth  rates  for  the  previous five years at an annual average of about 5 percent, while FDI constituted 15 percent of GDP on  average. At the same time, the Government of Djibouti recognized that it needed to diversify its economy  through  the  development  of  the  private  sector  and  industries  such  as  tourism,  fishing,  transport,  and  financial services. Boosting growth in these sectors, however, meant that the government would need to  tackle the deep structural barriers such as the lack of basic infrastructure, the high cost of labor and the  lack of skilled workers.     2. At the time of project appraisal, the education system in Djibouti had been undergoing reforms  for the past  decade:  In 2000, the Ministry of National and Higher Education  (Ministère  de l’Education  nationale et supérieure, MENSUP) developed a ten‐year National Education Strategy (2000‐2010) and a  series  of  Action  Plans  focusing  on  improving  access,  equity,  quality,  and  efficiency  of  the  education  system. During that period, Djibouti saw significant improvements in terms of access and coverage: the  number  of  classrooms  and  students  enrolled  increased  by  22  and  15  percent  respectively,  with  the  percentage of girls enrolled rising slightly from 44.6 to 45 by 2010. On the other hand, levels of learning  remained  low,  repetition  rates  were  high  (6.7  percent  in  lower  secondary  school),  and  those  who  did  manage to graduate found it difficult to get a job because they did not have the skills required by the  labor market.    3. In  response  to  these  challenges,  the  government  had  launched  its  new  National  Education  Strategy  ‐  NES  (2010‐2019),  and  the  National  Education  Action  Plan  (Plan  d'action  du  ministère  de  l'éducation  et  de  la  formation  professionnelle  ‐  PAEFPT)  for  2011‐2016.  The  NES  was  informed  by  a  situational analysis of the school system (RESEN) and an organizational audit of the ministry carried out  in 2009. It aimed at improving the efficiency of the education system and the quality and relevance of  education  with  a  focus  on  results,  specifically  focusing  on  four  areas:  (a)  improved  governance  and  accountability  at  all  levels  of  education,  (b)  restructuring  educational  support  to  meet  the  needs  of  teachers and schools; (c) rationalization of expenditures and cost control; and (d) transformation of the  country into an education hub. At the time, however, resource allocation and intra‐sectoral distribution  between  investment  expenditures  and  operating  expenses  were  far  from  optimal.  As  a  result  and  to  improve  governance  of  public  finances,  MENFOP  would  also  develop  a  medium‐term  expenditure  framework (MTEF). This would help in forecasting, planning and simulation for the medium and long term  and in determining the level of resources (human and financial) needed to achieve the objectives of the  sector  within  an  appropriate  resource  envelope.  It  would  also  help  in  establishing  links  between  the  objectives, programs and outcomes with activities, indicators and budgets. In addition, the NES identified  Page 5 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) improving the learning environment in technical colleges and model lower secondary schools as a priority  area as these were in varying physical states and not adequate to deliver on the government’s vision.     4. The education sector was reorganized into a new ministry and was in the process of creating a  new  directorate  to  focus  on  technical  and  vocational  education  (TVET).  In  May  2011,  the  new  government reorganized the education sector and created a separate ministry for Higher Education and  Scientific  Research  and  transferred  vocational  training  from  the  Ministry  of  Labor  to  the  Ministry  of  Education, which then became the Ministry of National Education and Vocational Training (Ministère de  l’éducation  nationale  et  de  la  formation  professionnelle  –  MENFOP).  To  better  respond  to  the  government’s  focus  on  providing  youth  with  practical  knowledge  and  skills,  MENFOP  was  also  in  the  process  of  creating  a  new  directorate  for  technical  and  vocational  education  and  training  and  re‐ organizing its other departments to align more closely with the objectives of the NES.     5. To  support  the  implementation  of  the  NES  and  the  PAEFPT,  which  was  developed  to  operationalize the NES, the government requested support from donors. The Bank and the government  agreed  to  provide  funding  under  the  “Strengthening  Institutional  Capacity  and  Management  of  the  Education  System”  (Projet  d’Appui  des  Capacités  Institutionnelles  et  de  gestion  de  l’Edcation  et  de  la  Formation – ACIGEF) to support the NES’ strategic orientation 3 (improving the quality through curriculum  reform,  textbook  production  management  and  technical  and  vocational  education  reform)  and  5  (strengthening the management capacity of the system and service delivery).     6. Through  funds  from  the  Global  Partnership  for  Education  (GPE),  the  Bank  also  discussed  and  agreed with the government to support the “Access to Education Quality Project ‐ PAEQ” (P145323).  This  project  mainly  focused  on  access  to  pre‐primary  and  primary  education  and  learning  outcomes  (strategic orientation 1) and capacity building of teachers and other education professionals (strategic  orientation 4). In addition, other donors such as the French Development Agency and the United Nations  Children’s  Education  Fund  (UNICEF)  supported  other  strategic  orientations  and  PAEFPT  activities  to  ensure  that  all  donors  were  supporting  the  government’s  agenda  through  a  holistic  and  coordinated  approach. This commitment to a coordinated approach was underscored by the regular meetings of the  Local Education Group where progress of the education sector plans was being discussed.        7. Lastly, ACIGEF was designed  to respond  to findings from  an  organizational audit completed in  2009. This diagnostic cited two major problems in MENFOP’s management of the education sector: (a) an  inefficient decision‐making system, and (b) an insufficiently mastered process of planning and conducting  reforms  (objectives,  plans  and  programs)  and  in  implementing  corrective  actions.  The  audit  was  particularly  useful  in  identifying  the  need  for  objective‐based  planning,  defining/clarifying  roles  and  responsibilities and training for the institution and the need to focus on attaining results to achieve the  desired change.    Theory of Change (Results Chain)    8. The  ACIGEF  theory  of  change  (TOC)  focused  on  improving  education  sector  management  by  providing  support  to  several  priority  areas  in  the  sector.  The  project  provided  technical  assistance,  training  of  staff  at  various  levels  and  equipment  to  strengthen  the  institutional  capacity  for  improved  management  of  the  education  system.  The  support  focused  on  instituting  results‐based  annual  work  Page 6 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) plans,  a  governance  structure  for  technical  and  vocational  training,  more  efficient  management  of  learning materials and increasing the capacity to manage education projects.  The TOC is illustrated in  Figure 1 below.    Figure 1: Theory of change    Project Development Objectives (PDOs)    9. The  project  development  objective  (PDO)  was  “to  strengthen  the  institutional  capacity  of  the  Ministry  of  National  Education  and  Vocational  Training  for  improved  management  of  the  education  system.”     Key Expected Outcomes and Outcome Indicators    10. Progress towards the PDO was to be measured through the following key indicators:    (a) Percentage of departments with Annual Work Programs (AWP) agreed and approved by the  beginning of the fiscal year; and  Page 7 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) (b) Departments with an AWP that has completed 70 percent of the activities by the end of the  fiscal year1.  Components    11. The  project  consisted  of  two  parts:  (a)  reinforcing  institutional  capacity  and  performance  of  the  education system; (b) increasing the quality of the learning environment.    Component 1: Reinforcing institutional capacity and performance of the education system (Planned:  US$4.0 million; Actual US$3.6 million)  12. Reinforcement of the capacity of the MENFOP at the central, regional, and school levels to improve  performance and management of the education system through technical assistance, training, and the  provision of furniture, vehicles, and equipment, as detailed in the Procurement Plan.     13. Subcomponent  1.1.  Improving  management  and  accountability.  This  subcomponent    provided  technical assistance, training, and equipment to various departments at the central, regional and school  levels to help the MENFOP in: (a) defining roles and accountability structures and developing procedures  that introduce performance‐based management tools; (b) strengthening planning and management of  financial,  material,  and  human  resources;  and  (c)  supporting  the  systematic  collection,  analysis,  and  sharing of information, and harmonization of the various information systems to monitor and evaluate  the performance of the MENFOP in delivering education services.      14. Subcomponent 1.2. Supporting the establishment of a new governance structure for TVET.  This  subcomponent provided technical assistance, training, and equipment to the new Directorate for TVET  that  was  established  before  project  effectiveness.  Through  support  to  this  directorate,  the  project  promoted the establishment of a national authority for TVET with public and private sector participation  that facilitated the links between the education system and the labor market.     15. Subcomponent  1.3.  Strengthening  efficient  management  of  textbooks.  This  subcomponent  supported CRIPEN in the management of textbooks through technical assistance and training, in planning,  costing,  budgeting,  procurement,  stock  control,  distribution  and  maintenance  of  textbooks,  and  in  implementing a sustainable system of cost recovery which does not exclude the rural poor from access to  learning  materials.  It  provided  technical  assistance  to  conduct  studies  to  assess  the  use  of  textbooks  before and after the project and sought to conduct a pilot experiment on the use of digital textbooks  through e‐tablets at the secondary level. The project also provided IT equipment and minor rehabilitation  for the offset printing and storage facility.    16. Subcomponent  1.4.  Enhancing  project  management.  Under  this  component,  the  project  strengthened  the  capacity  of  MENFOP  to  manage  education  projects,  in  general,  and  this  project,  in  particular,  by  providing  technical  assistance  and  training  to  the  Project  Implementation  Unit  (PIU)  in  procurement, financial management, and monitoring and evaluation. It also provided technical assistance  1 There is a discrepancy between the wording in the PAD’s main text (p. 4) and the results framework. For the purposes of the ICR, the  wording in the results framework will be used as it corresponds with the wording used in the ISRs and progress reports.   Page 8 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) to  support  the  Project  Steering  Committee.    The  project  finance  furniture,  equipment,  vehicles  and  incremental operating costs for the PIU.     Component 2: Increase the quality of the learning environment (Planned US$2.0 million; Actual US$1.7  million)     17. This component supported activities to improve the quality of the school environment by ensuring  adequate learning and working conditions through: (a) the upgrading and rehabilitation of the technical  colleges and provision of didactic equipment; and (b) the completion of the Hodan 32 lower secondary  school and provision of equipment and learning material. The completion of Hodan 3 was requested by  the government to be part of ACIGEF to ensure continuity of Bank support of an activity initiated under a  previous Bank‐supported project.    B. SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE)    Revised PDOs and Outcome Targets     18. The  PDO  was  not  revised.  However,  during  the  first  restructuring,  the  first  outcome  target  “percentage of AWPs developed and agreed and approved” was increased to 90 percent to account for  the one year extension (see below).     Revised PDO Indicators    19. As mentioned above, the PDO indicators were not revised during implementation but the target  for one of the PDO indicators was revised upwards as part of the first restructuring in May 2017 to extend  the closing date by 12 months (see “other changes” below).    Table 1:  Original and Revised PDO indicators  Original Indicator in PAD  Revision  Explanation  PDO Indicators  Percentage of Departments have  Target revised to 90%  Target was increased to account  Annual Work Plans (AWPs)  for the 1‐year closing date  developed and agreed and  extension.   approved‐Target 75%  Percentage of AWP implemented‐ No change    Target = 70%    20. The rationale for the upward revision was two‐fold: (a) despite initial delays, MENFOP had made  significant progress after the mid‐term review in the development of AWPs across all its departments,  feeling confident that it will reach a higher percentage by the closing date; and (b) MENFOP also saw the  higher target as confirmation of its sustained commitment to a results‐based way of working.   2 The PAD refers to Hodan 3 as a “middle” school but for clarity sake, the ICR uses the term “lower secondary” instead.   Page 9 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) Revised Components    21. The project components were not revised. However, during the 2017 restructurings, a new activity  was introduced under component 1: the provision of school grants to 30 schools (21 primary schools and  9  lower  secondary  schools)  to  extend  the  results‐based  approach  (RBA)  down  to  the  school  level.  The  rationale  was  to  empower  schools  to  identify  key  constraints  to  learning,  develop  and  manage  improvement plans while being accountable for these activities. This resulted in the re‐allocation of funds  between components and changes in implementation arrangements.    Other Changes    22. There were two level‐two restructurings, dated May 31, 2017 and November 14, 20173. The first Level  2 restructuring took place on May 31, 2017 and introduced the following four changes:     (a) extension of the project closing date by one year from August 31, 2017 to August 31, 2018 to  make up for initial delays and allow completion of project activities;   (b) inclusion of a new activity: the provision of school grants as a pilot to select primary and lower  secondary schools to support the government’s strategy of improving results at these levels. The  schools  were  selected  among  the  poorest  communities,  and  with  the  lowest  education  performance.  The  initial  total  cost  of  the  activity  was  US$50,000  to  fund  vetted  proposals  (typically for US$4,000 – US$5,000) for school improvements (for example, support to remedial  programs, minor repairs, tree planting, equipment, supplies, etc.);  (c) revision of institutional arrangements to incorporate the new pilot activity on the provision of  school grants and addition the participation of local communities in school management; and   (d) revision  of  the  results  framework  to  shift  the  end  target  dates  for  all  indicators  (PDO  and  intermediate) in line with the revised Closing Date and adjust some end targets (see table below);  and   (e) Adjustment  to  the  overall  funds  available  and  component  costs  to:  (i)  reflect  losses  due  to  exchange rate fluctuations (XDR to US$), (ii) reallocate funds from activities that were supported  by other donors or the government, or represent a shift in government priorities, and (iii) reflect  the cost of revised activities. As a result, the cost of Component 1 was reduced from US$4 million  to US$3.6 million equivalent and the cost of Component 2 was reduced from US$2 million to  US$1.7 million equivalent.     23. The  second  Level  2  restructuring  took  place  on  November  14,  2017.  This  restructuring  was  to  permit  an  increase  in  the  school  grants  funding  envelope  from  US$50,000  as  stated  in  the  first  restructuring to US$150,000. This increase was necessary due to government’s decision to include lower  secondary schools that had more significant resource constraints. As a result, 21 primary schools and 9  lower secondary schools were to benefit from school grants. The additional US$100,000 came from the  planned household survey for which other funding had been identified and the results framework was  3 The second restructuring was approved on November 14, 2017 and the amendment letter countersigned on January 4, 2018 but due  to a system glitch, it was only reflected in the system on March 15, 2018.  Page 10 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) amended to add secondary schools to the target.  Table 2 below provides an overview of the changes that  were introduced.    Table 2:  Original and Revised Intermediate indicators  Original Indicator in PAD  Revision  Explanation  Intermediate Indicator Component One: Reinforcing institutional capacity and performance of the  education system    1st  2nd    restructuring  restructuring  Timely production and dissemination  Target revised    This indicator was  of semi‐annual reports on school  to 10 reports  cumulative and was revised  performance‐Target = 8  upward because of extra  time afforded by the new  closing date.  Annual statistical reports with key  Target raised    Target increased because  indicators‐Target = 4  to 5  one annual statistical  report was produced for  each project year = 5  Number of partnerships with private  Target raised    Based on positive progress,  sector firms to train and/or recruit  to 6  the end target was revised  students has increased from 1 in  partnerships  to account for the  2011 to at least 4 by the end of the  additional year of  Project‐Target = 4  implementation.   The level of satisfaction of TVET  Target    Target changed because  students and firms has increased by  reduced to  this indicator did not have  at least 30% by the end of the Project  10%.   a proper baseline.   (compared to baseline)‐Target 30%  Number of schools receiving school  Target = 30  Clarification  During the second  grants (new)  was added in  restructuring, funding was  the comments  increased from US$50,000  section “At  to US$150,000 and  least 30  eligibility expanded to  primary and  lower secondary schools.   lower  secondary  schools will  Page 11 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) have received  this grant"  Intermediate Indicator Component 2:  Increase the quality of the learning environment  Total number of students using new  Target revised    Revised upward because it  computer rooms in Hodan 3‐Target =  upward to  was highly likely to be  2,200  2,500.  achieved.       Rationale for Changes and Their Implication on the Original Theory of Change    24. The  adjustments  had  a  positive  impact  because  they  increased  the  prospects  of  achieving  the  targets. The changes were required after initial delays in implementation which necessitated additional  time to complete activities. In addition, the introduction of school grants and the attendant funding award  processes  helped  to  build  school  capacity  in  identifying  and  prioritizing  school  needs,  involving  stakeholders in the needs assessment and in preparing proposals for grants that specify the activities to  be funded, their cost and their rationale. This capacity building was consistent with the PDO and extended  system performance strengthening down to both the primary and lower secondary school levels.    II. OUTCOME    A. RELEVANCE OF PDOs    Assessment of Relevance of PDOs and Rating    25. The relevance of the PDO is rated high. The PDO was relevant at the time of approval and remains  consistent  with  the  World  Bank  Country  Partnership  Strategy  and  the  Government's  Education  Sector  Strategy 2010‐2019. The Project was designed specifically to support the National Education Strategy’s  emphasis  on  access,  equity,  quality,  focus  on  results  and  good  governance  as  major  priorities  for  the  sector. The Project was also in line with the World Bank's Country Assistance Strategy (CAS) of 2009‐2012  for Djibouti that highlighted improvements of the education sector as one of the key national priorities.  The 2009 CAS had three themes: supporting growth; supporting human development and access to basic  services;  and  supporting  governance  and  public‐sector  management.  Also,  the  Performance  Learning  Review (FY14‐17) of the Country Partnership Strategy proposed an amendment to its Pillar 2: it modified  the  pillar’s  focus  from  “strengthening  the  business  environment”  to  “strengthening  public  and  private  sector  capacity  for  service  delivery”,  thereby  reconfirming  the  relevance  of  the  project  objective.  The  Systematic Country Diagnostic of 2018 identified capacity and governance constraints and recommends  continuing  to  focus  on  these  areas,  and  therefore  confirming  the  continuing  relevance  of  ACIGEF  objectives. The follow‐on Bank‐supported education project also aims to improve MENFOP’s capacity for  better education sector management with a focus on results‐based financing.    B. ACHIEVEMENT OF PDOs (EFFICACY)    Page 12 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) Assessment of Achievement of Each Objective/Outcome    26. The  efficacy  of  the  PDO  is  rated  substantial.  The  project  exceeded  the  targets  for  the  two  PDO  indicators:  (a)  percentage  of  departments  have  Annual  Work  Plan  (AWP)  developed  and  agreed  and  approved; and (b) percentage of AWP implemented. Based on Bank guidance for developing strong results  frameworks, the chosen indicators were more output than outcome oriented, which was appropriate given  MENFOP’s limited capacity, the novelty of the RBA and fragile country context. Achievement of the PDO  targets was facilitated by meeting or exceeding targets of six out of the eight intermediate indicators     27. PDO indicator 1 “percentage of departments have Annual Work Plan (AWP) developed and agreed  and  approved”  was  exceeded.  In  2018,  96  percent  of  departments  had  approved  AWPs  compared  to  upward revised target of 90 percent. MENFOP first used AWPs in 2014, but they were based on completion  of activities. By 2017, the AWPs were based on results. The introduction of AWPs also helped MENFOP to:  (a) identify and be accountable for clear targets that were directly linked to the new Education Sector Plan  (ESP – 2017 ‐ 2020) indicators, thus closely aligning each department’s activities with the overall strategy  of the sector; (b) ensure that the sector priorities of increased access, improved equity and retention were  embedded  across  all  ministry  departments’  work  plans  (each  AWP  had  to  identify  how  its  proposed  activities contributed to at least one of three priority areas); and (c) strengthen its capacity to coordinate  and manage different interventions by donors and government agencies to avoid duplication and therefore  maximizing synergies . In 2018 there was an additional shift in MENFOP’s approach to managing the sector  and becoming more effective by reviewing/analyzing its AWPs at the end of the year, identifying strengths  and  weaknesses  and  developing  recommendations  for  the  development  of  the  2019  AWPs.  This  was  a  result of MENFOP’s continued commitment to RBA. A total of 48 out of 50 departments produced results‐ based AWPs in 2018, which is a commendable achievement.     28. PDO indicator 2 “percentage of AWP implemented” was also exceeded.  90 percent of AWPs that  were developed for 2018 were implemented compared to the target of 70 percent4. This shows a clear  upward trend of the ministry’s capacity to implement activities it set out to achieve at the beginning of the  year (in 2017, 79 percent of AWPs were implemented). MENFOP was able to complete 572 activities out  of  697  in  2018  across  all  areas,  including  human  resource  management  (professional  development,  deployment  of  teaching  and  non‐teaching  staff);  student  and  sectoral  performance  assessments  (administration and analysis of key exams, monitoring and evaluation, development of annual statistical  reports harmonization of information systems); planning and policy making (development of a pre‐school  strategy, introduction of ICT into schools, review and update of curriculum, textbook management, project  management, school management, governance of TVET, improvement of the learning environment etc.).      29. The above two outcomes were facilitated by the following intermediate results:    (a) Timely  production  and  dissemination  of  semi‐annual  reports  on  school  performance  and  annual statistical reports with key indicators which informed preparation of AWPs: targets for both  4 For instance, the department for general administration’s 2019 AWP has been posted on the SISMOER webpage and includes  an activity related to the establishment of pre‐school legal framework with bi‐monthly steps/targets, an expected activity start  and end date, data collection source, proposed budget and percentage achieved. MENFOP is in the process of making the  system fully web‐based to allow for availability of real‐time data.   Page 13 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) these  indicators  were  either  exceeded  or  met.  A  total  of  12  semi‐annual  reports  on  school  performance were produced compared to the target of 10, and 5 annual statistical reports were  produced. This was achieved through: (a) training 75 key department staff on applying a RBA, which  included  capacity  building  on  data  analysis,  implementation  and  monitoring  and  evaluation  of  activities focused on achieving results. This was also key to be able to successfully implement AWPs;  (b)  nine  staff  from  the  statistics  department  at  the  central  and  regional  levels  on  information  systems, data collection and cleaning, analysis and monitoring and evaluation activities to support  results‐based  analysis  and  the  production  of  respective  progress  reports,  (c)  inclusion  of  geo‐ mapping of all schools in Djibouti, (c) strengthening key exam administration by increasing results  analysis capacity through training of two key MENFOP staff and provision of materials to secure test  items/questionnaires  both  at  the  primary  and  lower‐secondary  levels  (2nd  and  5th  year  learning  assessments ‐ OTIs, Brevet); and (d) increasing capacity and frequency of inspectors to carry out  supervision and collection of data from the 10 secondary and 35 lower secondary schools through  training 13 inspectors (three financed by ACIGEF) and provision of vehicles.     (b) Harmonized  information  systems  and  established  the  following  two  new  tools:  First,  a  dashboard for the minister was developed, which provides an overview of all MENFOP activities and  progress of AWP implementation and ESP targets. Second, an online repository (SISMOER) of all  AWPs being executed, providing quarterly targets, data collection/update responsibilities, budget  and  implementation  status.  SISMOER  is  currently  still  Excel‐based  and  needs  to  be  manually  updated but MENFOP is in the process of making it fully web‐based to provide data in real‐time.  MENFOP’s  push  to  create  an  online  tool  to  support  the  implementation  of  results‐based  management  is  important  for  several  reasons:  (1)  increased  transparency  and  strengthened  accountability by making information accessible to the public and other government agencies which  was  not  the  case  under  the  Excel‐only  approach,  (2)  streamlined  AWP  development  and  data  collection process, which was apparent in the reduced time it took MENFOP to prepare the 2019  AWPs  compared  to  the  2018  AWPs,  and,  (3)  improved  coordination  and  dialogue  with  other  development partners based on better analysis of ESP progress which also informs the joint sector  review discussions.    (c) Built  capacity  across  all  MENFOP  departments.  Over  the  life  of  the  project,  the  ministry  trained 97 department‐level staff on planning, budgeting and management of activities within their  departments, including on medium‐term expenditure framework development (MTEF). The project  supported definition of roles and responsibilities and accountability mechanisms which resulted in  each  directorate  (and  work  unit)  having  clearer  job  descriptions  to  avoid  duplication  and  overlapping  responsibility.  Better  defined  responsibilities  were  also  a  prerequisite  to  developing  and  implementing  the  AWPs.  AWPs  promote  improved  education  system  management  because  budgets  at  MENFOP  use  results‐based  criteria  for  the  MTEF.  MENFOP  capacity  for  budget  preparation  and  negotiation  has  been  reinforced  with  this  shift  to  a  new  RBA  for  budget  preparation. In the end, all 626 MENFOP staff were trained5.    (d) Trained project implementation unit staff, which (over the course of project implementation)  became  a  department  (Service  de  Gestion  de  Projects)  in  charge  of  all  government  and  donor  5 Although the PAD identified 650 MENFOP staff as direct project beneficiaries, the final number of staff trained was 626 which was  due to staffing changes.  Page 14 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) supported activities. This unit helped to facilitate preparation and implementation of AWPs. The  fact that this unit was upgraded and tasked with such a critical function further shows the increased  capacity of the ministry to manage the sector.    (e) Strengthened management at the school level through training and provided school grants.  The target of 30 schools receiving grants was achieved. The school grants activity was important to  achieving the PDO because it helped improve education sector management at the school level. The  project  supported  training  of  all  130  school  heads  in  managing  school  projects,  while  providing  financial support to 9 lower secondary and 21 primary schools. Schools were selected amongst the  lowest performing ones, and each project had to address low levels of learning in their classrooms.  Although no rigorous evaluation was carried out, visits to schools indicate that the main activities  were  related  to  helping  struggling  students  to  improve.  Because  of  this  activity,  30  additional  schools benefitted from UNICEF support to implement school projects, which were based on plans  that each school developed and followed the ACIGEF model.    30. The  following  outputs  and  intermediate  outcomes  were  part  of  the  PDO  on  implementation  of  AWPs:    (a) Developed partnerships with private sector firms as part of improvement of management and  governance.  The  project  facilitated  partnership  with  the  private  sector  through  support  to  the  National directorate for TVET and training of eight key staff, which includes strong participation of  the private sector to facilitate links with the labor market. The number of partnerships with private  sector firms to train and/or recruit students reached 15, exceeding the revised end‐of project target  of six.     a. In addition, developed 13  curricula in  the areas of civil engineering, electromechanical  engineering, refrigeration and service sectors, and an additional four specializations for  which curricula are currently being developed. This was a clear demonstration of stronger  management and governance because greater involvement of the private sector in TVET  increased  the  likelihood  that  training  would  be  more  relevant  to  labor  market  needs.   Conducting  regular  labor  market  analysis  to  increase  relevance  of  training  was  also  evidence of improved management of the education sector. Through the 15 partnership  agreements, more than 600 students (including 13 deaf students) participated in on‐the‐ job training at 132 firms through support from the project. The TVET directorate has been  able to forge partnerships with other donors (i.e., the French Development Agency, the  government of China etc.) and further enhanced implementation of AWPs. In addition,  there were 4,415 students enrolled in technical colleges in the 2017/18 school year, which  also points to the new directorate’s increased management capacity.     b. The partnership with the private sector led to high level of satisfaction of TVET students  and  firms.  The  survey  indicated  a  high  level  of  satisfaction  for  all  groups  of  students,  graduates  and  enterprises  which  hire  the  graduates.  The  survey  measured  satisfaction  rates  at  about  86  percent  for  combined  Djibouti‐ville  and  regional  students  (weighted  total), special needs students at 85 percent, graduates at 84 percent, and enterprises at  89  percent.  Although  a  comparable  baseline  had  not  been  established  to  show  a  10  Page 15 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) percent  improvement  over  the  baseline,  these  satisfaction  rates  are  quite  remarkable  especially given that this has been achieved by a newly‐established entity.  (b) Strengthened  efficiency  of  textbook  management.  The  indicator  associated  with  this  sub‐ component was partially achieved: CRIPEN consistently collects information on number of books  sent, delivered and received at the primary, lower secondary and secondary levels, and tracks the  textbook stock at the beginning and the end of the school year, both at the center as well as in  schools. Survey information on textbooks received by students, however, was not available by the  time  of  ICR  writing.  Nevertheless,  the  ICR  highlights  the  following  achievements  as  part  of  implementation of MENFOP AWPs which demonstrate stronger textbook management:      (1) undertook an initial stocktaking of textbooks availability in rural schools in 2016, which  revealed that although there were enough books in schools, the subject‐specific books  for a 1:1 book to student ratio were insufficient;   (2) introduced an information system and trained 13 persons in its utilization to better  manage book acquisition and distribution;   (3) purchased an offset printer;   (4) trained 110 staff of CRIPEN on planning, costing, budgeting, procurement, stock  control, distribution and maintenance of textbooks;   (5) purchased 179 metal armoires and approximately 21,062 plastic rolls to help protect  new books and increase their shelf life;  (6) trained 19 developers to produce e‐tablet application for French and Mathematics for  Grades 1 and 2, as well as in photoshop, cartography and iconography. This was critical  as CRIPEN is aiming to improve the relevance of its materials based on the ministry’s  policy to gradually introduce technology in classrooms;   (7) purchased additional laptops for secondary schools; and    (8) produced 53 new titles for secondary education, well above their average production.    (c) Rehabilitated technical colleges and completed Hodan 3 lower secondary school as a model  school. Five colleges6 were rehabilitated and equipped, and the target of 800 students using didactic  equipment at technical colleges was exceeded (818 actual). As part of this process, MENFOP also  recognized  the  importance  of  close  consultations  between  technical  college  leadership  and  the  TVET directorate: in one instance, a piece of diagnostic equipment that was purchased for vehicles  not  commonly  found  in  Djibouti.  Therefore,  hands‐on  experience  was  still  possible  but  direct  application  was  likely  to  be  limited,  and  this  was  a  lesson  learnt.  Hodan  3  was  extended  with  computer rooms, housing for the school director and school manager, a multi‐purpose room, sports  facilities and libraries, and equipped with computers among other items. The number of students  using computer rooms was 2,861 compared to the target of 2,500. This figure is in addition to all  Hodan 3 students benefiting from equipped physics and chemistry laboratories. This demonstrate  MENFOP’s capacity and commitment to improvement of the quality of education through creation  of model schools and improving the learning environment for colleges.    6 There exists a discrepancy between the number of technical colleges mentioned in the PAD compared to the actual number  having been supported: based on information available, there only existed five technical colleges in 2010/2011, which is the  number of colleges the project supported.  Page 16 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) 31. The  ministry’s  strengthened  capacity  to  manage  the  education  sector  is  also  evident  by  achievements in other  areas.  For instance, the ministry carried out two early grade math assessments  (EGMA) for Grade 2 in 2017 and 2018, for which it received initial capacity building under the PAEQ project  and  which  was  included  in  the  General  Administration  Directorate’s  AWP.  Capacity  building  included  training on the instrument but also development of supplemental mathematics materials and training of  teachers in specific pedagogical practices. The 2018 assessment revealed that most teachers applied the  new teaching practices and CRIPEN developed supplemental math booklets  based on the  2017 results,  which led to children’s increased performance7 on the different EGMA test items. The education system  also showed positive developments in the Year 5 OTI, which includes testing in mathematics and which has  increased  from  65  percent  in  2016/17  to  72  percent  in  2017/18,  gross  enrollment  rates  went  from  78  percent to 89 percent, number of schools built from 133 to 141 over the same period.     Justification of Overall Efficacy Rating     32. The  overall  efficacy  rating  is  substantial.  The  project  achieved  its  PDO  of  strengthening  the  institutional  capacity  of  the  Ministry  of  National  Education  and  Vocational  Training  for  improved  management  of  the  education  system.  The  two  PDO  indicators  were  exceeded,  and  six  of  the  eight  intermediate  indicators  were  achieved  or  exceeded  while  the  remaining  two  were  partially  achieved.  Although  the  PDO  indicators  were  intermediate  in  nature,  there  is  strong  additional  evidence  to  demonstrate improved ministry capacity for planning, management, budgeting, monitoring and focus on  results. It is also notable that MENFOP is the only ministry in Djibouti which uses a RBA. As mentioned  above, there were moderate shortcomings related to: (a) percentage level of satisfaction of TVET students  and firms due to unavailability of a comparable baseline, and (b) number of textbooks distributed, received  by schools and students as information on books received by students was not available at the time of ICR  writing, warranting a rating of substantial.     C. EFFICIENCY    Assessment of Efficiency and Rating    33. The overall efficiency of ACIGEF is rated as substantial. Recognizing the one‐year extension, by and  large,  all  activities  were  implemented  and  indicators  met  or  exceeded  by  project  closing  despite  US$550,000 overall less budget available. Implementation efficiency varied but improved significantly over  the course of the project. Project outcomes and outputs of individual activities point towards more efficient  use of resources, and the project also leveraged additional donor funding and promoted greater sector  alignment, all pointing to increased efficiency. In addition, the project is expected to generate long term  efficiencies  in  the  management  of  resources,  due  to  strengthened  institutional  capacity.  Nevertheless,  delays in implementation detract from a high efficiency rating.   34. As mentioned above, by and large all activities were implemented and indicators met or exceeded  despite 9 percent less budget available due to exchange rate losses. The overall budget envelope for the  project was US$6 million and the project covered 100 percent of costs with no counterpart funding. While  7 Although in some instances only modest improvements could be observed this is not surprising given the limited time  between the two assessments. However, assessed students consistently scored higher in all test items in 2018 over 2017.   Page 17 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) price contingencies at project design had been estimated at US$200,000 (see PAD, page 4), net exchange  rate losses amounted to  approximately US$534,579 (9 percent  of original budget) during  the course of  project  implementation,  which  is  more  than  double  the  contingencies  budgeted.  Overall,  the  budget  allocation to Component 1 was reduced from US$4 million to US$3.6 million and the budget allocation to  Component 2 was reduced from US$2 million to US$1.7 million. Despite the large and more than budgeted  amount  for  exchange  rate  losses,  by  the  end  of  the  project  implementation  period,  all  implemented  activities were completed and targets for all indicators were by‐and‐large met or exceeded, pointing to  more efficient use of resources.       35. Implementation efficiency varied and improved over the course of project implementation. Due to  initial project implementation delays, the implementation efficiency of the first two years of the project,  until March 2016, was rated negligible to modest. Ministerial cabinet changes took place in April 2016,  which led to a renewed focus of the government on the ACIGEF project, and increased implementation  pace and disbursements. Nevertheless, by the time of the first restructuring in May 2017 (i.e., three months  to  the  original  closing  date),  six  out  of  nine  (66  percent)  results  indicators,  including  the  second  PDO  indicator, remained unmet. As part of the restructuring, (a) the project timeframe was extended from five  to six years, (b) five out of nine (55 percent) original indicator targets were revised upwards, and (c) a new  indicator was introduced. By project closing, the project, by‐and‐large, met or exceeded all ten indicators  (two  indicators  were  partially  met8).  This  points  at  a  significant  improvement  in  the  implementation  efficiency, especially considering that this was achieved without additional financing.     D. JUSTIFICATION OF OVERALL OUTCOME RATING    36. The overall outcome rating is satisfactory based on the high relevance of objectives, substantial  efficacy and  substantial efficiency.  There were  moderate shortcomings in efficiency arising  from slow  implementation which necessitated an extension of closing dates.    E. OTHER OUTCOMES AND IMPACTS (IF ANY)    Gender    37. The project promoted female students which account for about half of the enrollment in Djibouti  public schools. The project also supported MENFOP in its data collection and analysis, leading to the fact  that  all  major  reports  can  be  produced  broken  down  by  gender.  Given  MENFOP’s  priority  focus  on  supporting  girls’  education,  the  availability  of  gender‐disaggregated  data  is  a  significant  improvement.  Furthermore, several of the key department heads were female and activities supported through ACIGEF  were led by females: (a) the directorate for inspection, the evaluation department and teacher training  center are led by women who benefitted from training interventions, study tours and capacity building  activities under the project. Feedback received during ICR writing was positive and confirmed that they  feel better equipped to perform their work, and (b) 27 percent of all school heads receiving on RBA were  female, and (c) 40 percent of students benefitting from school grant interventions were girls.    8 Intermediate indicators IR4 (level of satisfaction of TVET students and firms) and IR5 (Number of textbooks distributed, received by  school and received by students) were partially achieved (see Annex 1 – Results Framework and Key Outputs)  Page 18 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) Institutional Strengthening    38. Institutional strengthening was at the core of the ACIGEF project.  Training and expert support to  MENFOP to engender a mentality of RBA was a large part of the project. Units within the ministry now  focus their AWPs on results rather than simply completed actions (and, in so doing, they can no longer  make an artificial distinction between ‘usual ministry work’ and what they consider to be extra ‘project‐ related  work’).  The  M&E  system  was  enhanced  with  online  tools  for  better  monitoring  of  sector  performance. The development of the dashboard helped to focus units on results and link their work plans  to the new ESP. The MENFOP experience in results‐based MTEF provides strong lessons for the Ministry  of Finance and other sector ministries to follow in improving the focus on results.  In addition, the quality  of materials coming from CRIPEN has improved significantly, not only through provision of a new industrial  off‐set  printer  to  print  supplemental  materials,  but  also  in  the  layout  of  those  materials  which  was  supported  through  experts  financed  by  the  project.  Capacity  building  for  development  of  electronic  applications  through  the  project  will  also  support  new  government  and  donor‐financed  ICT  activities,  which  is  a  priority  for  MENFOP.  In  addition,  the  different  trainings  and  capacity  building  activities  strengthened  assessment  and  exam  capacity  of  relevant  directorates  and  units  which  has  led  to  an  increase interest in rigorous student evaluation approaches included under the new education project  being  developed. Another example of how institutions were strengthened is the school grants activity  where schools could determine the use of the funds after carrying out a needs assessment and drafting a  project  proposal.  Lastly,  strengthening  the  TVET  directorate  helped  create  “incubator”  centers  where  young people choose a profession/skills, receive three‐month training on business development and life  skills and 9 months of center‐based practical experience as they try to find business opportunities.    Mobilizing Private Sector Financing    39. Although  the  project  did  not  mobilize  private  sector  financing,  it  did  mobilize  private  sector  participation.  This  was  facilitated  by  the  establishment  of  and  support  to  the  National  directorate  for  TVET, which includes representatives from the private sector who help to facilitate the links between the  education system and the labor market thereby improving greater external efficiency. Private firms were  also involved in improving the quality and relevance of TVET.     Poverty Reduction and Shared Prosperity  40. The  project  promoted  poverty  reduction  most  directly  through  its  improved  textbook  management, AWPs, school grants and school construction and equipment. The textbook management  sub‐component  supported  the  government’s  policy  of  providing  free  textbooks  at  no  cost  to  poor  students, thus improving their access to better education. School grants were aimed at schools with low  performance  and  a  variety  of  acute  needs  including  helping  students  to  avoid  grade  repetition  and  dropping  out.  AWPs,  among  other  things,  focused  on  improving  equity  of  the  education  system.  The  project also provided substantial physical facilities and equipment that benefited the school population  in poor neighborhoods in Djibouti.    Other Unintended Outcomes and Impacts    41. There were no other unintended outcomes or impacts.   Page 19 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )   III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME    A. KEY FACTORS DURING PREPARATION    42. The project built on lessons and achievements of the previous project – the School Access and  Improvement  Program  (PAAE)  as  well  as  the  multi‐donor  funded  Primary  Education  Support  Program,  EFA‐FTI  Catalytic  Fund.  Project  preparation  was  informed  by  the  organizational  audit  of  MENFOP supported by the previous Bank‐supported project. This audit provided a clear set of priorities  and  recommendations  to  improve  education  sector  management,  including  definition  of  roles  and  responsibilities  and  accountability  structures  at  various  levels.  In  addition,  given  the  institutional  capacity and management challenges encountered by previous projects, ACIGEF focused on technical  assistance  and  training  for  sector  staff  to  strength  implementation  capacity  through  knowledge  transfer and fiduciary functions of the PIU. The project also included development of tools and systems  to link existing information systems, financed by previous Bank supported projects, aimed at enhancing  overall sector management through better measurement of progress. Moreover, the project used the  existing  project  implementation  unit  which  already  had  experience  in  managing  Bank  financed  projects.    43. Strong government commitment and leadership with a clearly articulated strategy. There was  strong government commitment to the project, most simply because the ministry was about to embark  on implementation of the NES and the PAEFPT, both of which included a strong focus on improving  efficiency of the education system and the quality and relevance of education with a focus on results.    44. The design was simple and focused on three main areas:  MENFOP operations and planning at  the central and school levels, technical and vocational training and textbook distribution management.  Rehabilitating  and  equipping  technical  colleges  and  finishing  and  equipping  the  Hodan  3  were  also  consistent with the PDO as they provided a vehicle for the ministry to deliver education services for  skills  and  knowledge  acquisition  in  line  with  Djibouti’s  economic  development.  Nevertheless,  initial  implementation of activities especially the introduction of AWPs proved to be more challenging than  anticipated.     45. Strong  involvement  of  stakeholders  in  preparation.  There  were  extensive  discussions  in  the  ministry leading up to the design of the RBA support. As a result, specific training was identified in key  areas to support the new approach. In the case of TVET, the component was driven by stakeholder  participation particularly students and local businesses. The school grants component was strong in  stakeholder participation as well because schools had to identify their school priorities and prepare  proposals for grants to the PIU.    46. Assessment of risks and mitigation measures. The overall project risk was assessed as moderate  at entry. In general, the risks and measures to mitigate them were well identified and well incorporated  into the project design. Two of the six risks were rated substantial and the others Low, and appropriate  mitigation measures were incorporated into the design to reduce the overall risk to Moderate at entry.  The two areas identified with substantial risk were: limited management capacity and weak monitoring  Page 20 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) and  evaluation  capacity.  These  risks  were  mitigated  by  the  project  through  putting  in  place  management  tools  and  strengthening  monitoring  and  evaluation  capacity  through  training  and  technical assistance both at the central and school levels.    47. Readiness for implementation at approval was high. The ACIGEF project was well‐prepared and  designed  with  many  details  clearly  defined  before  effectiveness,  including  terms  of  reference  and  procurement plans. On the other hand, the capacity to carry out major reforms was more limited than  initially anticipated.     B. KEY FACTORS DURING IMPLEMENTATION    48. Changes in Ministry leadership led to a slow start to implementation. Shortly after preparation,  the  project’s  champion  was  transferred  out  of  the  ministry;  as  a  result,  regular  donor  meetings  at  MENFOP ceased, project progress slowed, and disbursement remained weak over the course of the  first 18 months (fall 2014 to spring 2016).  Because considerable time had been lost, it became clear to  the project team that more time was needed to complete project activities. The Government requested  a Level 2 restructuring allowing the project closing date to be extended by twelve months from August  31, 2017 to August 31, 2018. – an extension that proved essential – and by project closing, almost all  results targets had been met or exceeded.    49. Low initial engagement with the Annual Work Programs (AWP) on the part of the departments  of the ministry led to initial delays in preparation of AWPs. Greater initial technical assistance through  coaching as was provided later in the project would have helped to address this challenge. On the other  hand, with the change of ministry leadership, using RBA was no longer a priority, effectively slowing  any activity related to AWPs.     50. Capacity  constraints  persisted  throughout  project  implementation.  Although  consultations  overall  were  strong  during  project  preparation,  MENFOP  realized  there  could  have  been  closer  consultation on some of the key equipment procured under the project; : in one instance, a piece of  diagnostic  equipment  that  was  purchased  for  vehicles  not  commonly  found  in  Djibouti.  Therefore,  hands‐on experience was still possible but direct application was likely to be limited, and this was a  lesson learnt. Frequent staff turn‐over and prolonged vacancies undermined the PIUs effectiveness to  implement  project  activities.  To  remedy  this,  the  project  supported  technical  expertise  which  significantly increased the PIUs capacity towards the end of the project, so that all activities could be  completed.    IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME    A. QUALITY OF MONITORING AND EVALUATION (M&E)    M&E Design    51. Overall,  the  objective  was  clearly  specified,  the  design  included  several  activities  to  ensure  effective  monitoring  and  evaluation  of  project  outcomes  including:  (a)  clarification  and  Page 21 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) institutionalization  of  M&E  functions;  (b)  development  of  an  internal  M&E  framework,  guidelines,  manuals  and  related  capacity  building  and  training  of  respective  staff;  and  (c)  strengthening  information management systems with clear linkage to AWPs. The project envisaged a pre‐ and post‐  survey of schools to confirm receipt of textbooks by students and satisfaction by TVET students and  firms. The TOC was sound in documenting how activities and intermediate outcomes led to outcomes  for strengthening the institutional capacity of the MENFOP for improved management of the education  system.     52. All  project  activities  were  covered  by  the  project  results  indicators,  which  allowed  for  assessment  of  PDO  achievement.  Although  the  two  PDO  indicators  were  more  output  rather  than  outcome oriented, this was appropriate given the limited capacity in Djibouti and novelty of focusing  on  results  rather  than  activities.  In  addition,  using  output  indicators  follows  Bank  guidance  when  developing results frameworks in low‐capacity and fragile country contexts.        53. The design of the project results framework was generally adequate although there were some  shortcomings:  (a)  PDO  indicators  covered  only  component  1.1  on  results‐based  management,  specifically, the development and implementation of AWPs; (b) The AWP indicators were themselves  rather intermediate in nature, although that is understandable in that the implementation of RBA is a  medium‐ to long‐term effort; (c) the indicator for TVET satisfaction rate proved difficult to measure as  it  lacked  a  baseline  and  there  were  changes  to  the  survey  instrument  so  that  results  could  not  be  compared, and (d) the survey information on textbooks received by students was not available at the  time of ICR writing.    M&E Implementation    54. Overall,  M&E  implementation  was  good  and  improved  over  the  course  of  the  project.  The  government  maintained  regular  reporting  of  project  progress.  The  government  and  the  M&E  consultant worked together to resolve challenges relating to design of surveys for TVET student and  firm  satisfaction  and  textbook  distribution.  The  PIU  worked  out  methodological  issues  with  these  indicators and established baselines and processes to facilitate better monitoring in the future. Project  M&E implementation also benefited from the fact that capacity was supported by other projects for  which  the  PIU  was  responsible,  for  example,  PAEQ  (P145323,  closed  June  30,  2018).  The  results  framework was strengthened with addition of a dashboard to facilitate monitoring and reporting. The  dashboard  reflects  higher  level  evidence  of  achievement  of  the  PDO  of  improved  education  sector  management. Also, the PIU produced detailed semi‐annual progress reports on project activities.     M&E Utilization    55. The M&E results were used to inform decisions, particularly the Results‐based management  component.  For  example,  because  of  improved  M&E  the  government  and  the  Bank  team  had  information to support a reasonable expectation that a one‐year extension of the project closing date  would be well‐justified, as the remaining actions would be completed during the extension period. The  PIU  and  the  Bank  also  agreed  to  increase  targets  to  give  a  better  measure  of  progress  given  the  increased  amount  of  time  to  implement  the  project.  Finally,  the  M&E  reporting  also  revealed  that  additional  funds  were  available  to  extend  grants  to  more  schools.  There  continue  to  be  areas  for  Page 22 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) improvement in terms of data gathering, analysis and reporting for which interventions are included  in  the  new  Bank  and  GPE‐supported  project  (currently  being  prepared).  The  semi‐annual  progress  reports were instrumental in updating the results framework, developing the restructuring proposals  and measuring progress towards project objectives achievements.    Justification of Overall Rating of Quality of M&E    56. The overall quality of M&E was substantial. Although the PDO indicators tended to be more  intermediate  rather  than  outcome‐oriented,  the  results  framework  adequately  covered  the  project  activities  and  reflected  the  PDO.  The  Bank  team  worked  with  the  government  on  the  challenging  indicators and was able to establish reliable measurements, M&E was used to track implementation  progress and inform decisions.    B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE    57. Financial  management  (FM)  was  overall  moderately  satisfactory.  The  World  Bank  team  undertook an assessment of the financial management system for the PIU and identified risks associated  with the following: (a) insufficient staff capacities to assure acceptable financial management of the  project;  (b)  some  fiduciary  management  procedures  had  not  been  implemented  in  line  with  PIU’s  administrative and financial procedures; and (c) PIU was entrusted with several projects financed by  other  donors  and  the  World  Bank  which  would  be  challenging  for  external  audit.  The  assessment  concluded that with the implementation of agreed‐upon actions, the proposed financial management  arrangements would satisfy the requirements of the World Bank. FM supervision was carried out on a  regular  basis  by  a  field‐based  and  Washington‐based  staff.  Supervision  missions  confirmed  that  all  financial covenants were complied with by and large in a timely manner, an adequate FM system and  internal controls were in place, and the action plan was being implemented. Audit reports and Interim  Financial Reports (IFRs) were submitted in a timely manner for all the years and were of acceptable  quality.  Overall,  quarterly  IFRs  were  received  in  a  timely  manner  and  found  to  be  acceptable.  In  instances in which minor issues were identified, corrective actions were implemented by the Bank and  the government. The financial management staff had relevant and adequate experience to carry out  their fiduciary responsibilities. An internal auditor performed independent and objective internal audit  activities including inspections and verification of the use of funds at the sub‐project level.    58. Procurement  under  the  project  was  acceptable  though  the  PIU  faced  some.  A  procurement  capacity assessment of December 2011 concluded that with the Djibouti country context, together with  the capacity to be developed under the new project activities, the PIU was likely to adhere to applicable  procurement  procedures.  The  overall  risk  for  procurement  was  ‘moderate’.  Procurement  guidelines  were generally followed, and procurement processes completed in a satisfactory manner although in  some  cases  with  delay.  Procurement  was  rated  either  satisfactory  or  moderately  satisfactory  throughout the project period. Post‐procurement reviews undertaken found procurement processing  and contract management to be of a moderate risk and were supervised in a manner acceptable to the  World Bank. Procurement decisions were transparent, but at times slow. Although some initial delays  in  the  provision  of  technical  inputs  related  to  the  procurement  of  project‐supported  activities  were  observed in the early stages of the project, these were resolved in a timely  manner. There was one  instance where the Bank procurement specialist was concerned about a potential conflict of interest on  Page 23 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) a bid for a construction project, which was referred to the Bank’s integrity unit but was found to be  unsubstantiated.  Instead,  the  Bank  team  strengthened  its  support  to  the  PIU,  and  procurement  performance remained acceptable through the end of the Project.    59. ACIGEF was classified as Category C for environmental and social safeguards and did not trigger  any specific safeguards.    C. BANK PERFORMANCE    Quality at Entry    60. The  Bank’s  performance  at  entry  was  moderately  satisfactory  in  the  identification  and  preparation  of  a  highly  relevant  project.  Project  preparation  was  greatly  facilitated  by  the  2009  institutional audit of MENFOP. The appropriate combination of training and other support contributed to  a result that represented a significant change in the way MENFOP managed the education sector. There  were some shortcomings in design of the results framework with some of the results indicators not clearly  specified and therefore not fully understood by the PIU or MENFOP, and for which the PIU was not fully  prepared given capacity constraints. Thus, it was initially difficult to measure the results of some project  activities relating to TVET student and firm satisfaction. The PDO targets proved to be meaningful and not  overly ambitious given the Djibouti country context.    Quality of Supervision    61. World  Bank  performance  on  quality  of  supervision  was  satisfactory.  The  Bank  support  was  constant, proactive and flexible. The Bank team was able to help in keeping the project going including  during  a  period  when  the  change  in  ministerial  leadership  slowed  implementation.  The  Bank  team  continued  the  dialogue  and  tried  to  find  common  ground  that  would  meet  ministry  priorities  while  supporting the project’s objectives. The implementation support teams consistently reported on financial  management and procurement progress during missions and worked with the PIU team to build capacity  in these areas. Key to the project’s achievements was the consistent implementation support provided  by the Bank team. This was greatly facilitated by the hiring of a Bank consultant in July 2017 who was  based in the Djibouti Country Office.     62. The Bank also made the appropriate decision to approve a one‐year extension of the project and  introduce a new pilot activity. This extension allowed the project to complete important activities: (a)  Hodan 3 lower secondary school to be finished (including all computer rooms, material for laboratories,  and outdoor sports facilities); (b) a used Offset Printing Machine to be procured for CRIPEN; (c) sufficient  time for 30 pilot schools to receive increased financing for their school improvement projects; and (d) a  full calendar year to go through the AWP cycle.    Justification of Overall Rating of Bank Performance    63. Overall,  World  Bank  Performance  is  rated  moderately  satisfactory,  the  result  of  a  moderately  satisfactory rating in quality at entry and a satisfactory rating in quality of supervision.    Page 24 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )   D. RISK TO DEVELOPMENT OUTCOME    64. The risk to development outcome is moderate. RBA represents a fundamental change in sector  governance and it is now used throughout the ministry, albeit still facing some implementation challenges.  That said, the ministry is using its own funds to further improve the ICT‐enabled system so that it can  become fully web‐based and show information in real time rather than requiring a manual update, with  one department already having completed the transition. It should also be noted that MENFOP is the only  ministry in Djibouti to either apply a RBA or have such detailed information made publicly available.  In  addition, the ministry requested to continue and expand the RBA under the new basic education project  that  is  under  preparation:  in  fact,  most  areas  will  be  supported  under  the  new  project  including  the  production and distribution of learning materials, strengthening school‐level management and leadership  and assessments. This will allow for consolidation of achievements made under this project.    V. LESSONS AND RECOMMENDATIONS    65. Sound  analytical  underpinning  is  critical  to  identifying  key  areas  of  intervention.  It  is  a  good  practice to conduct a thorough stocktaking exercise at the end of a project to establish clear priorities for  follow up. The institutional audit of MENFOP carried out at the end of ACIGEF’s predecessor project was  key  to  laying  out  MENFOP’s  priorities  that  led  to  the  main  design  features  of  ACIGEF.  This  greatly  facilitated preparation of ACIGEF.     66. School grants offer an effective vehicle, not only to provide resources for important investments  in  schools,  but  also  to  build  capacity  of  schools  to  prioritize  and  plan.  For  the  school  grants  subcomponent, school directors went through a process which they had not done before to assess the  many priorities facing the school to secure a school grant but with a particular focus on improving learning.  A  participatory  process  was  conducted  whereby  stakeholders  voiced  their  preferences  and  a  grant  proposal and plan were prepared and submitted to the project. It proved an effective vehicle because  linking concrete resources to the new process provided an essential incentive to do the process right. If  carried  out  effectively,  it  can  also  serve  as  a  catalyst  for  expanding  such  a  program  (as  was  the  case  through UNICEF).     67. To  effect  progress  towards  results‐based  management,  it  is  important  to  align  AWPs  with  the  national strategy and the minister’s management needs. Tying in a ministerial unit’s AWPs to the high‐ level objectives of the national education strategy gives a sense of clarity, importance and accountability  to the staff who are responsible for the AWPs. Putting in place a dashboard for the Minister provided him  with timely information on the status of activities on a timely basis. This helped to improve accountability  and the focus on results.    68. Local  and  continued  support  is  critical  especially  in  a  low  capacity  context.  In  countries  where  there is no Bank Education Specialist on the ground, a local but independent consultant who can act as a  go‐between the Bank and the Government on a day‐to‐day basis is crucial. The hiring of such a consultant  .  in Djibouti was a key factor in ensuring end‐of‐project implementation success.  Page 25 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS           A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: To strengthen the institutional capacity of MENFOP for improved management of the system  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Percentage of Departments  Percentage  0.00  75.00  90.00  96.00  have Annual Work Plans  (AWPs) developed and    03‐Dec‐2012  31‐Aug‐2017  31‐Aug‐2018  04‐Apr‐2019  agreed and approved    Comments (achievements against targets):   This target was exceeded. 48 out of 50 departments had developed, agreed and approved AWPs in 2018.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Percentage of AWP  Percentage  0.00  70.00    90.00  implemented    03‐Dec‐2012  31‐Aug‐2017    04‐Apr‐2019    Page 26 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )   Comments (achievements against targets):   Target was exceeded. Out of the 48 approved AWPs, 43 AWPs were fully implemented in 2018.          A.2 Intermediate Results Indicators        Component: Reinforcing institutional capacity and performance of the education system  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Timely production and  Number  0.00  8.00  10.00  12.00  dissemination of quarterly  and annual reports on school    03‐Dec‐2012  31‐Aug‐2017  31‐Aug‐2018  04‐Apr‐2019  performance    Comments (achievements against targets):   Target exceeded. Baseline should be 1 because reports were already prepared periodically. This indicator demonstrates MENFOPs increased  capacity to collect, analyze and report data on a regular basis.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Annual statistical reports  Number  0.00  4.00  5.00  5.00  with key indicators    03‐Dec‐2012  31‐Aug‐2017  31‐Aug‐2018  04‐Apr‐2019    Page 27 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )   Comments (achievements against targets):   Target achieved. MENFOP produced an annual statistics report every year.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of partnerships with  Number  0.00  4.00  6.00  15.00  private sector firms to train  and/or recruit students by    03‐Dec‐2012  31‐Aug‐2017  31‐Aug‐2018  04‐Apr‐2019  the end of the Project    Comments (achievements against targets):   Target exceeded. The new National directorate for TVET was effective in its role in fostering closer collaboration with the private sector and  offering young Djiboutians practical training.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  The level of satisfaction of  Text  Firms: 85%  30% (students), 30%  10% (students), 10%  Firms: 85.5%,  TVET students and firms  Students: 80%  (firms)  (firms)  Students: 89%    07‐May‐2015  31‐Aug‐2017  31‐Aug‐2018  04‐Apr‐2019    Comments (achievements against targets):   Page 28 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )   Partially achieved. Although a comparable baseline was not established to show a 10 percent improvement, these satisfaction rates a  substantial achievement.         Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of textbooks  Text  No system in place  Survey of textbooks    The survey of  distributed, received by  received by students  textbooks at  school and received by  in secondary  beginning and end of  students  education at the  school year 2017/18  beginning and end of  has taken place.  the school year    03‐Dec‐2012  31‐Aug‐2017    04‐Apr‐2019    Comments (achievements against targets):   Partially achieved. The survey was finished but information on textbooks received by students was not available by the time of ICR writing.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of schools receiving  Number  0.00  30.00  30.00  30.00  grants    30‐Mar‐2017  31‐Aug‐2017  30‐Aug‐2018  04‐Apr‐2019    Comments (achievements against targets):   Page 29 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )   Target achieved. Target was revised upward as additional funds were provided and thirty schools received grants.          Component: Increase the quality of the learning environment  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Total number of students  Number  0.00  800.00    818.00  using  didactic equipment in  technical colleges increases    03‐Dec‐2012  31‐Aug‐2017    04‐Apr‐2019    Comments (achievements against targets):   Target exceeded. 818 students benefit from new and improved didactic equipment in the 5 technical colleges.        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Total number of students  Number  0.00  2200.00  2500.00  2861.00  using new computer rooms  in Hodan 3 middle school    03‐Dec‐2012  31‐Aug‐2017  31‐Aug‐2018  04‐Apr‐2019    Comments (achievements against targets):   Target exceeded. The project supported the construction and equipment of 6 computer rooms, which benefited 2,861 students in school year  2018/19.    Page 30 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )              B. KEY OUTPUTS BY COMPONENT    Objective/Outcome 1: To strengthen the institutional capacity of the Ministry of National Education and Vocational Training for improved  management of the education system.    1. 96 Percentage of Departments have Annual Work Plans (AWPs)   Outcome Indicators  developed and agreed and approved   2. 90 Percentage of AWP implemented  1. Produced and disseminated 12 quarterly and annual reports on  school performance.  2. Produced 5 Annual statistical reports with key indicators.  3. Established partnerships with 15 private sector firms to train  and/or recruit students.  4.   The level of satisfaction of TVET students (84 percent) and firms  Intermediate Results Indicators  (89 percent.  5. A total of 818 students using didactic equipment in technical  colleges increases  6.  A total of 2,861 students using new computer rooms in Hodan 3  lower secondary school.  7.  30 schools receiving grants  Component 1: Reinforcing Institutional Capacity and Performance of  the Education System    Key Outputs by Component  1. Training of 626 MENFOP staff in various areas, including:  (linked to the achievement of the Objective/Outcome 1)  a. 97 departmental staff trained on planning, management,  budgeting and MTEF.  b. 75 staff were trained on applying a RBA and management  Page 31 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) c. 9 statistics staff at central and regional levels  d. 130 school heads trained  e. 8 National directorate for TVET staff trained  f. 3 inspectors for lower secondary and secondary trained  g. 5 Project Implementation Unit staff trained  h. 27 staff trained in human resource management, including  career management and forward planning  2. Administrative manual with clear roles and responsibilities, and  performance management tools  3. Minister Dashboard established  4. Online depository of workplans established  5. Geo‐mapping included in all schools  6. Management information system harmonized  7. National directorate for TVET supported through capacity building  and equipment  8. Over 600 TVET students trained as part of the partnerships  9. 132 private firms participated through the 15 partnerships  10. 204,477 textbooks distributed in 2017/2018  17.  Annual data on textbooks printed, delivered and received by  schools, as well as stock at beginning and end of school year available.     Component 2:  Increase the Quality of the Learning Environment  1. 5 technical colleges rehabilitated and equipped.   2. 6 computer rooms constructed  3. 1 multipurpose room constructed  4. 2 housing quarters for school director and assistant school  director constructed        Page 32 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )   ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION    A. TASK TEAM MEMBERS    Preparation  Safaa El Tayeb El‐Kogali  Task Team Leader  Karine M. Pezzani  Task Team Leader  Henri A. Aka   Operations Officer  Walid Dhouibi   Procurement Specialist  Wassim Turki   Financial Management Specialist  Andrew Michael Losos   Environmental Specialist  Fatou Fall   Social Development Specialist  Ruxandra Costache   Counsel  Hassine Hedda   Finance Officer  Aissatou Dicko   Program Assistant    Supervision/ICR  Noah Yarrow  Task Team Leader (1)  Patrick Philippe Ramanantoanina  Task Team Leader (2)  Melance Ndikumasabo  Procurement Specialist(s)  Rock Jabbour  Financial Management Specialist  Benjamina Randrianarivelo  Team Member  Antoine V. Lema  Social Safeguards Specialist  Emma Paulette Etori  Team Member  Simon Thacker  Team Member/co‐TTL  Mohamed Adnene Bezzaouia  Environmental Safeguards Specialist  Abdo Said Abdo  Team Member  Franco Russo  ICR Author  Elisabeth Sedmik  ICR Economic Analysis author           Page 33 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 )   B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY11  6.702  40,255.07  FY12  25.646  184,723.42  FY13  0     0.00  Total  32.35  224,978.49    Supervision/ICR  FY13  19.650  94,595.25  FY14  29.877  164,870.67  FY15  15.699  124,396.91  FY16  13.032  96,486.40  FY17  18.597  132,200.00  FY18  14.407  133,167.53  FY19  7.273  78,383.54  Total  118.54  824,100.30               Page 34 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) ANNEX 3. PROJECT COST BY COMPONENT          Amount at Approval   Actual at Project  Percentage of Approval  Components  (US$M)  Closing (US$M)  (US$M)  Reinforcing institutional  capacity and performance of  4.0  3.6  90%  the education system  Increase the quality of the  2.0  1.7  85%  learning environment  Total     6.0     5.3    88.3%    Please note: The project disbursed 98.4 percent of funds. Due to exchange rate losses, the original amount was  the equivalent of US$5,409,651. These calculations are based on January 2019 figures, which shows further  exchange rate losses compared to the final ISR, which showed US$5.45 million disbursed.         Page 35 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) ANNEX 4. EFFICIENCY ANALYSIS    69. ACIGEF is expected to have a strong development impact by improving the management of  the  education  system.  The  economic  benefits  of  ACIGEF  arise  through  strengthened  institutional  capacity of MENFOP. The project activities and associated expenditures mainly supported training  and capacity building to strengthen institutional capacity. Firstly, by (1) improving management and  accountability  (component  1.1);  (2)  supporting  links  between  the  education  system,  specifically  TVET, and the labor market (component 1.2); and (3) strengthening the management of educational  textbooks (component 1.3). The main focus of the project was on capacity building and so the main  investments were under Component 1. Secondly, under component 2, ACIGEF aimed to support the  Government’s  effort  in  improving  the  quality  of  the  school  environment,  by  providing  financial  support to upgrade, rehabilitate, and procure materials for five technical colleges and the Hodan 3  lower secondary school. The improved school environment of this school was seen as a model that  the Government could reproduce in future school environment improvement projects later, and, as  such, is expected to add to the improved management of the education system. The framework of  economic benefits based on the Theory of Changes is depicted in Figure 2 below.    Figure 2: Framework of Economic Benefits      70. While  the  PAD  did  not  present  an  economic  or  financial  analysis,  outcomes  and  outputs  of  individual activities point towards more efficient use of resources, leveraging additional donor funding  and promoting greater sector alignment. The rationale for this in the PAD was that “the project focuses  on improving system management in the delivery of education services and therefore is not amenable to  a cost‐benefit analysis as the principal benefits from the project are not quantifiable.” (PAD, page 12). Due  to  lack  of  available  data,  comparison  of  unit  costs  to  determine  cost‐efficiency  of  the  project  and  its  Page 36 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) individual  activities,  specifically  related  to  the  main  activities  of  training  and  capacity  building,  is  not  possible. Under Component 1, the following can be observed:     (a) the small school grants (US$5,000 per school) for 30 pilot schools, introduced under the first  restructuring  in  May  2017,  aimed to  implement  school  improvement  plans  following  a  RBA.  While the impact report of these grants is not available at the time of ICR writing, the project  effectively  leveraged  development  partner  support,  with  UNICEF  financing  school  grants  for  another 30 schools that would benefit from the newly established RBA (component 1.1). (b) the project supported the strengthening of the national directorate for TVET with public and  private sector participation that facilitated links between the education system and the labor  market  to  create  greater  external  efficiency.  The  targeted  number  of  partnerships  with  the  private sector to provide short‐term trainings of six months and internships was exceeded by  more than 150 percent9. These point to (1) greater efficiency in the use of resources in attracting  partnerships with the private sector, and (2) a strong demand and willingness of the private  sector  to  create  links  with  TVET  to  create  for  greater  alignment  and  external  efficiency  (component 1.2). (c) the project supported capacity building for better management of the delivery mechanisms and  more effective allocation of textbooks, based on system data collected and specifically targeted  to improve textbook availability for poor and rural  areas. In addition, the project financed  a  printing machine, 179 metal armoires, 21,062 protective plastic wraps for books for all 80 public  rural schools and supported an awareness campaign on book preservation. While no trend data  on book production and depreciation is available, better management, handling, storage and  more efficient and effective distribution of textbooks will likely lead to cost savings associated  with higher life span of textbooks, as well as more equitable access to learning materials for the  most marginalized (component 1.3).   71. The  ACIGEF  project  is  expected  to  generate  long  term  efficiencies  in  the  management  of  resources,  due  to  strengthened  institutional  capacity.  The  PAD  noted  that  “the  successful  implementation  of  the  project  is  expected  to  improve  efficiency  in  the  management  and  use  of  resources.” The Framework of Economic Benefits  (Figure 2) based on  the Theory of Change (Figure 1)  presents the rationale of how the component activities and outputs are linked to medium and long‐term  outcomes and thus support the project development objective to “strengthen the institutional capacity  of the Ministry of National Education and Vocational Training for improved management of the education  system.”  The  project  provided  technical  assistance,  training,  provision  of  grants  and  procurement  of  resources to the direct beneficiaries of the project. The main objective of the project was to improve the  management of the education system (PDO) by moving from an outputs‐based approach to a RBA. AWPs,  which use results‐based targets and are based on the ESP were developed (PDO 1) and implemented (PDO  2)  for  all  MENFOP  departments.  MENFOP  is  continuing  this  results‐based  education  management  approach using their own financial resources. Focusing on results‐based management, for which entities  are held accountable – the AWP’s are available publicly – will likely lead to efficiency gains through more  efficient and effective use of human and financial resources.      9 15 signed partnerships at project completion versus 6 partnerships as the final target (IR3)  Page 37 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) 72. In addition, the project is expected to benefit a wide range of indirect beneficiaries in the long  term due to increased efficiencies in the management of resources, such as:    (a) the  application  of  an  integrated  M&E  system  will  provides  policy  makers  with  relevant  information  to  make  evidence‐driven  policies  and  allocate  resources  more  effectively.  For  example,  ACIGEF  strengthened  the  capacity  to  produce  the  annual  statistical  yearbooks  of  education system indicators, which serve as a basis for education sector partner meetings.   (b) more  efficient  and  data‐driven  planning  and  management  of  budgets  and  expenditures  will  benefit  the  economy,  as  resource  can  be  more  effectively  allocated,  thereby  increasing  the  efficient use of resources overall.   (c) better management of textbook distribution will benefit teachers and students, as improved  access to learning materials will have positive effects on teaching and student learning, which  is related to better individual economic outcomes.   (d) improved management of the TVET system, that aims to create alignment with labor market  needs, will benefit the efficiency and effectiveness of businesses, and thus the economy as a  whole. The project supported internships and partnerships with the private sector as part of the  TVET system to better align labor market needs with technical and vocational education.     73. As mentioned above, by and large all activities were implemented and indicators met or exceeded  despite 9 percent less budget available due to exchange rate losses. The overall budget envelope for the  project was US$6 million and the project covered 100 percent of costs with no counterpart funding. While  price contingencies at project design had been estimated at US$200,000 (see PAD, page 4), net exchange  rate losses amounted to approximately US$534,579 (9 percent of original budget) during the course of  project  implementation,  which  is  more  than  double  the  contingencies  budgeted.  Overall,  the  budget  allocation to Component 1 was reduced from US$4 million to US$3.6 million and the budget allocation to  Component 2 was reduced from US$2 million to US$1.7 million. Despite the large and more than budgeted  amount  for  exchange  rate  losses,  by  the  end  of  the  project  implementation  period,  all  implemented  activities were completed and targets for all indicators were by‐and‐large met or exceeded, pointing to  more efficient use of resources.       74. Implementation efficiency varied and improved over the course of project implementation. Due  to initial delays, implementation efficiency of the first two years of the project, until March 2016, was  rated negligible to modest. Ministerial cabinet changes took place in April 2016 which led to a renewed  focus of the government on the ACIGEF project, and increased implementation pace and disbursements.  Nevertheless, by the time of the first restructuring in May 2017 (i.e., three months to the original closing  date), six out of nine (66 percent) results indicators, including the second PDO indicator, remained unmet.  As part of the restructuring, (a) the project timeframe was extended from five to six years, (b) five out of  nine (55 percent) original indicator targets were revised upwards, and (c) a new indicator was introduced.  By  project  closing,  the  project,  by‐and‐large,  met  or  exceeded  all  ten  indicators  (two  indicators  were  partially  met10).  This  points  at  a  significant  improvement  in  the  implementation  efficiency,  especially  considering that this was achieved without additional financing.    10 Intermediate indicators IR4 (level of satisfaction of TVET students and firms) and IR5 (Number of textbooks distributed,  received by school and received by students) were partially achieved (see Annex 1 – Results Framework and Key Outputs)  Page 38 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) 75. The overall efficiency of ACIGEF is rated as substantial. Recognizing the one‐year extension, by and  large,  all  activities  were  implemented  and  indicators  met  or  exceeded  by  project  closing  despite  US$550,000  overall  less  budget  available.  Implementation  efficiency  varied  but  improved  significantly  over the course of the project. Project outcomes and outputs of individual activities point towards more  efficient use of resources, and the project also leveraged additional donor funding and promoted greater  sector alignment, all pointing to increased efficiency. In addition, the project is expected to generate long  term  efficiencies  in  the  management  of  resources,  due  to  strengthened  institutional  capacity.  Nevertheless, delays in implementation detract from a high efficiency rating.                Page 39 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS    The government, in an e‐mail11 dated April 28, 2019 confirmed its agreement to the findings of the ICR and had  not additional comments.     Quote: Nous avons bien reçu le rapport d'exécution et des résultats du projet ACIGEF de la banque mondiale.  J'ai le plaisir de vous informer que nous n'avons aucune objection et donc nous validons le contenu du rapport.   Je vous remercie pour votre précieuse collaboration. Unquote                  11 The e‐mail was filed in WBdocs for reference  Page 40 of 41 The World Bank Strengthening Institutional Capacity and Management of the Education System ( P123315 ) ANNEX 6. SUPPORTING DOCUMENTS (IF ANY)    Audit Organisationnel du Ministère de l’Education Nationale et de l’Enseignement Supérieur, Rapport  Diagnostic et Recommandations (final version for the PAEQ), June 2009.    Evaluation Final du Project ACIGEF, Rapport Définitif, Réalisation OKAMBAWA CODJO IRENEE for  MENFOP, August, 2018.    Le CRIPEN de 1990 a 2015, 25 ans au service du système éducatif, Centre de Recherche, d’Information et  de Production de l’Education Nationale, Ministère de l’Education Nationale et de la Formation  Professionnelle, May 2015.    Project Appraisal Document on a Proposed Grant in the amount of SDR3.9 million (US$6.0 million  equivalent) to the Republic of Djibouti for a Strengthening Institutional Capacity and Management of the  Education System Project, May 11, 2012.    Projet d’Amélioration et d’Access aux Ecoles II, Audit Organisationnel du Ministère de l’Education  Nationale e de l’Enseignement Supérieur, Rapport Diagnostic e Recommandations (version finale), June  2009.    Rapport de l’Enquête de satisfaction auprès des élèves et des établissements partenaires du MENFOP,  March 2015.    Rapport des résultats de la « 2ème enquête de satisfaction auprès des élèves de la formation  professionnelle et des entreprises », for MENFOP, August 2018.    Republic of Djibouti: Strengthening Institutional Capacity and Management of the Education System  Project (Grant No. H777‐DJ) Amendment to the Financing Agreement, June 7, 2017.    Republic of Djibouti: Strengthening Institutional Capacity and Management of the Education System  Project (Grant No. H777‐DJ) Second Amendment to the Financing Agreement, December 17, 2017.    Restructuring Paper on a Proposed Project Restructuring of Strengthening Institutional Capacity and  Management of the Education System, Approved on June 12, 2012 to Republic of Djibouti.  Page 41 of 41