Document of  The World Bank  FOR OFFICIAL USE ONLY      Report No: ICR4532          IMPLEMENTATION COMPLETION AND RESULTS REPORT  ON A  LOAN (7908‐BR)    IN THE AMOUNT OF   US$ 78.0 MILLION EQUIVALENT  TO THE   STATE OF SAO PAULO     WITH THE GUARANTEE OF THE     FEDERATIVE REPUBLIC OF BRAZIL    FOR A  SAO PAULO: SUSTAINABLE RURAL DEVELOPMENT AND ACCESS TO MARKETS  PROJECT     March 26, 2019          Agriculture Global Practice  Latin America and Caribbean Region        CURRENCY EQUIVALENTS    (Exchange Rate Effective September 30, 2018)    Currency Unit   =   Brazilian Real  BRL 1.00   =  USD 0.247  USD 1.00   =  BRL 4.050    FISCAL YEAR  July 1 ‐ June 30                                                  Regional Vice President: Axel van Trotsenburg  Acting Country Director: Doina Petrescu  Senior Global Practice Director: Juergen Voegele  Practice Manager: Preeti S. Ahuja  Task Team Leader(s): Maurizio Guadagni  ICR Main Contributor: Anna F. Roumani      ABBREVIATIONS AND ACRONYMS      APP  Areas of Permanent Preservation  ATER  Technical Assistance and Rural Extension Service  BANAGRO  Bank for Family Farming  BCR  Borrower Completion Report  BI  Business Initiative  CAP‐RPPN  Sao Paulo Environmental Credit for Privately‐owned Nature Reserves  CAR  Rural Environment Cadaster  CATI  Rural Extension Directorate of the Secretariat of Agriculture and Supply  CBRN  Directorate of Biodiversity and Natural Resources of Secretariat of Environment  CFS  Country Framework Strategy  CG  Control Group  CMDR  Municipal Rural Development Councils  CODASP  Sao Paulo Agricultural Development Program   CPS  Country Partnership Strategy  DIME  Development Impact Evaluation Unit  EDR  Regional Development Office (of CATI)  EMP  Environmental Management Plan  FEAP  State Agribusiness Growth Bank  FECOP  State Fund for the Prevention and Control of Pollution  FUNAI  National Foundation for the Indian  ICA  Institute for Cooperatives and Associations  ICMS  Tax on the Movement of Goods and Services (Value‐Added Tax)  INCRA  National Institute for Colonization and Agrarian Reform  IERR  Internal Economic Rate of Return  ITESP  Sao Paulo Institute for Lands  MOP  Operational Manual  NPV  Net Present Value  PA  Participatory Assessment  PAA  National Food Acquisition Program  PAD  Project Appraisal Document  PDRS  Sustainable Rural Development Project  PES  Payment for Environmental Services  PNAE  National School Food Purchasing Program  PRA  Program for Environmental Regularization  RPPN  Privately‐owned Nature Reserves  SAA  State Secretariat of Agriculture and Supply  SAF  Agro‐Forestry System  SAFF  Physical and Financial Monitoring System  SIAFEM  Integrated Financial Management Information System  SICAR  Rural Environmental Cadaster System  SMA  State Secretariat of Environment  TG  Treatment group  TOR  Terms of Reference  TABLE OF CONTENTS    DATA SHEET ............................................................................................................................. I  I.  PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ........................................................ 1  A. CONTEXT AT APPRAISAL ........................................................................................................... 1  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION ................................................................. 4  II.  OUTCOME ........................................................................................................................ 7  A. RELEVANCE OF PDOs ................................................................................................................ 7  B. ACHIEVEMENT OF PDOs (EFFICACY) .......................................................................................... 7  C. EFFICIENCY ............................................................................................................................. 14  D. JUSTIFICATION OF OVERALL OUTCOME RATING ..................................................................... 16  E. OTHER OUTCOMES AND IMPACTS .......................................................................................... 16  III.  KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 18  A. KEY FACTORS DURING PREPARATION..................................................................................... 18  B. KEY FACTORS DURING IMPLEMENTATION .............................................................................. 19  IV.  BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 21  A. QUALITY OF MONITORING AND EVALUATION (M&E) ............................................................. 21  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ..................................................... 23  C. BANK PERFORMANCE ............................................................................................................. 25  D. RISK TO DEVELOPMENT OUTCOME ........................................................................................ 27  V.  LESSONS AND RECOMMENDATIONS .............................................................................. 27  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 29  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 44  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 47  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 48  ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS ... 58  ANNEX 6. SUPPORTING DOCUMENTS .................................................................................... 81  ANNEX 7: PROJECT‐RELATED SUPPORTING INFORMATION AND DATA .................................. 83  ANNEX 8:   SPLIT ASSESSMENT OF OUTCOME ........................................................................ 97  ANNEX 9: MAP ...................................................................................................................... 98      The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)       DATA SHEET     BASIC INFORMATION   Product Information  Project ID  Project Name  Sao Paulo Sustainable Rural Development and Access to  P108443  Markets  Country  Financing Instrument  Brazil  Investment Project Financing  Original EA Category  Revised EA Category  Partial Assessment (B)  Partial Assessment (B)  Organizations  Borrower  Implementing Agency  State Secretariat of Agriculture ‐ Sao Paulo, State  State of Sao Paulo  Secretariat of Environment ‐ Sao Paulo  Project Development Objective (PDO)    Original PDO  The project development objective is to increase the competitiveness of family agriculture in priority areas of the  State of SãoPaulo while improving its environmental sustainability.    Revised PDO  The project development objective is to support the Borrower in improving access to markets for rural producers’  organizations inits territory and in improving its instruments and policies that contribute to environmental  sustainability of family agriculture.      i The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing          78,000,000  78,000,000  78,000,000  IBRD‐79080  Total    78,000,000  78,000,000  78,000,000  Non‐World Bank Financing          0  0  0  Borrower/Recipient  52,000,000  34,730,000  34,730,000  Total  52,000,000  34,730,000  34,730,000  Total Project Cost  130,000,000  112,730,000  112,730,000        KEY DATES      Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  25‐May‐2010  22‐Dec‐2010  02‐Dec‐2013  30‐Sep‐2015  30‐Sep‐2018       RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions  29‐Sep‐2015  24.63  Change in Project Development Objectives  Change in Results Framework  Change in Components and Cost  Change in Loan Closing Date(s)  Change in Implementation Schedule  24‐Mar‐2017  40.84  Change in Components and Cost  Reallocation between Disbursement Categories  Other Change(s)  21‐Aug‐2017  48.78  Change in Loan Closing Date(s)      KEY RATINGS      Outcome  Bank Performance  M&E Quality  Satisfactory  Moderately Satisfactory  Substantial    ii The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  29‐Jun‐2010  Satisfactory  Satisfactory  0  02  08‐Jan‐2011  Satisfactory  Satisfactory  0  03  05‐Oct‐2011  Satisfactory  Satisfactory  0  04  02‐May‐2012  Satisfactory  Satisfactory  .81  05  20‐Nov‐2012  Moderately Satisfactory  Moderately Satisfactory  1.19  06  18‐Jun‐2013  Moderately Satisfactory  Moderately Satisfactory  3.45  07  13‐Dec‐2013  Moderately Satisfactory  Moderately Satisfactory  5.14  Moderately  08  08‐Apr‐2014  Moderately Unsatisfactory  8.30  Unsatisfactory  09  31‐Oct‐2014  Moderately Satisfactory  Moderately Satisfactory  14.17  10  05‐May‐2015  Moderately Satisfactory  Moderately Satisfactory  19.32  11  28‐Dec‐2015  Moderately Satisfactory  Moderately Satisfactory  27.56  12  28‐Jun‐2016  Moderately Satisfactory  Moderately Satisfactory  32.57  13  21‐Dec‐2016  Moderately Satisfactory  Moderately Satisfactory  36.55  14  18‐Jun‐2017  Moderately Satisfactory  Moderately Satisfactory  46.59  15  29‐Dec‐2017  Satisfactory  Satisfactory  64.44  16  26‐Jun‐2018  Satisfactory  Satisfactory  72.51    SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Agriculture, Fishing and Forestry    33  Public Administration ‐ Agriculture, Fishing & Forestry  24  Other Agriculture, Fishing and Forestry  9    iii The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Transportation    19  Rural and Inter‐Urban Roads  19      Industry, Trade and Services    48  Agricultural markets, commercialization and agri‐ 48  business      Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Finance  13    Finance for Development  13    Agriculture Finance  13        Urban and Rural Development  73    Rural Development  73    Rural Markets  23    Rural Infrastructure and service delivery  50        Environment and Natural Resource Management  15    Environmental policies and institutions  15            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Pamela Cox  Axel van Trotsenburg  Country Director:  Makhtar Diop  Doina Petrescu  Senior Global Practice Director:  Juergen Voegele  Juergen Voegele  Practice Manager:  Ethel Sennhauser  Preeti S. Ahuja  Task Team Leader(s):  Laurent Debroux  Maurizio Guadagni  ICR Contributing Author:    Anna F. Roumani               iv The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES    A. CONTEXT AT APPRAISAL    Context:    1.  The State of Sao Paulo is the richest state in Brazil and has the second largest economy in Latin  America  with  a  GDP  of  US$550  billion  at  the  time  of  project  appraisal  in  2009.    At  that  time,  and  consistent with national growth rates averaging five percent per year – putting Brazil among the world’s  fastest‐growing economies ‐ the State’s economy was booming.  Agricultural productivity growth saw the  State  providing  around  25%  of  national  agricultural  output,  dominating  the  production  of  oranges,  sugarcane, poultry, potatoes, tomatoes, corn, beef and coffee. At appraisal, agriculture represented over  half of all economic activity in 60% of the State’s municipalities and 80% of rural employment. However,  the rural sector was still characterized by large socio‐economic disparities, even though the period from  2004‐2009 saw the introduction of subsidized rural credit programs (e.g., PRONAF – National Program to  Strengthen  Family  Agriculture),  expanded  extension  services  and  large‐scale  land  reform.  Of  some  330,000 agricultural units state‐wide, 80% were small, family‐based operations occupying 20% of total  farming area, the remainder owned by large commercial farms; 40% of small‐farm families lived on two  minimum wages per month.1     2.  Family agriculture faced twin challenges: low competitiveness and environmental degradation.  First,  while  family  farming  played  a  major  role  in  agricultural  production,  its  market  participation  was  reduced by poor infrastructure, transportation costs and limited access to credit. Producers also lacked  organizational and management capacity, market knowledge and access to technical assistance.  Their  leverage and negotiating power along the supply/value chains was weak and their products were not well‐ differentiated.  Second,  poor  land  management  during  repeated  agricultural  boom  cycles,  and  farming  intensification, had promoted soil erosion, the sedimentation of reservoirs, springs and headwaters and  loss of soil fertility, as well as increased farmer vulnerability to climate change.      3.  The  State  Government  established  a  policy  agenda  to  increase  the  competitiveness  and  sustainability of family agriculture.  State initiatives included two Bank‐financed operations: Sao Paulo  Third  Land  Management  Project  (US$55.0  million,  known  as  Microbacias  I  (MBI)),  which  supported  sustainable land management practices, basic social services and rural extension); and,  the Ecosystem  Restoration of Riparian Forests Project (US$7.75 million Global Environmental Facility (GEF) Grant for pilot  activities  to  reverse  land  degradation  and  restore  riparian  forests).  Both  operations  used  a  micro‐ catchment (micro‐bacia) approach for planning, farmer organization and implementation. They helped to  improve living conditions in many municipalities state‐wide, developed agricultural practices preventing  land degradation, and increased small farmers’ productivity. However, they lacked a market focus and did  not  increase  incomes  sufficiently  to  bolster  sustainability.  The  State  therefore  intensified  its  focus  on  competitiveness through a two‐pronged approach: supporting investment in small farmer, market‐driven  business  initiatives  while  developing  their  organizations;  and,  strengthening  public  policy  promoting  environmental conservation and climate awareness, extension services and physical infrastructure.     4.  Rationale for Bank support:  Bank support was justified based on the project’s alignment with the  1 At that time, the minimum wage was R$415/month. One‐half or less was considered officially below the poverty line.  1 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Bank’s  Country  Partnership  Strategy  (CPS)  2008‐2011  (Report  #  42677‐BR),  and  the  Progress  Report  (#53356‐BR) discussed by the Board in 2010. The project was deemed consistent with all three pillars of  the CPS (see para 5 below), especially on promoting a more competitive Brazil. The project also mined the  value‐added  of  working  with  the  Bank  to  ease  the  introduction,  development  and  evaluation  of  new  approaches to family farming development focused on competitiveness and market access, as well as the  Bank’s  international  and  local  experience,  knowledge  and  convening  authority.  Finally,  the  Bank’s  successful experiences with the State of Sao Paulo in sustainable agriculture ‐ and specifically with the  Secretariats of Agriculture and Supply (SAA) and Environment (SMA) ‐ underscored the potential of a more  focused collaboration to develop family farmers’ competitiveness and commercial potential.     5.  Higher‐level objectives:  The project responded directly to government’s higher‐level objectives  anchored  in  the  CPS’  three  pillars:  (i)  a  more  Competitive  Brazil,  linking  small  farmers  to  markets  by  supporting the formation or improvement of agribusiness groups  and  networks, and  by strengthening  their production processes, product quality and market access; (ii) a more Equitable Brazil, focusing on  the bottom of the farming “hierarchy” – small farmers and vulnerable rural populations; and (iii) a more  Sustainable Brazil, combining competitiveness with the sustainable management of soils, water and other  natural resources.     Theory of Change (Results Chain)2         Family farmers more competitive and long‐term net income improved; have    Higher Level  more equitable access to productive infrastructure and services; and  Outcomes    committed to environmental sustainability      Producer organizations (PO)  Environmental policies and instruments developed and tested: Sao    increase their sales compared  Paulo family farmers compliant with Forest Code via registration in    Outcomes  to non‐participants,  the Rural Environmental Cadaster (CAR); Payment for Environmental  demonstrating improved  Services (PES) piloted, adopted and expanded; family farmers using    competitiveness  improved practices for sustainable agriculture.      Business  Rural extension staff  Rural roads aligned  CAR information system    Initiatives  trained in market  to Business Initiatives  developed; producers    Outputs  operational, POs  development, productive  rehabilitated;  informed re CAR and  organized and  chains; environmental  Municipal roads  registered; PES farmers    maintained, and   trained to  staff trained in project  implement pilots; agro‐   manage them  management/compliance  systems developed  forestry investments.      Assumptions:  Capacity to implement innovative design; agricultural and environmental agencies collaborate; strong PO demand;    producers finance their cost‐share; the approach is sustainable and replicable; and, Traditional Communities participate.      Invest in Sustainable  Institutional and physical  Environmental Investments: Promote  Business Initiatives, in  infrastructure  improved,  compliance with environmental laws    Activities  training and technical  rural extension and  and practices; mainstream    assistance to strengthen POs,  environmental technical  environmental practices in rural  build productive capacity,  capacity built, POs’ physical  production systems; agroforestry and    business skills, and promote  multi‐purpose forest systems; pilot,  access to markets    sustainable farming practices  improved (roads)  adopt and scale‐up PES.  2 The Theory of Change reflects the project as restructured in 2015 (details part B). Its goals and basic structure did not change.    2 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Project Development Objectives (PDOs)    6.  The  Project  Development  Objective  was  to  “support  the  State  of  Sao  Paulo  to  increase  the  competitiveness of family agriculture in its territory while improving its environmental sustainability”.    Key Expected Outcomes and Outcome Indicators    7.  Key expected outcomes (PAD): (i) increase productivity of land and labor, improve product quality  through enhanced productive techniques; (ii) engage more actively in supply/value chains, where there is  competitive  advantage  by  using  basic  processing  and  marketing  techniques  and/or  strengthening  partnerships  with  larger  private  operators  in  these  areas;  (iii)  strengthen  the  organizational  and  managerial capacity of POs, and promote the emergence of new associations and cooperatives; and, (iv)  mainstream  improved  land  and  water  practices  tested  under  the  previous  operations  for  more  competitive productive systems.   Outcome Indicators (PAD) were:    Increase in sales value (unit value by quantity sold) for participating producers’ organizations   Increase in agricultural area where improved land  and water management  practices are  being  implemented (Ha)  8.  Targeted  beneficiaries:    The  project  targeted  an  estimated  22,000  small  farming  families  ‐  including indigenous, quilombola and agrarian reform settlers ‐ through 300 producer organizations (PO)  with potential for direct involvement in the project (an average of around 70 members per organization).3  CATI (Rural Extension Directorate of the Secretariat of Agriculture), the Secretariat of Environment (SMA),  and  involved  municipalities  would  receive  training  to  support  the  small  farm  competitiveness  agenda.  Indirectly, the project envisaged demonstration effects for family farmers state‐wide and nationally. A  matrix of project targeting parameters can be found in Annex 7, Section 1A.    Components      9.  Component 1: Supporting Small Farmers’ Business Initiatives (est. total cost US$58.8 million of  which IBRD US$37.6 million and Borrower US$21.2 million) financed: Subcomponent 1.1 (Implementing  Small  Business  Investments)  matching  grants  to  eligible  producer  organizations  (PO)  for  sustainable  Business Initiatives (BI) to increase  competitiveness (productivity, quality, value added and  marketing)  while improving agricultural practices;  Subcomponent 1.2  (Strengthening PO) information, training and  technical assistance to formalize and strengthen PO to prepare viable business proposals for funding and  for organizational, financial, marketing, implementation and monitoring aspects of the BI.      10.  Component  2: Strengthening Institutional and  Physical Infrastructure (est.  total cost  US$61.4  million of which IBRD US$36.3 million and Borrower US$25.1 million), financed: Subcomponent 2.1 (Policy  Frameworks and Rural Extension) policy frameworks, markets and rural extension, an online agri‐business  information  center,  and  strengthening  CATI’s  capacity  to  advise  POs  on  marketing,  management  and  3 Small family farmers were defined, for the project and based on Law 11.326 of July 24, 2006,  as: (i) owning an agricultural  property <50 ha, i.e., four tax modules in Sao Paulo; (ii) deriving family income mostly (80%) from agriculture;  and (iii) using  mostly family labor for agricultural production and processing. This included indigenous peoples and quilombola communities.   3 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) production  technologies;    Subcomponent  2.2  (Municipal  Rural  Infrastructure)  grant  financing  for  infrastructure  subprojects  to  rehabilitate/maintain  priority  sections  of  rural  roads  identified  in  road  management  plans  (and  linked  to  the  BI),  to  ensure  year‐round  usability,  and  development  of  simple  municipal  rural  roads  management  plans;  Subcomponent  2.3  (Environmental  Sustainability)  improved  environmental practices in rural production systems to ensure sustainability of the productive base.      11.  Component 3: Project Management (est. total cost US$9.6 million of which IBRD US$3.9 million  and  Borrower  US$5.7  million),  supported  the  Borrower  in  efficiently  and  effectively  administering,  supervising, coordinating and monitoring all project activities.    12.  Productive  Alliance  (PA):  The  project  was  designed  specifically  to  introduce  the  Productive  Alliance (PA) approach in the State, building on the successful experience in the previously‐implemented  operation based on the  micro‐bacias approach.  The PA approach uses integrated solutions to address  market  imperfections  restricting  smallholder  producers’  socio‐economic  progress  and  involves  three  agents: a group of smallholder producers, one or more buyers, and other participating partners providing  technical or financial assistance. Producers are organized, the buyers can be active throughout the value  chain and in commercial or institutional markets, and the public sector agent is usually the Ministry of  Agriculture (or, in this case, the State Secretariat of Agriculture).  The agents are linked through a business  initiative  or  plan,  implemented  via  productive  investments,  technical  assistance  and  business  development.  In this case, the business plan included essential road works and stressed sustainable land  management.  Matching grant financing is typically used, as rural smallholders often lack access to credit.  The grant is provided by the public sector and matched by beneficiary contributions. 4    B. SIGNIFICANT CHANGES DURING IMPLEMENTATION   Revised PDOs and Outcome Targets    13.  A Level 1 restructuring in 2015 adjusted both internal elements of the PDO by clarifying that the  project’s focus was on: (i) improving access to markets for rural producers through their organizations;  and, (ii) environmental sustainability at the level of environmental policies and instruments. The original  PDO was too broadly‐formulated and open‐ended to capture the project’s actual focus/activities, making  the measurement and attribution of results difficult. The clarified project objective was:  “to support the  Borrower in improving access to markets for rural producers’ organizations in its territory, and in improving  its instruments and policies that contribute to environmental sustainability of family agriculture”.     Revised PDO Indicators    14.  The  PAD  PDO  Indicator  “Increase  in  agricultural  area  where  improved  land  and  water  management  practices  are  being  implemented”  was  dropped  and  substituted  by:  “Number  of  environmental instruments and policies developed and implemented, measured by: (i) Cadastro Ambiental  Rural (CAR) improved and made available to rural producers; and, (ii) Payment for Environmental Services  4 PAs were introduced in the early 2000s in Latin America and have been studied by the Bank. See: Linking Farmers to Markets  through Productive Alliances: An Assessment of the World Bank Experience in Latin America, World Bank, November 2016.  4 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) (PES) programs developed and adopted by rural producers”5. This was intended to reflect the project’s  clarified  PDO,  and  to  focus  Component  2  on  environmental  policies  and  instruments  affecting  family  agriculture statewide, directly and on the ground.     Revised Components    15.  While the 2015 Level 1 restructuring did not change the overall project structure or broad thrust,  several  small  activities  were  dropped  because  of  better  alternatives  or  decreased  priority.  However,  project scope was expanded under Component 2 by adding new activities driven by the Government’s  shifting policy focus and new environmental requirements, as follows:     Subcomponent  2.1:    Inclusion  of  an  Agricultural  Census  covering  agricultural  production  units  state‐wide. The online agribusiness information center activity was dropped.      Subcomponent 2.2: More intensive focus on rural roads rehabilitation and maintenance activities,  better‐aligned with CATI’s mandate. The small paving materials production activity was dropped.    Subcomponent  2.3:  Project  support  to  implement  the  critical  first  stage  of  the  Rural  Environmental Cadaster (CAR), and to scale up the number of PES pilots to be tested to three.       Other Changes     16.  Other changes included the following:   Restructuring, September 29, 2015 (Level 1): (i) adjusted some Intermediate Outcome Indicators  to better reflect the project’s focus and activities and introduced a core sector indicator: number  of direct beneficiaries; (ii) extended the closing date by two years to September 30, 2017.   Restructuring,  March  24,  2016  (Level  2):  (i)  created  a  new  disbursement  category  with  an  allocation of US$1.0 million to finance PES, reducing Category 3 Environmental Subprojects under  Component 2(c) by the same amount; (ii) reallocated US$1.35 million from that same Category 3  to  Category  4  Goods,  Works,  Consultant  Services  and  Training;  and,  (iii)  formalized  the  disbursement mechanism for financing PES.6   Restructuring, August 21, 2017 (Level 2):  Extended the closing date another 12 months.    Rationale for Changes and their implications for the Original Theory of Change    17.  The justification for the main changes was as follows:     Level  1  adjustments  in  2015  aligned  the  project  with  new  environmental  laws  and  policy  priorities  of  the  State  Government.  The  mix  of  instruments  enhanced  the  environmental  sustainability  of  family  agriculture,  specifically  through  the  universal  registration  of  rural  producers’ physical, environmental and land‐use profiles in the CAR, obligatory under the new  Brazilian Forest Code of 2012.7 The project’s focus on improved farming practices was reinforced  via CATI’s extension services under both Components, and through these new instruments.  5 Payment for Environmental Services (PES) is an incentive payment offered to a farmer/landholder in exchange for managing  his/her land to provide some sort of environmental service which conserves natural resources (land, water and biodiversity).  6 This was introduced under the 2015 restructuring but not formalized in the Loan Agreement.  7 The Forest Code is Brazil’s primary law for regulating sustainable land management and mandates, inter alia, the conservation  of native vegetation in Areas of Permanent Protection (close to rivers and springs) and in the Legal Reserve.    5 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)  Registration supported the project’s environmental and economic objectives, ensuring farmers’  compliance with national law, qualifying them for Stage II land and water regularization on‐farm  for which producers were provided with a diagnosis and plan; and, avoiding farmers’ loss of access  to credit and public programs if not registered, a negative incentive to comply. Registration was  mandatory with a federal deadline of three years on states’ compliance. With project support,  Sao Paulo complied, within the deadline and with a customized database and 100% coverage.   Clarification of the PDO strengthened the project’s intent, level of ambition and measurability,  weakened  under  the  original  by  vague,  open‐ended  terminology  permitting  diverse  interpretations of what the project sought to achieve and not in compliance with Bank standards.   Dropping  the  PDO  Indicator  on  agricultural  practices  was  prudent.  Indicators  of  area  under  improved practices are vulnerable to over‐estimation of both targets and results,8 the mode of  measurement was not agreed, and the Borrower was urging Bank support to implement Stage I  of the CAR and scale up the PES. A new indicator was substituted without in any way diminishing  the physical and technical focus on improved, environmentally sustainable farming practices.    Expansion  of  PES  supported  the  State’s  longer‐term  hydrological  goals.  The  PAD  included  financing for one PES pilot (Mina d’Agua). The restructuring scaled up PES by adding two more  pilots to test models for protecting state water resources longer‐term and to boost the State’s  response to the drought affecting South‐East Brazil at the time (CAP‐RPPN and CAP‐Mata Ciliares).    Extension of the closing date in 2015 ensured achievement of the PDO. The extension: enabled  SAA/CATI to finance additional Business Initiatives from a sixth call which netted a large response;  compensated for delays in establishing the legal and technical pre‐conditions for activating the  matching  grants;  and,  permitted  implementation  of  Stage  I  of  the  Forest  Code  (CAR),  and  completion of Component 2 revised activities. Project costs were adjusted, without reallocation.    Targeted beneficiaries became a core indicator. The PAD text targeted 22,000 direct beneficiary  families  in  300  organizations,  including  indigenous  and  quilombola,  under  Component  1.  The  restructuring reduced the target to 7,108 families in 267 organizations, adding an indicator to the  RF.  Hindsight  shows  that  the  revised  target  was  based  on  a  misunderstanding  of  CATI’s  rules/practices governing project access, with additional explanation in Section IVA.   A  new  disbursement  category  supported  the  PES.  Payments  to  PES  beneficiaries  were  to  be  financed  from  state  counterpart  funds  but  the  fiscal  crisis  reduced  public  investment  in  environmental public goods like PES. The new disbursement category enabled the Loan to finance  those payments.  Reallocation of loan funds financed the CAR‐related costs for Category 4.   Extension of the closing date in 2017 for a final 12 months  allowed important contracts to be  finalized to achieve project targets and to fully disburse the Loan.  18.  Mid‐term Review (MTR): The 2015 Level 1 restructuring originated from the MTR of December  2013  which  noted  low  disbursement  (US$5.3  million  or  6.8%)  but  accelerating  investment  and  commitments. The Aide Memoire stated that: (i) the PDO would not change; (ii) the PDO Indicator target  of eight percent for increased sales was “modest”, but the team lacked the evidence of results to justify  increasing it; and, (iii) the target of 800,000 ha for area under improved practices was unrealistic, even  under optimal circumstances, its measurement was unclear, and a target of 260,000 ha by closing was  reasonable. Rapidly changing circumstances affecting the project saw the PDO clarified, the PDO Indicator  8 Improved land management on 10 ha of a 100 ha property, regardless of whether those improvements are benefiting the other  90 ha, are often counted as 100 ha against the project target.   6 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) on improved practices substituted, and the sales target maintained as per the PAD original (until closing).9     19.  These changes and adjustments did not alter the Theory of Change (TOC). The TOC retained its  two‐pronged approach to improving the competitiveness of producer organizations: direct investments  in  productive  infrastructure  and  stronger  producer  organizations,  complemented  by  investments  in  compliance, instruments and practices designed to conserve the productive base. The main adjustment  to the technical strategy was the mix of instruments for improving the environmental sustainability of  family agriculture, but the objective of those instruments was essentially the same.       II. OUTCOME    A. RELEVANCE OF PDOs    Assessment of Relevance of PDOs and Rating    20.  Relevance of the PDO to the World Bank Group (WBG) Country Partnership Framework (CPF,  FY18‐FY23)  is  High.10  The  primary  themes  of  the  PDO  remained  consistent  with  the  new  Bank  Brazil  Country  Partnership  Framework  (CPF)  FY18‐FY23,  Report  No.  113259‐BR,  endorsed  by  the  Executive  Directors on July 13, 2017. The report defines two ongoing challenges which resonate in the project PDO:  (i)  Creation  of  productive  and  well‐paid  jobs:  dependent  on  increasing  productivity,  stimulating  investment  and  innovation,  improving  the  business  environment  and  access  to  capital,  and  increasing  competition; and (ii) smarter management of natural resources and better mitigation of environmental  pollution  and  natural  risks:  prominent  action  areas  are  water  resources  management,  environmental  management, and land and secure property rights. An explicit Focus Area is “Inclusion and Sustainable  Development”  to  “promote  the  socioeconomic  development  of  small  rural  producers  and  vulnerable  groups”.  In  terms  of  maintaining  relevance,  the  Bank  responded  appropriately  to  new  government  priorities by improving the relevance/focus of the PDO and substituting an indicator for new activities  expressly requested by government. The Theory of Change as per the post‐2015 restructuring remained  fully relevant as the clarifications to the PDO and the additional activities were consistent with the overall  thrust of the project as originally designed.      B. ACHIEVEMENT OF PDOs (EFFICACY)    Assessment of Achievement of Each Objective/Outcome    21.  The  project  was  innovative  for  the  State  of  Sao  Paulo,  and  for  Brazil  at  that  time,  using  a  productive  alliance  approach  to  organize,  train  and  equip  higher  potential  family  farmers  to  compete  commercially, and exploiting the intersection between agriculture and environment through new kinds of  incentives‐based rural activities stressing land and water management.  The operational and technical  logic  was  evident.  The  project’s  trajectory  can  be  divided  into  three  distinct  phases:  pre‐ investment/foundational, whose progress was delayed by legal, operational and procurement challenges  9 The Level 1 restructuring was not approved until almost two years after the MTR due to complex processing requirements, the  general crisis in Brazil and the internal Bank discussion, especially about extending the closing date.   10 See Country Partnership Framework FY18‐FY23, World Bank Group Report No. 113259 of May 16, 2017.  7 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) and by uneven readiness to implement; early investment, coinciding with dramatic political and economic  crises in Brazil and shifting priorities, which constrained the project’s pace of execution and disbursement.  Restructurings including extensions totaling three years enabled the project to be successful; and, final  investment,  a  period  of  three  years  witnessing  dramatic  improvement  in  project  execution  and  disbursements,  with  strong  results.  The  presentation  below  disaggregates  the  PDO  by  theme  and  assembles the evidence for achievement using the PDO Outcome Indicators and supporting information.  This includes a strong Borrower Completion Report (PLAN, 2018) based inter alia, on extensive interviews  with project institutions, beneficiaries and other stakeholders, as well as the collection of data based on  representative sampling. The ICR also references the DIME (2018) impact evaluation study and the project  archive and received extensive assistance from CATI and SMA.     PDO Theme 1: “Support the Borrower in increasing access to markets for rural producers’ organizations  in its territory”    Objective Outcome: Increase in total sales value for participating organizations by end of project  (Target Exceeded: 1,088%)        22.  The Bank’s Development Impact Evaluation unit (DIME) conducted a methodologically rigorous  impact evaluation of the Component 1 investments to measure the objective outcome. The evaluation  used a combination of propensity score matching and a difference‐in‐differences approach, analyzing a  large,  statistically  representative  sample  including  144  Treatment  and  140  Control  organizations  (organizations  identified  as  most  similar  to  the  Treatment  Group),  and  a  sample  of  their  members  (households)  at  baseline  and  end‐line.11  The  project’s  baseline  was  collected  in  2012  prior  to  any  interventions and covered 773 rural organizations, most of those active state‐wide at that time.  Follow‐ up  data  collection  occurred  in  2017,  on  the  284  organizations  and  an  average  of  10  members  per  organization. Results are discussed below, including the factors accounting for strong results.     23.  Treatment  Group  (TG)  organizations  increased  their  sales  value  in  real  terms  due  to  project  participation by 87% compared to the target of 8%, an increase of 1,088%. Organizations not supported  by the project (Control Group) fared poorly during the recent economic crisis in Brazil, losing almost half  of their sales value between 2012 and 2017. The difference in annual sales between the TG and CG is  US$152,000 per organization or US$1,800 per family.  DIME also found that project support prevented TG  organizations  from  ceasing  commercial  activities  during  the  crisis;  that  sales  values  increased  for  organizations already commercially active at baseline, i.e., prior experience counted; and, that more TG  organizations started sales activities due to the project. DIME reported that among TG members, sales  prices were  higher for even  the most  common crops. The study also suggests that a  benefit of selling  through the organization was bargaining power and better price information, but this needs further study  and was not addressed by DIME.  Inputs and labor costs were often reduced due to improved and labor‐ saving technologies. Sales were channeled through existing clients (50%) and new market clients (50%).  Production  transportation  means  were  improved  through  targeted  road  works  linked  to  60%  of  the  Business Initiatives: TG organizations could move their products/supplies efficiently.    11 Sao Paulo Development and Access to Markets Project: Impact Evaluation Report, Furtado, Piza, Ruzzante, Zwager (DIME) 2018.  https://pubdocs.worldbank.org/en/944091544635907700/DIME‐IE‐report‐Sao‐Paulo‐Microbacias‐II.pdf    8 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) 24.  Some 13,505 family farmers and 3,117 beneficiaries in Traditional Communities (quilombolas  and indigenous), in 271 organizations, were benefited by investments in 287 Business Initiatives and 87  Community Subprojects respectively, under Component 1. Annex 7 presents information on the selection  process  and  investment  cycle  for  Business  Initiatives;  maps  showing  the  locations  of  and  resources  invested by type of project investment; and, tables quantifying training, investments and other aspects.    25.  The DIME impact result translates into improved sales outcomes at the household level when  the sales of TG members are compared.  Households linked to TG organizations sold more production  overall and a larger share of their sales were made through the organization at better prices.  Revenues  of  TG  members  were  31%  higher  than  CG  members.12  Members  of  the  TG  sold  26%  more  of  their  production than control members. Organizations in both the TG and CG increased their market focus in  public purchasing programs due to changes in state law requiring that 30% of public food expenditures  should  be  on  the  products  of  family  agriculture,  and  to  the  economic recession.13    For  the  TG,  the  proportion  of  organizations  selling  exclusively  to  the  institutional  market  increased  from  28%  to  43%,  while CG organizations increased from 21% to 46%.  Evaluation data showed no impact of the project on  the likelihood of selling to such public purchasing programs, by either group. Public purchasing programs  are a state policy commitment and have an important place in a diversified marketing strategy.     26.  Based on direct field evidence, progress reports and interviews, value‐addition was a key driver  of  higher  prices  to  TG  organizations  and  households:  The  project  trained  beneficiary  organizations  in  market‐targeted,  enhanced  production  techniques  and  product  differentiation  stressing  quality,  packaging and branding.  For example: poorer quality bananas – otherwise discarded ‐ were processed  into higher value products; Tilapia producers marketed both the fish and the more lucrative skin; fruits  were sorted  and packed  by quality/size; a wide variety of vegetables were packaged cut  and ready to  cook,  or  freeze  dried  as  a  branded  health  food;  dairy  plants  produced  basic  yoghurts  for  the  school  (institutional)  market,  and  more  consumer‐targeted  types  for  supermarkets;  and,  coffee  producers  refined their production, harvesting and processing techniques, enabling them to sell into European Fair  Trade markets, and in several cases to the globally‐known Illy Company. Such value addition also reduced  waste, with an environmental benefit. It merits note that CATI technicians participated in multiple training  sessions with high rates of participation in courses associated with Productive Systems and Markets.      27.  Rigorous  eligibility  and selection processes  and criteria captured and strengthened the  most  promising, motivated organizations (see Annex 7A for a description of the process).  Organizations self‐ selected into the calls for expressions of interest and were filtered through a rigorous, multi‐step process  for participation using a points system.  In this regard, the project differed markedly from its predecessor:  it  was  genuinely  demand‐driven,  commercially‐oriented  and  targeted  small  farmers  with  potential  to  succeed, weeding out non‐viable organizations. Selected organizations benefited from: customized, well‐ executed  organizational  strengthening  including  planning,  management,  accounting  and  procurement;  realistic,  well‐designed  Business  Initiatives  (or  plans)  which  included  road  works  deemed  essential  for  efficient market access; investments in modern infrastructure and equipment with technical training in  operation  and  maintenance;  agricultural  extension  services  stressing  best  practices  in  land  and  water  management;  direct  assistance  for  sanitary  and  environmental  certification;  and,  the  project’s  strong  12 Since the baseline covered only the organization level, DIME does not claim that all differences at the household level are  attributable to the project.  Even so, results are in line with observations at the producer organization level.  13 The two main programs are: PAA (Food Acquisition Program) and PNAE (National School Food Purchase Program).   9 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) emphasis on commercial activity and financial and physical sustainability.   CATI’s role – along with SMA  and other institutional partners ‐ was critical to the success of these activities.     28.  Rural  road  improvements  facilitated  market  access  and  production  flows.  Importantly,  road  stretches needing rehabilitation and maintenance to support organizations’ competitive advantage were  specified  in  the  Business  Initiatives.  Despite  implementation  difficulties,  672  km  of  rural  roads  (102%)  gained  year‐round  usability  following  project  interventions,  and  transit  on  another  605  km  (64%)  was  improved  through  maintenance.    Improved  rural  roads  also:  facilitated  the  movement  of  people  and  critical service providers (school buses, ambulances, police) and connections to urban areas/centers; and,  reduced erosion affecting many rural properties adjoining these roads.    29.  While no explicit gender support was foreshadowed in the PAD and gender impacts/benefits  were not measured, indirect evidence suggests that women were an important presence in the project.  They filled leadership positions in the organizations – of 20 organizations interviewed by the BCR team,  three had female presidents – and managed business and administrative tasks. They filled many essential  occupations: directly in fruit and vegetable selection and processing, and indirectly in soil preparation,  milking and animal care.  Female heads of household with male members absent due to out‐migration,  perceived the opportunities offered by the project and independently accessed the project through their  organizations  –  especially  true  for  SMA’s  environmental  subprojects.  CATI  stated  that  project  organizations  led  by  women  were  reputed  to  have  stronger  management  and  “many  of  the  more  successful investments were led by women”.        30.  Quilombola organizations performed especially well and reaped the benefits of the project.  The  State Quilombola Conference at CATI in 2018 saw leaders affirm that the project was a historical best  experience  for  their  communities.  Beneficiaries  reported  production,  productivity,  quality  and  income  gains, as well as reduced area cultivated due to CATI’s training in agricultural practices. Project training,  opportunities  to  exchange  experiences  and  CATI’s  rural  extension  services  improved  their  production  quality and productivity. The application of best practices in resources management had environmental  benefits:  cessation  of  illegal  extraction,  reduced  application  of  agrochemicals,  and  setting  aside  substantial portions of landholdings for regeneration. Quilombola groups linked these benefits directly to  adopting the agroecological practices transferred by the project.     PDO Theme 2: “Improving the Borrower’s instruments and policies that contribute to the Environmental  sustainability of family agriculture”    Objective Outcome:  Number of environmental instruments and policies developed and implemented, as  measured by the following:      (a) CAR improved and made available to rural producers: (Target Achieved 100%)  31.  The  improved  CAR  was  a  State  Government  priority  and  project  support  with  SMA/CATI  collaboration deemed essential to its rapid and efficient implementation. Sao Paulo opted to customize  its own CAR (SICAR/SP) rather than use the national version. Government sought efficient access to and  governance over comprehensive information on farmers’ physical space for public policy formulation and  planning, and a system able to send information to the national system in real time.  With its own system,  10 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) the State could include additional functionalities to facilitate analysis, and to integrate with environmental  licensing, the registration and monitoring of areas under or available for restoration, and/or with areas of  dense vegetation as compensation on legal reserves.     32.  CAR  was  improved  by  developing  an  integrated,  multi‐purpose,  computerized  information  system.  The project financed system design and installation, software, databases and GIS interaction, in  addition  to  training,  information  dissemination  and  state‐wide  outreach  campaigns.  Technical  services  were leveraged to monitor and evaluate the results of ecological restoration projects; train staff in CBRN,  CFA, CETESB and other institutions; demarcate rural properties to facilitate CAR registration and assist  SMA in evaluating its methodology for property demarcation using satellite imaging.     33.  Some 339,127 family farm properties – 100% of all such farms state‐wide ‐ were registered in  the CAR by 2018, covering just under 6.0 million ha. This achievement ‐ 103% of the project’s unofficial  target  of  330,000  ‐  is  attributable  directly  to  the  project  and  covered  100%  of  project  beneficiaries.  Registration in the CAR had become a condition of eligibility for project participation from 2014. SMA and  CATI used CATI’s network of 594 municipal  Casas de Agricultura (92% of all municipalities), reporting to  its 40 Regional Offices. Based on a strategy developed and honed by SMA/CBRN, CATI disseminated CAR  objectives widely and reached out to producers (those under four fiscal modules, traditional communities  and  land  reform  settlements  ‐  larger  farmers  registered  independently).    Local  technicians  assisted  producers.  Farmers  were  coached  to  complete  the  online  questionnaire.  Municipal  authorities,  under  agreements with the project, received computers and helped farmers to input their information directly.14  Local NGOs and rural labor unions collaborated.     34.  Project‐financed  improvements  to  SICAR  enabled  the  identification  of  areas  for  focused  attention under key environmental programs, including areas available for restoration under the FEAP‐ financed Programa Nascentes (springs restoration); and, registration of concentrations of vegetation for  application  under  the  Legal  Reserves  (RL)  compensation  program.  The  project  also  invested  in  SARE  (Computerized  System  to  Support  Ecological  Restoration),  which  registers  and  monitors  restoration  projects under Areas of Permanent Preservation (APP) and RL and is an essential component of SICAR.15  The  system  is  programmed  to  automatically  calculate  producers’  assets  and  deficits,  connecting  them  with the PRA (Program for Environmental Regularization) to help bring their property into compliance.  The SARE enables SMA/SAA to analyze/approve producers’ environmental compliance proposals.   (b) Three PES programs developed and adopted by rural producers: (Target Achieved 100%)     35.  SMA  developed,  piloted  and  institutionalized  PES  as  a  policy  instrument  complementing  mainstream tools such as the Forest Law/CAR. Three PES pilots tested conservation technologies on 124  farm  properties:  Mina  d’Agua,  CAP‐RPPN16  and  CAP‐Mata  Ciliares.17  The  PES  pilots  were  innovative  in  14 The CAR is self‐declaratory but mandatory. Under Stage I, farmers received support to input information on property size, limits  and physical features, land‐use, water resources and area under native and/or riparian forest. The State diagnoses environmental  deficiencies and under Stage II, the producer develops a plan for protecting or re‐constituting forest cover and water resources.  15  Producers  indicate  how  they  wish  to  bring  their  properties  into  compliance.  The  system  is  programmed  to  calculate  automatically producers’ assets and deficiencies and to connect them with the PRA (Program for Environmental Regularization).  16 Credito Ambiental Paulista‐Reserva Particular de Patrimonio Natural (SP Environmental Credit for Private Nature Reserves).  17 SMA arranged for a fourth PES pilot (not targeted by the project) in the Bacia de Paraiba to be financed by IDB under a separate  project when it failed to secure adequate budget and timely legal sign‐off under the project.  11 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) integrating rural production and environmental conservation, and in conservation specifically, embodying  the  principles  of  user  pays  and  provider‐receiver.  They  were  designed  to  test  approaches  to  environmental issues, to generate knowledge and lessons for future expansion/replication ‐ regardless of  their success or failure – and to ensure that successful elements were adopted by producers.  Annex 7,  Map 3 shows the location of project‐supported PES pilots.    Mina de’Agua focused on the conservation of forest fragments protecting springs.  It fulfilled its  role  as  a  pilot,  generating  important  lessons  which  informed  subsequent  efforts,  but  was  not  successful. The complex demands of the pilot itself – the State’s first PES experience ‐ and criteria  for selecting participant municipalities, bore heavily on the results achieved and reduced demand.   The pilot was also launched at a moment of intense uncertainty about the legal requirements for  land use and was affected by the high electoral turnover among municipal authorities.   CAP‐RPPN  sought  to  improve  conservation  within  private  nature  reserves.  Activities  involved  maintaining or expanding the provision of eco‐system services in biodiversity conservation and  water production.  The methodology for participation and mobilization was much more efficient.  It also sought to stimulate the creation of RPPN state‐wide, as per government policy.      Impacts were positive on 2,000 ha of 19 RPPN (of the State’s 47) and led to the expansion of  initial  activities  to  new  areas.  This  pilot  was  successful.  Payments  to  beneficiaries  (Bank‐  financed)  totaled  R$1.579  million.  Reported  benefits  include:  (i)  increased  conservationist  activities in RPPNs and promotion of the State’s overall program; and (ii) beneficiary landholders  were highly motivated to apply other public conservation programs on their properties.    CAP‐Mata Ciliares sought to restore degraded riparian corridors through natural regeneration,  improve  hydrological  services,  and  help  smallholders  comply  with  the  new  Forest  Law.  The  program was to be state‐wide but the extreme drought conditions re‐focused activities on water  sheds  serving  the  city  of  Sao  Paulo.  Design  and  execution  were  more  sophisticated,  and  mobilization simpler and more focused, with all aspects managed closely by SMA/CBRN.   Impacts were positive on 77 properties totaling 2,700 ha.  Final payments to producers totaled  R$1.142  million  for  fencing,  green  fertilizer  and  fire  breaks.  This  pilot:  (i)  protected  forest  remnants and permanent preservation areas; (ii) provided SMA with a major learning opportunity  in  PES  strategy  and  procedures;  (iii)  strengthened  SMA’s  capacity  to  implement  other  PES  programs; and, (iv) tested an alternative flow of funds arrangement by including FEAP and SAA.  36.  Other relevant PES‐related achievements:   SMA has verified on site that the participating producers have adopted and are adhering to the  PES practices piloted on their properties (CAP‐RPPN and CAP‐Mata Ciliares). Producers have a  strong interest in maintaining their interventions, having identified the importance of the benefits  to their land and income potential, and committed legally to maintaining changes effected.   The  value of Mina d’Agua was its clear signals on PES design, management and financial flows which  led directly to the success of the two subsequent pilots.   The  PES  pilots  are  having  multiplier/replication  effects.  These  include:  (i)  the  US$6.0  million,  SMA‐coordinated Mata Atlantica Connection Project (financed by the Global Environment facility  – GEF), an umbrella operation for two models: PES Protection and PES Conservation.  Both seek  to  protect  and  manage  forest  fragments  to  conserve/expand  carbon  stocks,  and  to  support  biodiversity conservation and water resources. Some 232 contracts have been signed, valued at  R$1.2 million, covering 17,500 ha; and, (ii) the PES‐ASMF (Areas de Soltura e Monitoramento de  12 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Fauna Silvestre), financed through FECOP (State Pollution Control Fund) designed to preserve and  recuperate native forests on rural properties designated as soltura (wildlife release areas).    Continued adoption of PES is being supported by water tariff revenues. The State has authorized  the use of water tariff revenues within water catchment areas for PES projects focused on water  conservation,  e.g.,  riparian  forests  and  springs.  Other  payment  mechanisms  are  under  consideration by SMA. The sustainability outlook is positive.  37.  Forestry systems:  Under the Environmental Subprojects, the project promoted/supported the  development of forestry systems ‐ multi‐purpose forests and agro‐forestry systems ‐ a key contribution  to implementing the Forest Code and for future public policy formulation on land use.  See Annex 7, Map  2 for resources invested in and location of the Environmental Subprojects.    Multi‐purpose forests:  The project financed: studies on the economic potential of native species;   development  of  economically  profitable  models,  financing  proposals,  and  pilots  for  potential  financing; demonstration units on ITESP land reform settlements; and, dissemination events and  a web portal. Impressive results are paving the way for more extensive use of such forests; Brazil’s  targets  for  forest  restoration  under  the  Paris  Accords  were  advanced;  and,  models  developed  were adopted by the GEF Mata Atlantica Connection Project in Rio de Janeiro and Minas Gerais.    Agro‐forestry  systems  (SAF):  Implementation  of  agro‐forestry  systems  (SAF)  represented  an  opportunity to test and disseminate land use models on properties not suitable for conventional  agriculture.    The  project  overcame  farmer  resistance  by  demonstrating  the  economic  value  of  such activities. Significant technical capacity was developed within SMA in the SAF methodology  and  types  of  extension  services  needed  to  disseminate  and  guide  SAF  introduction.  SMA’s  expertise and support were praised by the beneficiaries of environmental subprojects.  38.  Finally, Table 1 shows aggregate investments and beneficiaries under Components 1 and 2:    Table 1:  Investments and Beneficiaries       No.  No.  Farmer  No.  Type of Subproject  Investments  Households  Organizations  Benefited Directly  Business Initiatives18  287  13,505  231  Indigenous Community Subprojects  87  3,117  13  Quilombola Community Subprojects  27  Environmental Subprojects  25  697  25  PSA  3  124  ‐‐‐  Total:  402  17,443  296  Source:  CATI/SMA, 2018  Justification of Overall Efficacy Rating    39.  Split Assessment of Ratings:  The ICR team reviewed the ICR Guidelines on split assessment of  ratings  and  did  an  exercise  to  re‐confirm  the  final  ratings.    The  result  of  this  effort  made  no  material  difference to the Outcome Rating proposed in this ICR due, inter alia, to over 74% of the Loan being used  post‐restructuring.  See table, Annex 8.  Therefore, the Efficacy and overall Outcome rating for this ICR  18 Includes 33 organizations from land reform settlements, with 38 Business Initiatives representing 1,449 direct beneficiaries.  13 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) was based on the regular approach. However, the split assessment exercise is included in Annex 8 as a  reference.    40.  Overall Efficacy is rated Substantial, balancing the following factors:    Elements 1 and 2 of the PDO were achieved  with exceptional outcomes for sales (1088% of the  end‐target), and full achievement (100%) of the outcomes for CAR and the PES pilots.  The strong  causal connection supports the Theory of Change.   Direct beneficiaries under Component 1 far exceeded the revised target (234% of the end‐target).   16 of 21 Intermediate Outcome Indicators exceeded or met their end‐targets.    The team has however, adopted a conservative approach based on the additional three years of  implementation.  Even  though  the  extensions  permitted  achievement  of  the  PDO  and  full  disbursement of the Loan, they may imply a less‐than‐optimal implementation performance; and,    The  sustainability  outlook  is  positive  for  both  the  business  investments  and  environmental  elements ‐ specifically the PES ‐ but the fiscal situation may be unpredictable.        C. EFFICIENCY    Assessment of Efficiency and Rating   41.  Analysis  shows  that  the  project  was  economically  and  financially  viable.  For  final  evaluation,  surveys  were  conducted  with  DIME  support  for  315  organizations  and  3,110  producers,  with  176  organizations and 1,781 producers as Treatment Groups (TG), since they received investment support19.  Overall revenues and costs of both TG and Control Group (CG) were assessed and projected for 20 years  as the basis for the financial and economic efficiency analysis.  To complement, a participatory assessment  of  economic  results  was  conducted  on  a  representative  subgroup  of  17  participating  organizations  comprising 371 family farmers.  Estimated income and costs for the with‐ and without‐project situations  (compared to DIME’s TG and CG approach) were estimated.  See detailed analysis in Annex 4.   42.  Results at Organization and Community level: Based on impact assessment data from the 315  organizations, the average annual sales (or gross revenues) of TG was US$230,500 per organization, or  US$2,600 per family. For the CG, average annual sales were US$78,500 per organization or US$800 per  family.  The average difference in annual sales is US$152,000 per organization or US$1,800 per family.  Similarly, the average annual net income of TG was US$140,200 per organization, or US$1,600 per family.  For the CG, average annual net income was US$41,400 per organization or US$440 per family. The average  difference in annual net income is US$98,800 per organization or US$1,160 per family.    43.  Economic and Financial IRR:   The average economic and financial results per organization, based  on the DIME impact evaluation, were extrapolated to 271 organizations directly supported by the project,  with 287 Business Initiatives and 87 Community Subprojects. As shown in Table 1 below, considering total  associated  project  costs  including  beneficiary  contributions  and  project  management,  the  overall  Economic IRR is 28% based on DIME‐supported survey data, and 40% based on participatory assessment  data (whose methodology mirrors the one adopted at appraisal). Such returns in both cases are higher  19 DIME supported Impact Evaluation considered only 144 Organizations in the Treatment Group since 30 of them did not have  comparable base‐line data.  14 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) than the economic NPV and IRR estimated at appraisal. Overall economic returns would be higher when  benefits from rural roads and carbon balance are estimated and included. Also, a portion of the Business  Initiatives and Community Subprojects (Component 1) are recent. Their benefits were not fully captured  in the final evaluation survey, since they still need to mature.  The overall Financial IRR is 24% based on  DIME‐supported survey data and 36% based on participatory assessment data.     Table 1: Summary of Overall Project Estimated Returns    At Project  At Project Closing  IRR  Appraisal  With vs Without Project Comparison20,  Treatment vs Control Group  Small Sample (Participatory Assessment)  Comparison, Large Sample (DIME)  Economic IRR  26%  40%  29%  Financial IRR  ‐‐  36%  24%    44.  Sensitivity analysis: To assess the sensitivity of Project economic and financial returns, Switching  Values (percentage factor that reduces the overall economic IRR to 12%) were estimated for gross annual  income or revenues, annual input costs and annual labor costs. Project returns are sensitive to production  and/or price reductions, since a 27% reduction in gross income would reduce Economic IRR to 12%. Such  price sensitivity is partly due to the medium to small scale of most business initiatives supported.21 In  contrast, the Project is quite resilient to changes in input costs, labor costs and investment costs of the  specific Business Initiatives or Community Subprojects, since they would need to increase by 130%, 155%  and 170% respectively, to generate a marginally acceptable economic return.    45.  Implementation efficiency:  Implementation efficiency is assessed as substantial considering the  following: the PDO indicators were met or greatly exceeded; most Intermediate Outcome level indicators  were met or surpassed; most subcomponents were executed with less budget than originally planned,  although  there  were  exceptions  (see  Annex  3).  IBRD  loan  resources  were  fully‐executed,  with  some  budget  line  reallocations.  Government  counterpart  resources  disbursed  were  67%  of  the  initial  commitment.  In terms of total investment cost per Business Initiative, Community and Environmental  Subproject compared with other WB funded projects: average project costs per beneficiary organization  were 22% lower than those of the Santa Catarina project. In terms of investment costs per Environmental  Subproject, the project average costs per family were 28% lower than those of the Rio de Janeiro project,  reflecting a less costly mix of investments in São Paulo (essentially SAFs) compared to investments in Rio  de Janeiro (conservation agriculture equipment and practices).22 Project implementation took three years  longer than initially planned, but this longer period enabled the project to demonstrate a high level of  achievement on its PDO Indicators (partially a consequence of the devaluation of the Brazilian currency).      46.  Efficiency  rating:  Efficiency  is  rated  as  Substantial  based  on  positive  economic  and  financial  results, the likelihood that organizations will maintain their investments for which they are motivated and  trained.  However,  the  project  cannot  control  for  the  potential  effects  of  the  fiscal  situation  on  public  services (e.g., road maintenance).   20 As per the PAD appraisal analysis  21 Changes in sales income can reduce net income/profits since operational costs cannot adjust in the same proportion. Also,  most organizations participate in their product or service markets as price takers ‐ their scale is not enough to influence prices.  22  Projects  referred  to  are:  Santa  Catarina:  Rural  Competitiveness  Project  (P118540)  and  Rio  de  Janeiro:  Sustainable  Rural  Development Project (P101508).  15 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   D. JUSTIFICATION OF OVERALL OUTCOME RATING  47.  Overall outcome is rated Satisfactory based on strong achievement of its PDO.   High Relevance of the PDO based on its sustained alignment with Bank strategy documents for  Brazil, and on the Bank’s action to maintain relevance following a shift in Borrower policy and  priorities after the 2014 elections.   Substantial  rating  for  Efficacy,  balancing  a  high  level  of  achievement  for  the  PDO  Indicators  tempered  by  caveats  regarding  the  engagement  period  and  sustainability,  resulting  in  moderation of this rating.    Substantial  rating  for  Efficiency,  based  on  positive  economic  and  financial  outcomes.  Implementation efficiency was variable for reasons discussed in Section III and elsewhere.     E. OTHER OUTCOMES AND IMPACTS    Gender     48.  The project’s omission of an overt gender focus is inexplicable given that CATI’s work with gender  under  the  predecessor  Land  Management  III  Project  was  considered  a  breakthrough.23  In  this  case,  women’s  participation  was  described  as  evolving  “organically”  and  varied  by  organization.  While  no  gender‐specific  activities  were  included,  nor  data  collected,  there  was  informal  evidence  of  women’s  participation and/or leadership and this is discussed in para. 29. Women are also likely to have benefited  from increased family income, improved rural roads and environmental activities. Projects of this type  should target, facilitate and measure gender participation.    Institutional Strengthening    49.  Participating institutions were strengthened through inter‐agency collaboration, targeted training  and by the daily demands of the project:   Project  institutional  strengthening  boosted  the  physical  infrastructure  and  human  capital  of  CATI and SMA, improving processes, solutions, and communication and dissemination programs.  Investments  included  reforms  of  local  and  regional  units;  vehicle  fleet  renewal;  computer  and  related equipment; updating of the Agricultural Production Units Survey (LUPA); and, training.   CATI staff, technicians and the CMDRs were strengthened through training.  Multiple training  sessions involved 24,370 participants (repetition factor unknown) focused on:  project operational  instruments,  productive  systems  and  markets,  project  management,  Traditional  Communities,  technical capacity (for local engineers, architects), and Bank Safeguards.   Collaboration  between  SAA/CATI  and  SMA/CBRN  was  a  major  project  achievement,  contributing directly to success of the CAR; providing extension services to SMA’s environmental  subprojects;  further  boosting  the  project’s  focus  on  environmentally  sustainable  farming  practices; and, institutionalizing the relationship between agriculture and the environment.    Project  partnerships  in  many  cases  represented  the  first  such  collaboration.  This  promising  23  The  ICR  (Report  No.  0676,  June  1,  2009),  based  on  an  early  PAD,  states:  “The  follow‐on  project  provides  explicitly  for  the  participation of women, and monitoring and evaluation of their role and participation”.  The final PAD did not include gender.  16 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) institutional break‐through was praised by stakeholders. Partnerships with specialized agencies  supported  the  technical  strategy,  reflected  beneficiary  diversity,  and  included:    FEAP  (credit  support);  the Institute for  Cooperatives and Associations (ICA)  (regularization  of organizations,  training  of  producers  and  technicians);  FUNAI  (enabling  CATI  to  provide  ATER  to  indigenous  communities); and, ITESP (praised by beneficiaries and technical teams for helping the project  reach and work with Traditional Communities and agrarian settlements). CATI’s potential longer‐ term engagement with these clients was also strengthened.    CATI’s efforts to strengthen and professionalize organizations were key to their success. CATI’s  stratified approach to training organizations within categories of maturity (strong, moderate and  modest) based on institutional diagnoses, was the basis for systematic, customized support.   The  organization  of  local  productive  groups  as  autonomous,  private  sector  entities  was  a  hallmark of the project and highly rated by participants. Training was delivered by CATI’s regional  and local offices and adapted to local needs. CATI’s capillarity was crucial in this process.    Interviews  with  project  technicians/managers  revealed  new  strengths  in  cooperatives  and  associations,  including  improved  administration  and  management,  more  unified  producers,  better  communications  and  resource  allocation,  and  a  clearer  vision  of  the  link  between  technology,  productivity,  markets  and  income.  Many  organizations  gained  visibility  in  their  municipalities and made impressive qualitative strides; others still lack autonomy.    SMA  capacity  was  boosted  through  training  in  organization  management,  agro‐ecological  production including forest systems, project management and implementation, and marketing.  Beneficiaries  were  trained  in  agro‐forestry  systems,  both  technically  and  to  promote  their  commitment to these complex but potentially lucrative methodologies. Multiple training events  involved 1,690 rural producers and 1,660 SMA technicians/partners (repetition factor unknown).     Mobilizing Private Sector Financing    50.  The project mobilized around US$19.0 million of private, beneficiary financing. The PAD did not  estimate the likely beneficiary contribution, but CATI made an informal estimate of some US$22.0 million.  The  Component  1  matching  grant  mechanism  required  a  beneficiary  contribution  of  up  to  50%  of  the  value  of  an  approved  Business  Initiative.  It  speaks  to  organizations’  perception  of  the  opportunity  to  improve that they were willing to provide this amount of own resources (in cash, credit or in‐kind) during  an economic crisis with heightened risk to qualify for approval.  Notably, most of the six calls for proposals  and subsequent development of Business Initiatives occurred as the crisis set in and deepened.  The DIME  impact  evaluation  notes  that  among  the  119  participating  organizations  which  used  credit  for  their  counterpart share, 87% used FEAP (State Bank for Agri‐Business Growth) whose support to the project  was critically important. See Section III B.    Poverty Reduction and Shared Prosperity       51.  The  project  had  no  direct,  poverty  reduction  objectives  although  equity  opportunities  were  a  strong underlying theme.  In Sao Paulo, the term “family farmer” encompasses a range of operators, many  of  whom  are  not  necessarily  poor,  but  might  be  considered  vulnerable.  The  beneficiaries  of  SMA’s  environmental  subprojects  tended  to  be  poorer,  highly  concentrated  in  areas  less  suitable  for  conventional agriculture and with few competitive options. The Traditional Communities (indigenous and  17 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) quilombola) and land reform settlements are among the State’s poorest populations. See Annex 7, Map 1  for project resources invested in and location of Traditional Communities, and key results below.    Traditional  Communities  and  agrarian  reform  settlements  represented  around  25%  of  all  organizations involved and 31% of investment initiatives.  In SMA’s environmental subprojects,  agrarian reform settlements represented about 60% of organizations and investments.     SMA  reported  that  marketing  capacity  of  environmental  investment  beneficiaries  improved  substantially,  although  the  status  of  organizations  varies.24  At  closing,  their  productivity  was  evolving, and prices were increasing due to improved quality, more reliable supply, and market  opportunities. This is attributed to the project’s investment in productive assets for post‐harvest  processing and to extension services (from CATI, INCRA and other agencies).   Beneficiaries of SMA’s agro‐forestry systems investments also reported positive income effects.  Organizations were strengthened, members were working, consumer purchases had increased,  and  out‐migration  of  young  people  had  slowed.  Land  acquisition  had  surged  for  additional  production. Organizations were attracting new entrants through demonstration effects.    Quilombola  communities  captured  more  investments  than  indigenous  in  part  because  their  numbers  are  higher,  but  also  because  indigenous  groups  faced  access  barriers:  unregularized/demarcated land; legal and organizational issues; difficulties meeting the project’s  bureaucratic  requirements;  and,  lack  of  a  tradition  of  associations.  Quilombola  communities  already  had  associations,  albeit  requiring  strengthening  and  regularization.  The  project’s  requirements and experiences “professionalized” quilombola organizations.      Working  with  Traditional  Communities  and  agrarian  reform  settlements  was  challenging  for  CATI  and  SMA  due  to  their  lack  of  experience  with  such  populations.  Collaboration  with  specialized agencies (National Indian Foundation (FUNAI), Sao Paulo Land Institute (ITESP) and  the National Institute for Colonization and Agrarian Reform (INCRA)) was essential. The project  sought  to  build  capacity  for  autonomous  action  by  Traditional  Communities  and  agrarian  settlements and this process established a new paradigm when CATI and SMA perceived their  potential to participate fully and successfully.     Other Unintended Outcomes and Impacts  N/A  III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME   A. KEY FACTORS DURING PREPARATION    52.   Original project objectives were unclear, but the technical strategy and logic of the expected  changes made sense as described in the PAD. The project offered a rational response to small producers’  market  access  constraints  including  environmental  sustainability.  The  strategy  stressed  technical  assistance  and  training,  financing  for  Business  Initiatives,  innovative  models  for  land  and  water  conservation,  rural  roads  rehabilitation/maintenance,  and  value  chain  studies  to  identify  bottlenecks.   Project design was linked – albeit selectively – to the lessons of related operations. The evaluation agenda  24 Cases include: a producer already making an additional R$10,000 per ha/year selling organic products directly to market; value‐ added operations seeking certification to enter niche markets; and, direct sales at fair prices, eliminating middlemen.    18 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) and deliverables were clear and realistic, but the original Results Framework was flawed.     53.  The risk analysis touched  on  a range of likely challenges  but  was incomplete.  The mitigation  measures and risk ratings were somewhat pro forma. A more thorough, realistic analysis of risk might  have improved some aspects of project design.  Readiness to implement was a relative term in this case:  The Bank and CATI/SMA teams were aware that much of the operational framework would need to be  established  after  effectiveness  but  implications  for  the  project  time‐line  and  disbursements  were  not  perceived ‐ or not expressed ‐ as risks. The Project Management Unit was not a separate, ring‐fenced  entity,  but  was  mainstreamed  within  CATI/SMA  and  used  CATI’s  permanent  staff.  This  arrangement  reduced risk by mining CATI’s prior experience with the Bank but imposed a heavy workload on CATI’s  staff, who were not relieved of their regular responsibilities.  The risks derived from a totally new approach  – departing from the micro‐bacias ‐ were not understood and thus under‐estimated.    54.  The project marked a decisive shift away from the earlier micro‐catchment model and into a  market‐oriented  operation  with  environmental  sustainability  as  a  core  competitiveness  value.  This  reflected two factors:  Bank promotion of the PA model as the new paradigm for rural income generation  in Latin America; and, the State’s support for municipalities with large concentrations of family farmers  and strong evidence of environmental degradation. Initially, CATI opposed the project’s new approach,  felt the design was imposed by the Bank, and that its experience was “largely irrelevant”.  Moreover, the  State Government had bought into the micro‐catchment approach  used under earlier Bank‐supported  operations in Sao Paulo and southern Brazil, adopting it permanently as rural development policy. CATI  favored a more gradual transition.  CATI also stated that the new marketing aspects and working with  Traditional  Communities  were  beyond  its  official  mandate,  responsibilities  and  experience,  and  it  was  required to collaborate with institutions – such as SMA ‐ with which it had no relationship or dialogue.   The ICR asserts however, that while CATI opposed the new model, the Bank was correct in supporting it.  Further, the stress on organized commercial activity and sales generated a cash flow at the community  level that significantly boosted organizations’ longer‐term sustainability and income generation potential.    B. KEY FACTORS DURING IMPLEMENTATION    Factors subject to government and/or implementing entities control:     55.   The project was innovative but more complex than anticipated, and its pre‐investment phase  was challenging. The foundational stage of such projects is commonly difficult, with disbursement slowed  by  essential  but  low‐value  activities,  and  the  emergence  of  unforeseen  issues.  Specifically:  legal  instruments for operationalizing the project needed re‐negotiation following the change of government  in 2011; the Decree creating the line of financing for small farmers required re‐negotiation and was not  effective  until  late‐2012;  similarly,  the  Decree  authorizing  implementation  of  the  Environmental  Subprojects  was  not  effective  until  June  2013.  Delays  were  compounded  by  protracted  negotiations  between  the  Bank  and  State  Government  on  the  use  of  standard  procurement  documents  for  non‐ competitive‐bidding (NCB) across all Bank operations.  The first call for proposals occurred in 2012.      56.  The investment phase rolled out against the backdrop of an economic and political crisis and  elections in 2014.   The effects percolated through many aspects of project execution, inducing caution  and  resistance.  Initial  calls  for  Expressions  of  Interest  garnered  modest  demand  from  producer  19 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) organizations, despite CATI/SMA’s intensive, geographically dispersed information campaigns. Thus, the  project initially lacked proposals of reasonable size and value to impact disbursement.  Requirements such  as  evidence  of  an  active  commercial  contract  deterred  applicants.  Associations  and  cooperatives  had  difficulty  providing  their  counterpart  share,  affecting  both  the  Business  Initiatives  and  environmental  investments, but many could not get credit. Similarly, under‐budgeted municipalities could not finance  their 20% share of road rehabilitation and maintenance costs and lacked technical and physical capacity.      57.  Procurement issues delayed progress. Essential consultant contracts were delayed for years or  dropped because of slow approvals by SAA’s Consultoria Juridica (CJ, Legal Department) attributed to the  following:  lack  of  political  commitment  at  senior  levels  of  SAA  to  the  benefits  of  technical  assistance;  resistance  to  using  Bank  procurement  guidelines  in  lieu  of  National  Law  8666;  reluctance  to  use  state  resources  for  consultants  rather  than  CATI’s  own  staff;  and,  preference  for  contracts  financing  goods  where price (not quality) was the main determinant. By 2013, and except for annual audits, no consultant  contracts  had  been  processed  by  CATI/SAA.  A  serious,  related  issue  was  CATI’s  inability  to  prepare  coherent Terms of Reference (TOR) for consultants. Supervision Aide Memoires describe chronic delays  from CJ repeatedly devolving TORs to CATI for correction.  Bank training for CATI staff had limited impact.      58.  The role of FEAP (State Bank for Agribusiness Growth) was pivotal, ensuring the viability of the  Business  Initiatives.    FEAP,  through  the  Bank  of  Brazil,  was  to  fund  reimbursements  to  producer  organizations  and  Traditional  Communities  under  the  Component  1  incentives  mechanism.  It  was  not  intended  that  FEAP  lend  to  beneficiaries.  Once  investments  got  underway,  beneficiary  organizations  struggled to provide their counterpart, and were unable to borrow for this purpose. Since FEAP operated  several credit lines for small and medium producers, two financing lines were adjusted (Support to Small  Agro‐Industries,  and  Community  Machinery  and  Equipment)  permitting  FEAP  to  finance  beneficiary  organizations’ contribution. State law was also changed at the urging of SAA/CATI, to allow organizations  to use their project participation as collateral for accessing FEAP credit lines. Some 119 Business Initiatives  used FEAP financing for counterpart – R$31.6 million or 63.5% of all beneficiary counterpart. Stakeholders  agree that FEAP’s engagement was critical for project success.    Factors subject to World Bank control:    59.  Bank flexibility helped CATI/SMA to generate momentum and fully disburse the Loan.  Pivotal  actions included:  (i) the Level 1 restructuring, which aligned the project with new policies to maintain  project  relevance,  elevated  environmental  compliance  and  best  practice  in  agricultural  sustainability  without  diluting  related  project  actions  on  the  ground,  and  strengthened  SMA/CATI  collaboration  on  implementing  the  new  Forest  Code;  (ii)  Bank  agreement  to  progressively  reduce  municipal  road  contributions to zero, substituted by contributions in‐kind (a concept not initially recognized by the Bank)  whereby municipalities used own staff to prepare road projects, with no budget implications, while the  cost  of  Environmental  Safeguards  compliance  was  subsumed  in  the  counterpart  (tree  planting,  grass  seeding); (iii) Bank approval of the simplified procurement instrument  Parecer Referencial helped  CATI  procure many works (especially for roads) in the project’s final stages;25 (iv)  intensified monitoring and  supervision including by an experienced, contracted Bank retiree who met regularly with CATI and SMA;  (v)  creation  of  a  disbursement  category  permitting  the  use  of  Bank  loan  funds  for  payments  to  PES  25 Parecer Referencial (PR) or “reference opinion”. With the PR, CATI could procure dozens of small works using Shopping, avoiding  the customary legal opinion for every procurement.  Bidding documents were prepared based on PR comments on similar cases.   20 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) beneficiaries to alleviate government’s counterpart funding situation; (vi) dropping the requirement that  organizations have an existing sales contract, which was deterring highly motivated and otherwise eligible  candidates; and, (vii) approval of extensions totaling three years.    Factors outside the control of government:    60.  Decline  of  the  Brazilian  Real  to  the  US  Dollar  over  the  project  period  had  both  positive  and  negative  effects.    Over  the  project  period,  the  US  Dollar  went  from  R$1.78  at  appraisal  to  R$3.82  at  closing.  The US$78.00 million loan was worth BRL 146 million in May 2010, and by closing BRL 316 million.    Once  a  contract  was  signed,  its  marked  variation  in  value  over  the  course  of  the  contract  meant  the  amount of resources available to execute activities also varied. This, inter alia, complicated the project’s  relationship  with  controller  agencies  when  it  came  to  justifying  a  higher‐priced  acquisition  requiring  additional financing due to market forces and not due to a project decision.26 Part of the Loan was used  to  finance  counterpart  funding  (e.g.,  the  municipal  contribution  to  rural  roads,  PES  payments  to  producers/other) which became scarce as the financial crisis deepened, and inflation increased.    IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME    A. QUALITY OF MONITORING AND EVALUATION (M&E)  M&E Design     61.  The key features of M&E design were as follows:    The technical strategy was conceptually logical as explained in the PAD, but the original PDO  and  Results  Framework  (RF)  had  weaknesses.  The  PDO  was  sweeping  and  vague,  limiting  its  interpretation, measurement and attribution. The PDO Indicator for environmental sustainability  was poor quality and lacked consensus on its measurement. The RF lacked certain basic social and  quantitative indicators and some indicators had multiple internal elements. There was no strict  correspondence between expected outcomes and PDO Indicators. However, the centrality of the  sales indicator suggests it was assumed to synthesize several key outcomes listed in para. 7.    The PAD described the main project indicators in detail (Annex 3):  Sales value (defined as Unit  Price by Quantity Sold) was used as an indicator of competitiveness, and increased sales were to  reflect  progress  in  productivity,  quality  and/or  marketing  techniques.  Competitiveness  was  defined as a “producer’s ability to operate efficiently in a market‐based environment, and to make  profits in a manner which can be sustained over time”.     M&E scope was broad and demanding. Evaluation would measure: (i) the impact of the project  dissemination strategy on the number/quality of proposals submitted. The priority and relevance  of this theme is questionable, as is the reason for measuring household income effects aligned to  the project‐defining PDO Indicator on sales, under a second phase; (ii) the impact of the PES pilots  on environmental practices; and (iii) the project’s demonstration/replication effects state‐wide.     SMA would monitor its own activities, while CATI would appoint a full‐time M&E officer. The  M&E system was to build on existing databases and systems developed by CATI and SMA.    26 The BCR (PLAN 2018) also notes cases where the dollar was lower at procurement than when the quote was selected. A major  acquisition of computer equipment saw savings of around R$900,000 under such circumstances.  21 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) M&E Implementation    62.  The key features of M&E implementation were as follows:   CATI and SMA collected, analyzed and disseminated key data sets, produced annual progress  reports,  coordinated  planned  studies,  and  complied  with  fiduciary  reporting  requirements.   CATI/SMA coordinated the strong Borrower Completion Report (PLAN, 2018) ‐ reviewed by the  Bank ‐ and the required progress reports including fiduciary were timely and comprehensive.    The DIME Impact Evaluation and Borrower Completion Report are an important legacy.  The  Sao Paulo PDRS was the first Bank‐supported PA project in Latin America to be formally evaluated  with  baseline  and  control  group.  DIME’s  approach  was  robust,  applying  a  statistically  representative sample at baseline and closing, and a strong control group, an approach far more  accurate than efforts under similar projects and permitting the attribution of a critical indicator.    Impact evaluation of the PES did not occur. The Bank prepared a strategy and guidelines for its  evaluation, but time ran out on the evaluation itself. The PES experience in Sao Paulo generated  much  interest  however,  and  independent  research  studies  are  available  online.  Impact  assessment of the project dissemination strategy and measurement of project replication effects  were set aside as low priority, given the pressure to complete the project.   The Level 1 restructuring of the PDO and RF was responsive to changed circumstances. The new  PDO Indicator for environmental sustainability was relevant and measurable (although not well‐ explained). However, some Intermediate Outcome Indicators (including new) were outputs and  there was no indicator for the agricultural census. The PDO sales target was not changed because  until  the  DIME  results  were  available,  there  was  no  sales  information  on  which  to  base  a  re‐ estimate. However, even a five‐fold increase in the target would not diminish the importance of  the final DIME results. Finally, the Level 1 took two years to finalize due to Brazilian elections and  the general situation, and the Bank’s delayed approval of the closing date extension.   CATI’s  capacity  to  develop  and  manage  M&E  remained  uneven  until  closing.  CATI’s  M&E  personnel were not full‐time and the Bank’s focus on in‐house M&E capacity waned after the first  two years when Bank training was provided, overtaken by many pressing operational issues.       63.  During  preparation  of  the  Level  1  restructuring,  the  Bank  misinterpreted  data  showing  that  organizations with Business Plans averaged 15‐20 members.  On this basis the PAD target was reduced  to 7,108.  Organizations’ small size derived from CATI’s project eligibility rules:  CATI set a 15‐member  minimum per organization to ensure a proposal’s operational viability, including adequate supply of raw  materials.  Size was also driven by CATI’s lack of time and budget to prepare Individual Property Plans  (PIP) for all members.  CATI technicians opted to not include all direct beneficiaries, and prepared PIPs for  the minimum required. At closing, CATI’s regional and local offices surveyed all project organizations and  revised the numbers of direct beneficiaries known to be active users of and contributors to, the completed  and operational investments.  In practice, participating organizations averaged 58 active members.  M&E Utilization  64.  The key features of M&E utilization were as follows:   Project monitoring data and progress reports were a valued input into management decision‐ making, and key research and reporting deliverables. These include the ICR, the BCR, the project  economic and financial analysis, the DIME impact evaluation, supervision Aide Memoires, training  22 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) programs of CATI and SMA, and project results dissemination activities (seminars, workshops and  online discussions).   Justification of Overall Rating of Quality of M&E  65.  Quality of M&E is rated Substantial for the following reasons:   Shortcomings in M&E design including a weak original PDO and flawed RF, are balanced against  a  strong  evaluation  performance,  as  well  as  the  Bank’s  prudent  clarification  of  the  PDO  and  adjustment of indicators to enhance relevance and measurement.   Residual  weaknesses  in  the  RF  Intermediate  Outcome  Indicators  after  restructuring  did  not  constrain  assessment  of  the  PDO.  The  Level  1  restructuring  sought,  successfully,  to  improve  project measurement by clarifying project objectives and devising better indicators.   The Bank can be faulted for not seeking to build institutional capacity for M&E, but this flaw  does not outweigh the value of the project’s overall analytical contribution.  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE    Environmental safeguards compliance:   66.  Environmental Safeguards Compliance was rated Satisfactory throughout the project lifetime.  Environmental  risks  were  considered  Low.  The  project  was  classified  as  Category  B  and  triggered:  Environmental Assessment (OP/BP 4.01), Natural Habitats (OP/BP 4.04), Pest Management (OP/BP 4.09),  Physical Cultural Resources (OP OP/BP 4.11), Forests (OP/BP 4.36).  Performance was as follows:   Environmental impacts were positive,  including:  improved soil conservation and management;  sustained  use/conservation  of  biodiversity;  restoration  of  degraded  riparian  and  other  forests  (SMA’s environmental subprojects and the PES pilots); erosion control in rural road rehabilitation  areas; reduced food waste; and, water conservation benefits and climate co‐benefits.   Close  technical  collaboration  between  SMA  and  CATI  strengthened  the  environmental  evaluation of all investments and definition of appropriate instruments. High overall compliance  ‐ collectively and individually – shows that farmers bought into mitigation messages.   Integrated  pest  management  techniques  were  disseminated,  focused  on  biological  controls,  types of parasites and tools for behavioral control of pests and insects.   No  measures  were  needed  to  preserve  physical  cultural  resources  since  no  project  activity  placed  cultural  assets  at  risk.    Further,  the  project’s  strong  conservation  focus  took  natural  habitats into account in all activities.      Social safeguards compliance:       67.  Overall  compliance  with  social  safeguards  is  judged  Satisfactory  and  social  risk  is  Low.    The  project triggered the social safeguards Indigenous Peoples (OP 4.10) and Involuntary Resettlement (OP  4.12). Performance and compliance were as follows:    An  Indigenous  Peoples  Participation  Framework  (IPPF)  was  prepared  and  disseminated  following extensive consultation during preparation.    The Indigenous Peoples Strategy (IPS) was implemented effectively and work with  quilombola  23 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) communities  (under  the  project’s  inclusion  goals)  made  good  progress:  an  aggregate  3,117  families (about 19% of total direct beneficiaries) in 40 Traditional Communities were attended,  with 87 community subprojects valued at R$12.63 million.      No  project  activities  required  land  acquisition  involving  adverse  impacts  associated  with  involuntary resettlement. Erosion along rural roads is a key environmental issue in Sao Paulo and  mitigation requires building small structures on private land along the roads to reduce erosion.  The Bank reviewed the producers’ signed, voluntary authorizations for those structures, allowing  the road contractor to perform the works.       Fiduciary compliance:    68.  Financial  Management  (FM):  Financial  Management  performance  was  rated  Moderately  Satisfactory throughout, upgraded to Satisfactory at end‐of‐project. The Bank had contemplated adjusting  the State’s Financial Administrative System (SIAFEM) to directly generate project Interim Financial Reports  (IFR) but given multiple executing agencies, and questionable cost benefit, a private firm was contracted  to  design  and  install  an  acceptable  physical  and  financial  administration  system  (SAFF).  When  CATI’s  contracting of the SAFF proved difficult, including due to TOR quality and delayed approvals by CJ, SMA  was designated to contract the system based on a model developed for Santa Catarina, and was using it  by end‐2017. However, CATI’s human resource issues meant the IFRs continued to be prepared through  MS‐Access and reconciled by SIAFEM.  Despite this situation, CATI’s prior experience with the Bank and  the  high  capacity  of  SMA  staff  were  key  factors  in  establishing  and  maintaining  acceptable  FM  arrangements; and, FM supervision action plans were implemented effectively and on time. The FM risk  was rated Moderate throughout.     69.  Disbursement: There were no disbursements from effectiveness in 2010 until 2012, and modest  progress until 2015 with a peak in 2017. Multiple factors previously discussed in this document explain  this situation. However, Bank reimbursement of project expenditures was described by CATI as slow and  a contributing factor in the Borrower’s requests for extension of the closing date. A smooth flow of funds  was  critical  for  this  project.  CATI  needed  the  reimbursements  to  operate,  including  to  reimburse  beneficiaries  for  their  project  expenditures.  This  attenuated  progress  and  created  difficulties  for  the  producer organizations.     70.  Audit:  External audit reports were prepared under terms of reference acceptable to the Bank.   Project unaudited IFRs and audit reports were mostly delivered on time.  Audit reports were late for three  of the project’s eight years: 2013, 2014 and 2018, mainly due to delayed bidding processes.  All IFRs were  considered  acceptable,  and  all  audits  expressed  unqualified/unmodified  opinions.  The  few  ineligible  expenditures identified were regularized in a timely way.     71.  Procurement:  Project procurement performance was rated Moderately Satisfactory throughout.  The Bank’s procurement oversight was continuous and thorough and benefited from having a single Bank  procurement  specialist  for  the  duration.  The  Bank  provided  mentoring  and  training  to  CATI  and  SMA.  Challenges  facing  the  procurement  function  were  primarily  associated  with  profound  delays  in  contracting,  already  discussed.  The  SAA  Consultoria  Juridica  constantly  questioned  Bank  procurement  rules and the quality of TORs – which constrained procurement throughout ‐ delaying most procurement  packages, but especially consultants. Road works were also seriously impacted, but largely resolved by  24 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) the Bank’s agreeing to allow use of the Federal Government’s  parecer referencial system to accelerate  procurement processing.     72.  Project  costs  and  financing:  Actual  project  costs  were  on  par  with  appraisal  estimates  in  aggregate, but there was some deviation within certain components: Component 1.2 strengthening of  producer organizations was 29% of the original estimate, which was over‐budgeted and did not account  for  more  efficient  and  effective  ways  of  delivering  such  services;  Component  2.2  rural  infrastructure  (roads) was 70% of its estimate mainly due to the shortfall in development of municipal road maintenance  systems and maintenance itself;  Component 2.1 policy framework and rural extension was 125% due to  new policy activities and an upsurge in CATI’s extension services, which also covered SMA’s environmental  activities.  Total  cost  of  the  original  project  as  per  the  PAD  was  US$130.0  million,  and  at  closing  (not  including beneficiary contribution) was US$112.73 million or 86.72%.  See Annex 3 and footnotes.      C. BANK PERFORMANCE    Quality at Entry    73.  Key elements of the project’s quality at entry show a mixed picture, as follows:      The  Bank  identified  and  helped  to  prepare  a  timely,  ground‐breaking  operation  of  high  strategic  relevance,  with  important  medium‐  and  long‐term  implications.  Lessons  of  similar  projects  were  considered.  Project  implementation  arrangements  were  sound,  mainstreaming  project management into existing state institutions,  using a joint CATI/SMA unit, each with its  own area of autonomy and competence. This was cost effective but burdensome for staff.   Project  quality  was  based  on  extensive  consultation  during  preparation.  CATI  conducted  multiple  consultations  state‐wide  with  project  stakeholders  and  beneficiaries,  including  indigenous peoples and quilombola groups. Stakeholders concerns reinforced the project’s focus  on commercialization, technical assistance, institutional coordination and environment.   Project  design  assumed  correctly  that  organizational  strengthening  would  equip  POs  to  conduct collective investments in Business Initiatives. While CATI/SAA were not initially, fully  on board, over time, they came to understand and embrace these objectives and the technical  strategy. However, CATI needed marketing specialists to boost its capacity to directly support  organizations’ marketing efforts/outreach, and such support was not contemplated.   The PDO was stated too broadly and vaguely to understand intent, or to measure and attribute  benefits,  and  the  RF  was  flawed.  As  mentioned,  the  technical  strategy  was  logical  and  understandable.  No formal Theory of Change was included in the PAD, not unusual at that time.   The  involvement  of  Traditional  Communities  was  reflected  in  safeguards  and  activities,  but  there were no specific provisions/activities for women or youth, even though CATI’s work with  gender specifically, under the previous project, was considered a roadmap for future projects.       The project was not fully ready to implement. Despite this fact, and the implied constraints on  implementation, the complexity of such projects and effort required across multiple fronts to  position them for the investment phase puts this project in the mainstream of its peers in Brazil  and elsewhere.     The project risk analysis was adequate but incomplete. Policy, legal and regulatory changes and  the fiscal  crisis were not predictable, but a more thorough and  prescient analysis might have  25 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) included  the  following:  potentially  low  demand  from  producer  organizations  to  participate;  complexity of targeting four distinct beneficiary cohorts;  credit constraints for family farmers vs.  potential  need  to  borrow  their  counterpart;27municipal  capacity  to  support  rural  road  improvements; and, potential challenges from the Consultoria Juridica, whose approvals were a  standard bureaucratic requirement in Sao Paulo. Risks from a complex project design and a PA  approach the State did not know (or initially want) were not considered. The learning curve was  steeper than expected, and affected implementation pace and quality.     Quality of Supervision    74.  Key features of supervision quality are as follows:    Supervision focused heavily in the early years on facilitating the legal, technical and operational  base  for  launching  investments.  These  activities  were  fundamental  to  the  project’s  ability  to  implement and maximize its development impact.   Measurement of development impact was a supervision priority starting with the timely design  and completion of the baseline, and engagement of DIME to lead the evaluation process.   Regularly  scheduled  supervision  missions  included  appropriate  specialists  (see  Annex  2):   agribusiness, social and environmental safeguards specialists, road engineers, environmental and  agricultural economists, and the DIME evaluation team. Bank fiduciary specialists were crucial to  brokering solutions to FM and procurement constraints and there was little/no turnover.   Appointment of a seasoned Bank retiree resident in Sao Paulo and familiar with the project to  meet  regularly  with  CATI  and  SMA  improved  progress.  The  ICR  asserts  that  to  thrive,  such  projects need more frequent, direct Bank oversight than the standard six‐monthly supervision.   Performance reporting was high quality, candid, comprehensive and a strong input to the ICR.   The  project  had  three  Task  Team  Leaders  from  preparation  through  closing.  CATI  observed  positive changes in Bank supervision responsiveness, collaboration and proactivity following the  first transition, sustained through closing.   Bank  supervision  was  responsive  to  the  needs  for  restructuring  and  focused  on  maintaining  project relevance following government turnover, adjustments to promote disbursement, and,  adapting flexibly to changing conditions. The revised RF however, remained weak in key respects.   Bank  efforts  to  ensure  quality  evaluation  were  successful.  Analytical  products  were  fully  satisfactory.  More could have been done to transmit M&E expertise to CATI and SMA.      Transition arrangements received adequate attention.  The completion of all required fiduciary  elements through the end of the grace period were followed‐up.  The Bank sought to ensure the  completion  of  the  few,  un‐finalized  investments  and  urged  CATI  to  follow‐up  on  all  pending  licensing to not delay the operational phase.     Justification of Overall Rating of Bank Performance    75.  The Bank’s overall performance is rated  Moderately Satisfactory.  This takes into consideration  significant shortcomings in Quality at Entry, balanced against strong and effective Quality of Supervision,  moderated (as recommended by the ICR Guidelines) by the project Outcome rating of Satisfactory.  27 The BCR (PLAN 2018) notes that 53% of family farmers interviewed for the 2012 Baseline reported shortages of resources and  limited access to credit. The PAD did not identify this as a potential risk to Component 1 Business Initiatives.  26 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   D. RISK TO DEVELOPMENT OUTCOME     76.  The sustainability outlook is positive: The project laid the foundation for continuity through its  focus on sales and on the environmental sustainability of farmlands. While the current economic/fiscal  situation poses risks, the following factors are believed likely to act as a counter‐weight:   Strong  commercial  outcome  with  increased  average  net  annual  revenues  of  US$2,600  per  family.  Project‐financed enterprises are motivated to survive and grow, now having strong sales  results and the organizational strength in most cases to function autonomously, an underlying  objective of the Bank’s insistence that CATI adopt a new model emphasizing commercial activity.      Basic  operation  and  maintenance  (O&M)  of  financed  facilities  is  considered  low  risk.    Basic  maintenance is performed in‐house and organizations were trained to conduct it. More complex  needs  are  handled  through  arrangements  with  the  original  equipment  suppliers  and  local  technical support.  The need to repay FEAP loans is also an incentive to conserve new assets.   The State continues to have a supportive legal and policy environment in place for agriculture  and  environment.  Sustainable  agriculture  remains  a  top  priority,  against  a  backdrop  of  fiscal  constraints over which the project has no control and whose potential impact cannot be gauged.    CATI has continued to support beneficiary organizations and producers since closing including  collaboration with SMA. CATI is helping producers: improve agricultural practices and financial  sustainability;  qualify  for  PRONAF28financing  for  operational  continuity  and  expansion;  explore  new FEAP credit lines; strengthen organizational capacity and networks; promote environmental  sustainability (soils/water) and market diversification; and, demonstrate new technologies.     Roads maintenance is a municipal responsibility, which is correct but risky.  Municipal budgets  are variable and during economic downturns, roads may not be top priority. That said, organized  farmers have demonstrated their willingness to complain directly to elected officials about roads.   SMA has verified on site that the participating producers have adopted and are adhering to the  PES  practices piloted  on their  properties  (CAP‐RPPN and CAP‐Mata Ciliares).  Field technicians  report  producers’  strong  interest  in  maintaining  their  interventions,  given  land  benefits  and  income potential. Profitability is key to the sustainability of many environmental investments.   Sustainability and replication of PES looks likely given the Government’s stated environmental  commitment,  and  measures  in  place  or  contemplated  to  cover  payments  to  beneficiaries  and  build scale. Continued PES adoption/replication will benefit from the State’s recent authorization  to  use  revenues  from  water  tariffs  for  paying  producers  for  PES  projects  focused  on  water  conservation. New projects might focus on long‐term funding for PES payments.    Continued  technical  support  to  the  environmental  subprojects  is  challenging,  but  the  collaboration between CATI and SMA/CBRN is a potential source of consolidation/growth. The  BCR  (PLAN,  2018)  argues  for  integrated  approaches  exploiting  the  institutional  partnerships  established under the project to continue support to producers.        V. LESSONS AND RECOMMENDATIONS    77.  The project’s shift towards commercial activity was essential for ensuring the sustainable socio‐ economic development of family agriculture.  While initially perceived by CATI as an imposition, the move  28 National Program of Support to Family Agriculture (Programa Nacional para Apoyo a Agricultura Familiar)  27 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) to work only with highly‐motivated organizations with potential to succeed commercially, combined with  intensive/diversified technical assistance, proved valid. It vindicated the shift away from the classic micro‐ catchment  approach  where  the  availability  of  the  incentive  per  se  was  a  key  motivation  to  organize/participate.  It is recommended that this model be sustained in future operations.    78.  The capillarity and decentralized managerial structure of an extension agency is critical. Projects  of this type require a strong presence in the countryside.  They are essentially a local level capacity‐builder  and organizer, a clearing house for demand, and a catalyst to more effective and efficient rural public  policy instruments, including environmental.  It is recommended that their technical capacity to provide  direct  market  liaison  assistance  to  producer  organizations  be  improved  and  that  projects  of  this  type  ensure the permanent availability of marketing specialists.    79.  Preparation  needs  to  reduce  the  potential  for  “surprises”,  build  flexibility  into  technical  and  operational  design  and  foresee  diverse  development  scenarios.  The  foundational  period  needed  to  position PA operations for the investment phase is often protracted, and in this case, other macro factors  intervened.  It is recommended that certain steps be taken to accelerate this period. These might include:  more intensive, wide‐ranging and “savvy” preparation analysis to understand institutional capacity and  mandates, potential legal, technical and operational challenges, and flow of funds mechanisms; design  flexibility which avoids unrealistic, prescriptive approaches; and, planning creatively for more frequent  Bank supervision at critical points along the trajectory.    80.  Projects of this type need intensive focus on business development and the demand side. This  means  assisting  organizations  directly  to  assess  commercial  prospects,  diversify  market  options  and  formalize commercial relationships. It is recommended that marketing specialists be hired to train the  lead implementing agency and support organizations. Further, public purchasing programs are state policy  in Sao Paulo, highly‐regarded by family farmers, and supply law enforcement, public hospitals and schools.  The ICR recommends that they not be viewed as inferior to private markets. They can promote producers’  confidence in their products through the standards required to qualify and can serve as an incubator of  new products and approaches.  Market diversification is the recommended goal for family agriculture.    81.      Economic  incentives  are  an  inseparable  component  of  environmental  conservation  programs.  Environmental projects and SMA are increasingly required to include financial benefits. Conservation will  not work without financial incentives.  This applies particularly to poorer family farmers whose lands tend  to be more degraded and with low returns to conventional agriculture.  It is recommended that projects  incorporate such incentives as a practical and strategic focus of conservation goals and activities.                    .    28 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS           A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: Improving access to markets for rural producers' associations in Borrower's territory  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in total sales value  Percentage  0.00  8.00    87.00  for participating  organizations, by end of    01‐Jan‐2011  30‐Sep‐2015    28‐Sep‐2018  project    Comments (achievements against targets): Exceeded: 1,088% As a direct result of the project, participating producer organizations increased  their sales by almost 11 times the target, as estimated by DIME's rigorous methodology: (i) large, random and geographically dispersed  sample (144 Treatment Group (TG) organizations and 140 Control Group (CG) organizations); and, (ii) comparison with a baseline, and with a  CG. Organizations that were not supported by the project fared poorly during the recent economic crisis in Brazil, losing almost half of their  average sales value between 2012 and 2017. The difference in net annual revenue between the TG and CG organizations is US$152,000 per  organization. Comparing the sales of organization members suggests that this impact translates into improved sales outcomes at the  household level. Households linked to TG organizations showed average net annual revenues US$1,800 higher than CG households, sold more  production overall and a larger share of their sales was handled through the organization at better prices. However, the lack of a household‐ level baseline prevents the claim that all this difference can be attributed to the project. See: Sao Paulo Development and Access to Markets  project ‐ Impact Evaluation Report, DIME/World Bank, November 2018.        Objective/Outcome: Improve its instruments and policies that contribute to environmental sustainability of family agriculture  29 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of environmental  Number  0.00  4.00    4.00  policies and instruments  developed, measured by (a)    15‐Sep‐2015  30‐Sep‐2017    28‐Sep‐2018  CAR approved and made  available to producers and (b)  3 PES programs developed  and adopted by rural  producers    CAR approved and made  Number  0.00  1.00    1.00  available    15‐Sep‐2015  30‐Sep‐2017    28‐Sep‐2018       3 PES projects developed  Number  0.00  3.00    3.00  and adopted by rural  producers    15‐Sep‐2015  30‐Sep‐2017    28‐Sep‐2018      Comments (achievements against targets): Overall achievement (a)100% for Cadastro Ambiental Rural (CAR); and (b) 100% for Payment for  Environmental Services (PES). NOTE: The 2 indicators below are subsidiary to this indicator and no space is available for separate comment.  Also, the target of 4 (policies and instruments) above covers one CAR and three PES. Results are as follows: (i) CAR: Some 339,127 family  farmers ‐ 100% of all farm properties with 4 fiscal modules or less (and 103% of SMA/CATI's informal target of 330,000 family farms)  representing just under 6.0 million ha ‐ were registered in the Cadastro Ambiental Rural (CAR, or Rural Environmental Registry) as a direct  result of the project's efforts. This includes 100% of project beneficiary producers. The State, through investments in system design,  installation and software, and a well‐designed and executed campaign of reaching out to small farmers state‐wide and ensuring that they  could complete the extensive questionnaire, now has a customized database detailing the physical, environmental and land‐use features of  all family farm properties state‐wide and can move on to Stage II environmental regularization activities. This was a major project  contribution to enabling Sao Paulo's farmers to comply with the new Brazilian Forest Code (Lei Florestal, 12.651/2012) which imposes strict  30 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   new requirements on all farmers to bring their properties into line through a multi‐stage process of ensuring environmentally sustainable  land use practices on all agricultural properties. Also, following passage of the law, registration in the CAR became a criterion for project  participation, and a condition of eligibility for many government programs including credit. (ii) PES: Three Payments for Environmental  Services (PES) pilot projects were developed and executed, of which two were fully adopted by producers within the life of the project. SMA  contemplated a fourth pilot (not part of the project target) but was unable to clear legal and financial hurdles in time for project execution  and it was subsequently incorporated in an IDB operation. The first Bank‐supported pilot (Mina d'Agua) was a pioneering effort which  experienced many problems and was not successful but it provided important lessons to its successors, fulfilling its role as a pilot. The CAP‐ RPPN and CAP‐Mata Ciliares were successful and influential. Further, beneficiary farmers have sustained the on‐farm practices inculcated by  the PES and are considered to have "adopted" PES. These pilots have in turn, spawned two new PES projects in Sao Paulo: Mata Atlantica  Connection Project (GEF US$6.0 million) and the PES‐ASMF financed through the State Pollution Control Fund (FECOP). Government also  authorized the financing of PES payments to producers from a portion of water use tariffs, ensuring sustainability. See Main Text Section II  and Annex 7.        A.2 Intermediate Results Indicators        Component: Component 1:    Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of business  Number  0.00  300.00  267.00  287.00  initiatives with market  viability identified and    25‐May‐2010  30‐Sep‐2015  29‐Sep‐2017  28‐Sep‐2018  financed by the project    Comments (achievements against targets): Exceeded: 107.5% This total does not include the 87 subprojects (originally termed "business  initiatives" but later changed to "subprojects" as more appropriate to the type of activity and processes involved) of Traditional Communities,  also financed under Component 1.  31 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of producer  Percentage  0.00  90.00  831.00  676.00  organizations trained in  management and accounting    25‐May‐2010  30‐Sep‐2015  29‐Sep‐2017  28‐Sep‐2018    Comments (achievements against targets): Substantial achievement: 81.3% The original indicator (PAD) called for "percentage" of POs trained,  but the indicator was adjusted to "number" by the 2015 Level 1 restructuring. The Unit of Measure designation is incorrect, but the Portals  lifts this automatically from the ISR which cannot be changed. Also, the target cannot be referring to the number of producer organizations as  this number greatly exceeds the number of organizations which participated in the project. It refers to "participations", as one organization is  likely to have participated in several training sessions/events. According to the BCR (PLAN 2018), participants did not need to register using  their identity card so the rate of repetition cannot be determined.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of families directly  Number  0.00  7108.00    16622.00  benefiting from the project  (Subcomponent 1.1)    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Exceeded: 234% This indicator (Core) was introduced by the 2015 Level 1 restructuring. It represents  the beneficiaries of Component 1.1 only (Business Initiatives and Community Subprojects). Total direct beneficiaries of all investments under  Component 1 were: 13,505 (Business Initiatives) and 3,117 (Community Subprojects). (The lower number cited in the June 2018 ISR ‐ 3  months before closing ‐ was updated based on CATI's field investigation and verification of who was actually a direct beneficiary). The PAD  estimated total direct beneficiaries under Component 1 as 22,000 in 300 organizations, an average of 73 members per organization. The Bank  misinterpreted data showing that organizations with Business Plans were much smaller at around 15‐20 members and reduced the target to  7,108 under the Level 1 restructuring in 2015. The smaller size in fact, derived from project eligibility rules. The 15‐member minimum per  32 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   organization sought to ensure an investment's operational viability, including sufficient raw materials. It was also driven by CATI's lack of  budget and time to prepare the required Individual Property Plans (PIP) for the wider cohort of an organizations members, which averaged  closer to 60. CATI technicians opted not to include all direct beneficiaries, and prepared PIPs for the core minimum named on the proposal.  Post‐closing, CATI's regional offices and casas de agricultura surveyed beneficiary organizations and updated the numbers of direct  beneficiaries. With the investments operational, it was found that members not named on the original proposal were active users of the  financed infrastructure prompting CATI to re‐estimate the numbers of direct beneficiaries, which turned out to be more than double the  reduced target set by the 2015 restructuring.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of subprojects of  Number  0.00  300.00  49.00  87.00  traditional communities with  market viability identified    25‐May‐2010  30‐Sep‐2015  30‐Sep‐2017  28‐Sep‐2018  and financed by the project    Comments (achievements against targets): Exceeded: 178% This indicator was adjusted by the 2015 restructuring to: (i) specify that "Traditional  Communities" were the beneficiaries; and (ii) the term "Business Initiatives" was changed to "subprojects" as more appropriate to the type of  beneficiary and the social nature of the investments. It should be noted that the original PAD target for total number of organizations  participating under Component 1 was 300 and included Business Initiatives and Traditional Communities (indigenous and quilombola), i.e.  300 was not the target for the Traditional Communities alone (as shown above).      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of producer  Number  0.00  609.00    833.00  organizations trained on the  operation of their business    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018  initiative  33 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)     Comments (achievements against targets): Exceeded: 136.8% This was a new indicator added by the 2015 restructuring. As noted above, the  target of 609 cannot refer to the number of organizations as it far exceeds the total participating in the project. It refers to number of  "participations", indicating that a single organization is likely to have received or participated in several training events/sessions.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of beneficiaries of  Number  0.00  4265.00    13505.00  business initiatives registered  in the CAR    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Exceeded: 317% This was a new indicator added by the 2015 restructuring. See explanation above in  Comments Section for Indicator "Number of families directly benefiting from the project". CATI and SMA have reported that 100% of project  beneficiary producers were registered in the CAR and thus the number agreed as the final is measured against the target of 4,265.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of ethno‐ Number  0.00  49.00    46.00  development plans  elaborated    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Substantial achievement: 94% This was a new indicator added by the 2015 restructuring.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  34 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Number of rural producers  Number  0.00  800.00    1690.00  trained (environment)    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Exceeded: 211.3% This indicator was added by the 2015 restructuring.        Component: Component 2:    Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  CATI staff trained in  Number  0.00  500.00    599.00  management and value‐ chains    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Exceeded: 120% This indicator was added by the Level 1 restructuring of 2015.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  System for payment for  Yes/No  N  Y    Y  water or carbon services  piloted    25‐May‐2010  30‐Sep‐2015    28‐Sep‐2018    Comments (achievements against targets): Achieved: 100% This indicator appears as worded in the PAD Results Framework with a yes/no  target, and as monitored by ISRs. However, it was adjusted by the 2015 Level1 Restructuring as a PDO Indicator measuring "System for  Payment for Environmental Services (PES) developed and adopted" as an equivalent (clarified) version, but was not reported as such. The  35 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   project financed three pilots (see PDO Indicator #2) of which two were very successful and are being replicated in Sao Paulo state.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Length of rural roads with  Kilometers  0.00  500.00  660.00  672.00  year‐round usability  following rehabilitation    25‐May‐2010  30‐Sep‐2015  30‐Sep‐2017  28‐Sep‐2018  (critical spot improvement)    Comments (achievements against targets): Exceeded: 102% The above wording is an adjusted version (2015 restructuring) from the PAD  original: "Length of rural roads (critical sections) with year‐round usability following rehabilitation and maintenance". The restructuring  clarified the meaning of "rehabilitation" as "critical spot improvement". Also, the 2015 Level 1 restructuring adjusted the original PAD target  to 660 km. The ISR incorrectly shows a target of 720 km with a lower achievement.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of value‐chain  Number  0.00  4.00    4.00  studies carried out    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Achieved: 100% This was a new indicator added by the 2015 restructuring. The four studies  completed covered fruit, grains, dairy and oils. See Annex 6.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Rural roads with year‐round  Kilometers  0.00  500.00  950.00  605.00  36 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   usability following    25‐May‐2010  30‐Sep‐2015  30‐Sep‐2017  28‐Sep‐2018  maintenance    Comments (achievements against targets): Under‐achieved: 64% This indicator was adjusted by the 2015 restructuring to specify/clarify  "maintenance" as a separate activity from "rehabilitation". Note that the original target of 500 km covered both maintenance and  rehabilitation. The revised 2015 target was 950 km for year‐round usability stemming from improved maintenance alone. Maintenance of  tertiary rural roads is a municipal responsibility and faced many difficulties, discussed in the text but including: lack of Municipal counterpart  funding capacity, technical expertise and appropriate well‐maintained road equipment and machinery. Some municipalities were also averse  to using Bank procurement rules and being perceived to have flouted Brazilian Procurement Law 8666. The revised target was over‐ ambitious.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Municipalities adopting new  Number  0.00  25.00    6.00  system for rural roads  management    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Under‐achieved: 24% This indicator was added by the 2015 restructuring. The contracting of just the  TORs for the planned road maintenance management systems took several years, as did preparation of the systems themselves.  Implementation was slow and of limited scope. See Main Text.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of environmental  Amount(USD)  0.00  24.00    25.00  subprojects implemented    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    37 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Comments (achievements against targets): Exceeded: 104% This indicator was added by the 2015 restructuring.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of beneficiaries of  Number  0.00  682.00    697.00  environmental subprojects    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Exceeded: 102% This indicator was added by the 2015 restructuring.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of technical staff  Number  0.00  1100.00    1135.00  trained (environment)    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Exceeded: 103.2% This indicator was added by the 2015 restructuring.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of beneficiaries of  Number  0.00  1300.00    821.00  environmental subprojects  and PES programs registered    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018  in CAR    Comments (achievements against targets): Achieved: 112.3% This indicator was added by the 2015 restructuring and set a target of 1300. SMA  38 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   always maintained that this target of 1300 was impossible to achieve and an error. The actual target agreed between the Bank and SMA was  731 because the number of beneficiaries was known at the time of restructuring but did not end up being reflected in the final, revised  version of the RF. The ICR therefore uses SMA's target of 761 to estimate the final result.        Component: Component 3:    Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  System for developing,  Yes/No  N  Y    Y  selecting, supporting and  monitoring business    25‐May‐2010  30‐Sep‐2015    28‐Sep‐2018  proposals, operational    Comments (achievements against targets): Achieved: 100% CATI established an organized, well‐defined system operating with criteria and  standards for ensuring the quality of Business Proposals throughout their cycle.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Continued implementation  Yes/No  N  Y    Y  of socio‐environmental  management plan    25‐May‐2010  30‐Sep‐2015    28‐Sep‐2018    Comments (achievements against targets): Achieved: 100% The Socio‐Environmental Management Plans were continuously implemented by  CATI and SMA throughout, with close Bank oversight.      39 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Surveys realized for baseline,  Number  0.00  3.00    2.00  second survey (mid‐term)  and third survey (final)    25‐May‐2010  30‐Sep‐2017    28‐Sep‐2018    Comments (achievements against targets): Under‐achieved: 67% This indicator was added by the 2015 restructuring. The mid‐term survey was  not done (although a comprehensive MTR report was prepared), but as this would have been known to the Bank restructuring team in 2015  (the MTR was conducted in 2013) it is unclear why the target of 3 was retained. The real target should have been 2 by 2015.                 B. KEY OUTPUTS BY COMPONENT    Objective/Outcome 1: “Support the Borrower in improving access to markets for rural producers’ organizations in its territory”   Outcome Indicators  1. Increase in total sales value for participating organizations, by end‐of‐project: Target 8%/Result 87%  Component 1: Supporting Small Farmers’ Business Initiatives29    1. Number of business initiatives with market viability identified and financed by the project: Target  Intermediate Results Indicators     267/Result 287 (107%)  2. Number of families benefiting directly from the project (Core, Subcomponent 1.1): Target 7108/Result  13,505 (123.7%)30  29 Intermediate Results Indicators dropped or changed by 2015 Level 1 Restructuring: (a) Increase in productivity (%) for selected commodities for participating organizations:  milk productivity; (b) Number of innovations with demonstrated market viability and replicability; (c) Online agri‐business information center operational; (d) Length of rural  roads (critical sections) with year‐round usability following rehabilitation and maintenance (km) was split into two indicators (see Comp 2 Indicators 4 and 5); (e) Percentage of  rural extension staff trained in competitiveness areas; (f)  30 This represents direct beneficiaries of 287 Business Initiatives only. Beneficiaries of Component 1 Community Subprojects were an additional 3,117 with 87 investments.  40 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) 3. Number of subprojects of traditional communities with market viability identified and financed by the  project: 31 Target 49/Result 87 (178%)  4. Number of ethno‐development plans elaborated: Target 49/Result 45 (92%)  5. Number of producer organizations trained in management and accounting32:  Target 831/Result 676  (81.3%)   6. Number of producer organizations trained in the operation of their Business Initiative:33 Target  609/Result 833 (136.7%)    1. Number of calls (chamadas) for proposals: Target 7/Result 6 (86%)34  2. Number of expressions of interest (EI):  No target/Result 639   3. Number of proposals for Business Initiatives presented: Target 600/Result 415 (69%)35  4. Number of proposals approved for financing: Target 300 (PAD)/Result 415 (138%)   5. Number of quilombolas and Indigenous People trained by the project: No target/Result 1,230  Key Outputs by Component  quilombolas/644 Indigenous  (linked to the achievement of  6. Agreement signed with FUNAI: Target Yes/Result Yes (100%)  the Objective/Outcome 1)  7. Number of Colegiadas of indigenous peoples and quilombolas formed and functioning: Target 2/Result 2  (100%)  8. Number of producers trained by the project in organizational and productive themes: No target/Result  54,09536  9.  Number and percentage of producer organizations who obtained FEAP loans: No target/Number 119   31 This was a new indicator added by the 2015 Level 1 Restructuring.  32 Indicator revised by 2015 Level 1 Restructuring from: Percentage of participating organizations with effective management and accounting”.  33 The PAD targeted around 300 organizations, and the result is more than double. There was an assumption at appraisal that most producer organizations would participate in  more than one training. The target and end‐result measure number of participations, not participants. The same is true for Indicator #6.  Repetition factor was not estimated.   34 A seventh call for proposals was not necessary as CATI had already received sufficient proposals to absorb financing and meet/exceed targeted investments.  35 A high discard rate was assumed at appraisal and the target was set at a level to ensure adequate viable proposals.  36 Data (Progress Report 2017) implies repetition but extent of repetition not known.  41 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Objective/Outcome 2: “Improving instruments and policies that contribute to environmental sustainability of family agriculture”  1. Number of environmental instruments and policies developed and implemented:37 Target 5/Result 4  (75%)    (i) Cadastro Ambiental Rural (CAR) improved and made available to rural producers: Target 1/Result 1   Outcome Indicators  (100%)  (ii) PES programs developed and adopted by rural producers:    Target 4/Result 3 (75%)  Component 2: Strengthening Institutional and Physical Infrastructure  1. Number of beneficiaries of the Business Initiatives registered in the CAR: Target 4,265/Result 13,505  (317%)  2. CATI staff trained in management and value chains: Target 500/Result 599 (119.8%)     3. Number of value chain studies carried out: Target 4/Result 4 (100%)     4. Rural roads with year‐round usability following rehabilitation (km): Target 660/Result 672 (102%)    5.  Rural roads with year‐round usability following adequate maintenance (km): Target 950/Result 605  (63.7%)  6. Municipalities adopting new system for rural roads management:  Target 25/Result 6 (24%)  Intermediate Results Indicators     7. Number of environmental subprojects implemented:38 Target 24/Result 25 (104.2%)  8. Number of beneficiaries of environmental subprojects: Target 682/Result 697 (102.2%)  9. Number of rural producers trained (environmental): Target 800/Result 1,078 (134.7%)  10. Number of technical staff trained (environmental): Target 1,110/Result 1,611 (145%)  11. Number of beneficiaries of environmental subprojects and PES programs registered in the CAR: Target  821/Result 821 (100%)  12. System for payment for environmental services piloted: Target ‐ Yes/Result ‐ Yes (100%)  12. Continued implementation of socio‐environmental management plan: Target – Yes/Result – Yes  (100%)     37 This indicator was substituted for the PAD original “Increase in agricultural area where improved land and water management practices are being implemented by end‐ project”, which was no longer considered adequate following clarification of the PDO (see Section I main text). The target was 4 PES pilots of which 3 were implemented with  project financing and a fourth under an IDB project. The legal and financial elements could not be secured in time for its execution by the project.  38 New indicator added by the 2015 Level 1 Restructuring.  42 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) 1.  No. events to disseminate environmental subprojects: No target/Result 468 in 15 Municipalities  2.  # Beneficiaries of agro‐forestry systems (SAF): No target/Result 607  3.  # Hectares planted under Agro‐Forestry Systems (SAF): No target/Result 600 ha  4.  # Producers and technicians trained in SAF: No target/Result 1,681 producers, 1241 technicians  5.  Dairy value chain market study conducted: Target Yes/Result Yes  6.  Study of Traditional Communities’ potential to access markets: Target Yes/Result Yes  7.  Municipal Rural Development Councils trained: Target 1500/Result 1312 (88%)  8.  Annual Consultative Forum meets: Target 5/Result 7 (140%)  9.  Municipal and Regional diagnoses prepared/updated by the Municipal Councils: Target 340/Result 374  Key Outputs by Component  (110%)  (linked to the achievement of  10.  Number of Municipalities with their road network surveyed: Target 120/Result 142 (118%)  the Objective/Outcome 2)39  11.  Number of contracts between partner Mayors’ offices and FECOP for PES: Target 42/Result 42 (100%)  12.  Number of rural production diagnostics for the Environmental Subprojects: Target 11/Result 11  (100%)  13.  Number of works to strengthen infrastructure of SMA and partner entities: Target 7/Result 7 (100%)  14.  Information campaigns conducted state‐wide on CAR registration process: Target NA/Result 32  15.  Computerized information system developed for SP CAR registration: Target Yes/Result Yes (100%)  16.  Number of SP family farmers registered in CAR due to the project: Target 330,000/Result 339,127  (103%)  17.  Preparation of an agricultural census (updating of LUPA): Target Yes/Result Yes (100%)         39 Source is primarily the 2017 Progress Report, March 2018.  43 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION      A. TASK TEAM MEMBERS    Name  Role  Preparation     Laurent Debroux                                                                                  Natural Resources Specialist  Dalcio Baesso                                                                                       Road Engineer  Marie‐Helene Collion                                                                         Agriculturalist  Nicholas Drossos                                                                                 Financial Management Specialist  John Lamb                                                                                            Agribusiness Specialist  Eric Lancelot                                                                                        Transport Engineer  Judith Lisansky                                                                                    Anthropologist  Katia Medeiros                                                                                   Environmental Specialist  Isabella Micali‐Drossos                                                                     Legal Counsel  Jorge Munoz                                                                                       Land Administration Specialist  Estela Neves                                                                                       Environmental Specialist  Stefano Pagiola                                                                                  Environmental Economist  Alvaro Soler                                                                                        Rural Development Specialist  Zhong Tong                                                                                        Agricultural Economist  Guillermo Wood                                                                               Agricultural Economist  Luciano Wuerzius                                                                             Procurement Specialist    Supervision/ICR  Marianne Grosclaude  Task Team Leader TTL  Maurizio Guadagni  Task Team Leader TTL  Luciano Wuerzius  Procurement Specialist  Susana Amaral  Financial Management Specialist  Alberto Coelho Gomes Costa  Social Safeguards Specialist  Michele Martins  Team Member  44 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Mario I. Mendez  Team Member  Sofia Keller Neiva  Team Member  Anna Roumani  Consultant/ICR Main Contributor  Dino Francescutti  Agricultural Economist (FAO)  Marilin Rehnfeldt  Social Safeguards Specialist  Katia Medeiros du Bois  Environmental Safeguards Specialist  Fernando de Melo e Silva  Consultant/Roads Specialist  Astrid Zweger  Evaluation Specialist/DIME  Isabela Furtado  Evaluation Specialist/DIME  Caio Piza  Evaluation Specialist/DIME  Isabel Braga  Project Management Specialist  Nestor Bragagnolo  Consultant/Agribusiness Specialist  Maria Presmanes  Agricultural Economist (FAO)  Stefano Pagiola  Environmental Economist           B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY08  .925  17,515.00  FY09  50.681  219,992.36  FY10  10.005  76,048.33  FY11  0  ‐ 832.84  Total  61.61  312,722.85    Supervision/ICR  FY10  2.300  9,996.72  FY11  17.309  107,725.72  45 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) FY12  20.321  109,889.99  FY13  13.235  97,739.22  FY14  19.612  139,154.02  FY15  21.126  137,347.26  FY16  18.660  153,809.32  FY17  16.559  157,699.06  FY18  12.214  224,555.66  FY19  4.300  115,155.86  Total  145.64  1,253,072.83                 46 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) ANNEX 3. PROJECT COST BY COMPONENT      Amount at Approval   Actual at Project  Percentage of Approval  Components  (US$M)  Closing (US$M)  (US$M)  1. Supporting Small Farmers'  58.80  47.99  81.62  Business Initiatives  1.1 Implementing Small  45.00  43.99  97.75  Business Investments  1.2 Strengthening Producers’  13.80  4.01  29.05  Organizations  2. Strengthening  Institutional and Physical  61.40  58.81  95.78  Infrastructure  2.1 Policy Framework and  15.90  19.81  124.60  Rural Extension (CATI)  2.2 Rural Infrastructure  21.01  14.68  69.87  2.3 Environmental  24.50  24.32  99.27  Sustainability (SMA)  3. Project Management  9.60  4.83  50.31  Front‐End Fee  0.20  ‐‐  100.00  Total     130.00  111.6340  85.87      Project Financing:  Actual including Beneficiary Contribution   Sources of Funds  Amount at  Actual at Closing  %  Approval (US$ M)  (US$ M)  IBRD  78.00  78.00  100.00  Borrower  52.00  34.73  66.78  Beneficiaries  (22.18)41  (18.86)  85.03  Total:  130.0042  112.73  86.72    40 Does not include beneficiary contribution of US$18.86 M and reflects CATI’s data showing the Bank’s contribution to total  project cost as US$76.90 M due to the annual exchange rate used (a variation of US$1.10 M), even though the Loan was fully‐ disbursed. The financing table uses the fully‐disbursed Loan amount and a total US$1.10 M higher.  41 The PAD did not estimate the beneficiary contribution at appraisal but CATI had informally estimated it as US$22.18 M.   42 Total project cost as per PAD.  47 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) ANNEX 4. EFFICIENCY ANALYSIS    1.   Background:  During appraisal, a financial and economic (efficiency) analysis was conducted based  on  six  farm  models  involving  three  major  production  systems:  coffee,  citrus  and  dairy.  For  this  final  evaluation,  surveys  were  conducted  with  DIME  support  for  315  organizations  and  3,110  individual  producers. From the 315 surveyed organizations, 176 of them constituted the Treatment Group (TG)43,  since they participated in the program and received incentives for investments – overall, there were 296  organizations  which  received  investment  support  through  Business  Initiatives  or  Business  Plans  (BPs),  Community Subprojects (CSs) and Environmental Subprojects. The remaining 139 organizations did not  receive program incentives but formed the control group, since they have similar characteristics to the  treatment  group  organizations.  From  the  3,110  surveyed  individual  producers,  1,781  constituted  the  treatment  group  and  1,329  were  part  of  the  control  group.  Surveyed  producers  are  all  members  of  surveyed organizations. Value chains involved included among others: honey, aquaculture, poultry, dairy  cattle,  coffee,  sugar  cane,  forestry,  fruits,  grains,  vegetables,  sheep,  goats,  buffalo,  swine  and  rural  tourism. Results and statistical methodology used in the final evaluation are described in the DIME report.    2.  Beside  the  analysis  based  on  survey  data  supported  by  DIME,  a  participatory  assessment  of  economic results was performed on a representative subgroup of 17 participating organizations with 371  family farmers. Extension officers and participating organizations, carefully estimated income and costs  for with‐ and without‐project situations – as opposed to comparing treatment and control groups with  DIME supported surveys. This methodology reflects the one applied at appraisal but is based on real BPs  instead of farm models. Relevant value chains included: rice, coffee, fruits, citrus fruits, vegetables and  dairy.  Complementarily,  a  preliminary  results  assessment  was  conducted  with  18  Environmental  Subprojects (out of 25 in total), comparing with and without project costs and benefits, and projecting  into the future, the results observed.    3.  In broad terms, investments included a wide variety of infrastructure works and equipment for  production  post‐harvest  and  processing,  including:  laboratory  and  cooling  equipment,  forage  cutters,  harvesting machines, greenhouses, tractors and cargo vehicles. Outcomes generated by BPs were mainly  greater income due to value addition. Inputs and labor costs were often reduced due to improved and  labor‐saving technologies. Sales were channeled through existing clients (50%) and new market clients  (50%). Production transportation means were changed according to BP improvements (60%).     4.  Methodology:    At  appraisal,  analytical  parameters  essentially  included  a  12  percent  annual  discount rate and a 20‐year evaluation period. Ex‐ante with and without project situations were analyzed  and compared. Salaries of CATI and SMA were not included in the appraisal analysis and are therefore not  considered in the analyses below. The cost‐benefit analysis performed for this ICR uses the information  gathered through the above‐mentioned DIME‐supported final evaluation and participatory assessment,  applying similar analytical parameters. The exchange rate used was 3.2 BRL/USD, which is the average  between 2014 and 2018 (period of greater disbursements) with significant inter‐annual changes. For the  financial analysis, voluntary labor was not included since it does not represent a cash expenditure. For the  economic analysis, family labor was included applying a conversion factor. The economic price of labor  was estimated at 91% of the financial or market price, since the annual unemployment rate from 2014‐ 43 The DIME‐supported Impact Evaluation considered only 144 Organizations in the Treatment Group since 30 of them did not  have comparable base‐line data.  48 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) 2018 was around 9%. Economic total project costs were estimated by deducting the average 18% ICMS  (value added tax) from financial total project costs. Fiscal impact was not assessed since most producers  and  production  activities  would  be  exempt  from  the  ICMS  under  current  state  legislation.  Benefit  estimates from carbon sequestration were not assessed due to limited data availability. However, there  was a clear focus on environmental sustainability, which indicates that a carbon balance would be positive  overall.     5.  Summary  results  are  presented  in  Tables  2‐5  of  Appendix  4.1  below.  Tables  2‐4  present  the  estimated returns of surveyed organizations: Table 2 specifically presents returns at aggregate level (of  surveyed  organizations);  Table  3  presents  average  returns  by  organization;  and,  to  complement  the  analysis, Table 4 presents  average returns by producer family involved. Finally, Tables 5‐6 present the  estimated returns from the organizations involved in the participatory assessment.    Implementation Efficiency    6.  Implementation  efficiency  is  assessed  as  substantial  balancing  out  the  following:  the  PDO  indicators were met or surpassed; most Intermediate Outcome level indicators were met or surpassed;  most  subcomponents  were  executed  with  less  budget  than  originally  planned,  although  there  were  exceptions, most notably Policy Framework and Rural Extension, which was 125% of its appraisal estimate  (see Annex 3). IBRD loan resources were fully‐executed, with some budget line reallocations. Government  counterpart resources disbursed were 67% of the initial commitment.  In terms of total investment cost  per  Business  Initiative,  Community  and  Environmental  Subprojects,  compared  with  other  WB  funded  projects presented in Table 1 below, the Project costs per organization were 22% lower than those of  Santa Catarina project. In terms of investment costs per Environmental Subprojects, the Project costs per  family were 28% lower than those of Rio de Janeiro project, reflecting a less costly mix of investment in  São  Paulo  (essentially  SAF  establishment)  with  respect  to  investments  in  Rio  de  Janeiro  (conservation  agriculture  equipment  and  practices  among  other  things).44  Project  implementation  took  three  years  longer than initially planned. This longer execution period enabled the project to demonstrate high levels  of achievement on its PDO Indicators.      Table 1. Unit Costs of WB Projects in São Paulo (SP), Santa Catarina (SC) and Rio de Janeiro (RJ)  Item    Per Organization    Per Family Involved      SP  SC  SP  SC  RJ   Business/Community Initiatives     168,048     190,097     3,781     2,510   ‐   Environmental Subprojects     177,512   ‐    6,367   ‐    7,729     Economic Analysis    7.  As shown in Tables 3‐5, based on impact assessment data from the 315 organizations, there is an  average of 88 families per Treatment Group organization and 91 families per Control Group organization.  There is an average of USD 230,500 (BRL 737,500) of annual sales (or gross revenues) per treatment group  44  Projects  referred  to  are:  Santa  Catarina:  Rural  Competitiveness  Project  (P118540)  and  Rio  de  Janeiro:  Sustainable  Rural  Development Project (P101508).    49 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) organization, or USD 2,600 (BRL 8,200) per family. There is an average of USD 78,500 (BRL 251,000) of  annual sales per organization of the Control Group, or USD 800 (BRL 2,700) per family. The difference in  annual sales is USD 152,000 (BRL 486,500) per organization or USD 1,800 (BRL 5,500) per family. Similarly,  the average annual net income of the Treatment Group was USD 140,200 (BRL 448,600) per organization  or USD1,600 *BRL 5,200) per family.  For the Control Group, average annual net income was USD 41,400  (BRL 132,500) per organization or USD 440 (BRL 1,400) per family.  The average difference in annual net  income is USD98,800 (BRL 316,200) per organization or USD 1,160 (BRL 3,700) per family. Considering an  average investment cost (in economic prices) per organization supported by the program of USD 196,600  (BRL  629,000)  and  a  period  of  5  years  for  these  investments  to  generate  the  observed  incremental  benefits, the Economic Internal Rate of Return for such investments would be 32%.    8.  Based on impact assessment data from the 3,110 individual producers, after filtering producers  with  extremely  high  results,  there  is  an  average  net  annual  revenue  of  USD  12,800  (BRL  41,100)  per  Treatment Group family and USD 5,200 (BRL 16,600) per Control Group family. The difference between  treatment and control groups is USD 7,700 (BRL 24,500) per family. However, family labour was not fully  estimated. These benefits are likely to capture the benefits already estimated at organization level. Thus,  results can be compared but not aggregated. The difference between per‐family incremental net annual  revenues – USD 1,800 (BRL 5,500) based on organizations’ impact assessment and USD 7,700 (BRL 24,500)  based on producers’ impact assessment – is likely to be (in part) the family labour under‐estimated in the  latter.    9.  As shown in Tables 6, considering the 17 organizations involved in the participatory assessment,  there is an average per BP of: 22 participating family farmers; net annual revenues of USD 184,500 (BRL  590,500)  without  project  and  USD  266,500  (BRL  852,700)  with  project,  with  an  annual  difference  or  increment of USD 82,000 (BRL 262,200). Average per family figures are: net annual revenues of USD 8,500  (BRL 27,000) without project, USD 12,200 (BRL 39,000) with project and thus an increment of USD 3,800  (BRL 12,000).  Considering an average investment (in economic prices) of USD 110,200 (BRL 352,600) per  BP  or  USD  5,000  (BRL  16,200)  per  family,  the  Return  Rate  would be  46%  –  higher  than  the  estimated  results based on DIME supported survey data for organizations.     10.  With  respect  to  Environmental  Subprojects  essentially  aimed  at  establishing  Agro‐forestry  Systems  (SAF),  the  preliminary  results  assessment  of  18  Subprojects,  involving  287  families,  shows  an  annual net income increase which is marginally positive – around USD 300 (BRL 860) per organization or  USD 20 (BRL 55) per family. The Internal Rate of Return is still negative, but the AFS are still in their early  stages of development and thus significant changes should occur in years to come.    11.  With respect to Rural Roads, a preliminary economic assessment was conducted in 2015, for a  few of the road segments improved. Road improvements of 6.2 km benefiting 94 family farms generated  an NPV of BRL 34,000 and an IRR of 14%. However, these results cannot be simply extrapolated as the  project implemented 672 km of spot improvements of rural roads among other maintenance works.     12.  Expressed in economic prices (without value‐added tax), the project channeled USD 95.5 million  in  total,  of  which  USD  66.1  million  were  IBRD  loan  resources  and  USD  29.4  million  were  government  counterpart  resources.  Participating  families  and  their  organizations  added  USD  16.0  million  of  counterpart matching contributions.  Therefore, overall total costs are USD 111.5 million. From these total  50 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) costs, around USD 56.7 million (52% of total costs) are investments in Business Initiatives and Community  Subprojects.  Project  management  and  information  monitoring  (USD  4.1  million)  are  closely  associated  with  direct  investments.  Meanwhile,  the  remaining  USD  49.8  million  are  indirectly  related  to  such  investments  including  Subcomponents:  (1.1)  strengthening  of  producers’  organizations;  (2.1)  public  policies, market monitoring and rural extension; (2.2) strengthening of municipal infrastructure; and (2.3)  environmental sustainability. While these complementary investments generate long‐lasting benefits, the  available information does not allow for extrapolation of quantitative assessments of costs and benefits.     13.  Project Economic Rate of Return:  To estimate the overall project EIRR, the average economic  results  per  organization,  based  on  DIME‐supported  organizations’  survey  data,  were  extrapolated  covering  271  organizations  directly‐supported  by  the  project  with  Business  Initiatives  and  Community  Subprojects.  Considering  total  associated  project  costs  (beneficiary  contributions  and  project  management and information monitoring), the overall economic NPV is USD 111.9 million and IRR of 29%.  Such returns are similar to the economic NPV and IRR estimated at appraisal. Overall economic returns  would  be  higher  when  benefits  from  rural  roads  and  carbon  balance  are  estimated  and  included.  Moreover, a sizable proportion of BPs and CSs are relatively recent and their benefits were not captured  in the final evaluation survey, since they still need to mature.    Financial Analysis    14.  In  line  with  results  shown  in  Tables  3‐5,  considering  the  average  investment  cost  (in  financial  prices) per organization supported by the project of USD 231,900 (BRL 742,200) and a period of 5 years  for these investments to generate the observed incremental benefits, the Financial Internal Rate of Return  for such investments would be 27%, similar to lower‐performing farm models analysed at appraisal.    15.  As shown in Table 6, for the 17 organizations involved in the participatory assessment comparing  with and without Project situations, the Financial IRR would be 41% – higher than the above‐mentioned  estimated rate based on DIME supported survey data.    16.  Expressed in financial prices (with value‐added tax), the Project channeled USD 112.7 million in  total, of which USD 78.00 million were IBRD loan resources and USD 34.7 million were GoSP counterpart  resources (not including salaries). Participating families and their organizations added USD 18.8 million of  counterpart matching contributions. Therefore, overall total costs are USD 131.6 million. From these total  costs, around USD 62.8 million (52% of total costs) are investments in Business Initiatives and Community  Subprojects.  Project  management  and  information  monitoring  (USD  4.8  million)  are  closely  associated  with direct investments, while the remaining USD 58.8 million are indirectly related to such investments.    17.  Project  Financial  Rate  of  Return:    To  estimate  the  overall  project  FIRR,  the  average  financial  results  per  organization,  based  on  the  DIME  supported  organizations’  survey  data,  were  extrapolated  considering 271 organizations directly supported with Business Initiatives and Community Subprojects.  Considering total associated project costs including beneficiary contributions and project management  and  information  monitoring,  the  overall  financial  NPV  is  USD  94.1  million  and  IRR  of  24%.  Such  an  aggregate financial indicator was not estimated at appraisal, thus there is not an ex‐ante reference value.    51 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Sensitivity Analysis    18.  To assess the sensitivity of project economic and financial returns, Switching Values (percentage  factor that reduces the overall economic IRR to 12%) were estimated for gross annual income or revenues,  annual input costs and annual labor costs. As shown in Table 2, Project returns are somewhat sensitive to  production and/or price reductions, since a 27% reduction in gross income would reduce economic IRR to  12%. Such price sensitivity is partly due to the medium to small scale of most BPs supported. On the one  hand, changes on sales income can reduce net income or profits substantially since operation costs cannot  adjust  in  the  same  proportion.  On  the  other  hand,  most  organizations  participate  in  their  product  or  service markets as price takers, since their scale is insufficient to influence prices. In contrast, the project  is  quite  resilient  to  changes  in  input  costs,  labor  costs  and  investment  costs  of  the  specific  Business  Initiatives  or  Community  Subprojects,  since  they  would  need  to  increase  by  130%,  155%  and  170%  respectively, to generate a marginally acceptable return.     Table 2. Sensitivity Analysis of Project Financial and Economic Returns   Economic  Financial   Scenario  Overall Project IRR (%)  Overall Project IRR (%)  Base‐case scenario  29  26  73% of income or revenues with Project  12  10  130% of input costs with Project  12  11  155% of labor cost with Project  12  9  170% of BP investment costs  12  10                          52 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)     Table 3. Assessment of Financial Results based on Data from Organizations' Survey ‐ Data at Aggregate Level (USD)  Groupings Families involved Gross Revenues Input Costs Labor Costs Net Income Treatment Control Treatment Control Treatment Control Treatment Control Treatment Control Organization Type Cooperatives 7,458 8,097 25,074,780 7,297,156 6,642,679 2,598,144 4,945,511 1,349,860 13,486,591 3,349,152 Assotiations 7,721 4,527 14,049,234 3,217,323 1,153,559 777,059 2,447,724 248,037 10,447,951 2,192,227 Value Chain Segment Production 8,042 9,657 17,864,053 7,450,312 2,836,383 1,145,094 2,816,944 580,285 12,210,726 5,724,933 Processing 7,188 2,967 21,317,509 3,064,167 5,111,865 2,230,109 4,576,291 1,017,613 11,629,353 (183,555) Product Segmentation Vegetables 7,567 5,706 11,972,257 1,122,880 3,929,256 304,351 5,527,844 166,753 2,515,157 651,776 Fruits 6,198 5,225 14,732,853 1,092,638 2,925,181 263,611 3,258,358 162,414 8,549,314 666,613 Cattle 6,693 7,850 15,168,933 3,515,320 2,491,359 338,628 2,415,251 340,291 10,262,322 2,836,401 Aggregate 15,230 12,624 39,181,561 10,514,479 7,948,248 3,375,203 7,393,235 1,597,897 23,840,079 5,541,379                               53 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Table 4. Assessment of Financial Results based on Data from Organizations' Survey ‐ Data at Organization Level (USD)  Groupings Families involved Gross Revenues Input Costs Labor Costs Net Income Treatment Control Treatment Control Treatment Control Treatment Control Treatment Control Organization Type Cooperatives 136 386 491,662 429,244 130,249 152,832 96,971 79,404 264,443 197,009 Assotiations 65 39 119,061 27,498 9,776 6,642 20,743 2,120 88,542 18,737 Value Chain Segment Production 67 79 150,118 61,573 23,835 9,464 23,672 4,796 102,611 47,313 Processing 133 185 417,990 235,705 100,233 171,547 89,731 78,278 228,027 (14,120) Product Segmentation Vegetables 75 84 119,723 16,513 39,293 4,476 55,278 2,452 25,152 9,585 Fruits 68 92 165,538 19,169 32,867 4,625 36,611 2,849 96,060 11,695 Cattle 126 133 291,710 60,609 47,911 5,838 46,447 5,867 197,352 48,903 Average 88 91 230,480 78,466 46,754 25,188 43,490 11,925 140,236 41,354                                 54 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Table 5. Assessment of Financial Results based on Data from Organizations' Survey ‐ Data at Family Level (USD)  Groupings Families involved Gross Revenues Input Costs Labor Costs Net Income Treatment Control Treatment Control Treatment Control Treatment Control Treatment Control Organization Type Cooperatives - - 3,362 901 891 321 663 167 1,808 414 Assotiations - - 1,820 711 149 172 317 55 1,353 484 Value Chain Segment Production - - 2,221 771 353 119 350 60 1,518 593 Processing - - 2,966 1,033 711 752 637 343 1,618 (62) Product Segmentation Vegetables - - 1,582 197 519 53 731 29 332 114 Fruits - - 2,377 209 472 50 526 31 1,379 128 Cattle - - 2,266 448 372 43 361 43 1,533 361 Average - - 2,573 833 522 267 485 127 1,565 439                                 55 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Table 6. Results of Participatory Financial Assessment (BRL and USD) without other Project costs  Region (EDR) Business Participants Investments Land Value Annual net income (NI) W/t‐BP NPV  IRR With‐BP NPV  IRR Inc. NPV  IRR Families Persons Without BP With BP Increment Per Ha Total Without BP With BP Increment 12% % 12% % 12% %  Lins   Coffee              19              57                     ‐        1,045,000     1,045,000    20,000       3,800,000            66,683          629,704        563,021       (2,907,983)  2%           (333,197)  11%     2,574,786  36%  Guaratinguetá   Rice              13              39       3,640,000      4,718,571     1,078,571    20,000     11,700,000          151,749          354,362        202,613     (11,924,107)  1%      (11,246,140)  2%        677,967  20%  Mogi das Cruzes   Fruits              33              99       2,019,600      2,163,084        143,484    50,000     12,375,000      3,059,645       3,447,378        387,734       10,559,605  22%        12,759,772  24%     2,200,167  107%  Araçatuba   Milk cooling              31              93                     ‐            393,680        393,680    15,000       1,395,000            49,589          142,051           92,462          (879,982)  4%           (591,729)  8%        288,253  21%  Marília   Coffee              22              66          418,000          629,178        211,178    20,000       2,860,000            (1,462)          441,423        442,885       (2,828,109)  (0%)           (377,410)  11%     2,450,698  89%  Dracena   Urucum              18              54                     ‐            215,100        215,100    10,000       1,800,000          799,563          782,866        (16,697)          4,358,894  44%          4,110,184  40%      (248,710)  ND  Araçatuba   Horticulture              12              36                     ‐            211,980        211,980    15,000          360,000          114,927          165,056           50,129             535,762  32%              681,179  27%        145,417  21%  Araçatuba   Horticulture              18              54                     ‐              36,358           36,358    15,000          270,000            50,220            66,636           16,416             133,105  19%              204,037  21%          70,931  32%  Lins   Horticulture              20              60          666,000      1,068,272        402,272    20,000            40,000          109,340          223,037        113,697             420,861  22%              817,593  23%        396,731  24%  Araçatuba   Coffee              19             57                     ‐            734,369        734,369    15,000       1,197,000            65,620          184,958        119,338          (582,768)  5%           (392,756)  9%        190,012  15%  Assis   Banana              25             75          729,375      1,067,659        338,284    28,000       1,120,000          196,750          611,096        414,346             330,833  15%          2,610,916  27%     2,280,083  65%  Botucatú   Coffee              21             63                     ‐            223,891        223,891    28,000       2,293,200          619,871          876,955        257,084          2,574,619  27%          3,924,190  31%     1,349,572  58%  Ourinhos   Horticulture              42           126       4,683,000      5,106,500        423,500    30,000       8,820,000      4,528,177       5,325,477        797,300       23,038,043  35%        27,441,429  38%     4,403,386  86%  Itapetininga   Milk              24             72          931,200      1,422,579        491,379    25,000     15,840,000       (449,640)            66,040        515,680     (18,083,235)  (3%)      (15,413,000)  0%     2,670,235  56%  Barretos   Horticulture              21             63          234,670          418,850        184,180    30,000          630,000          634,895          816,628        181,734          4,125,976  78%          5,073,332  73%        947,355  54%  Jales   Milk transport              18             54                     ‐            207,083        207,083    13,000       3,510,000                       ‐            (1,264)          (1,264)       (3,146,130)  0%        (3,299,075)  (0%)      (152,946)  (3%)  Jales   Citrus fruits              15             45                     ‐            732,095        732,095    15,000       2,250,000            42,490          362,909        320,419       (1,699,373)  2%           (289,983)  11%     1,409,390  32% Aggregate          371      1,113  13,321,845 20,394,248   7,072,403     70,260,200   10,038,416  14,495,312 4,456,896           4,026,013  13%        25,679,341  16%  21,653,327  41% Mean per family (BRL)              3          35,908           54,971        19,063        189,381 27,058                    39,071        12,013             10,852 13% 69,217                16%         58,365 41% Mean per BP (BRL)            22            65        783,638    1,199,662      416,024    4,132,953       590,495        852,665      262,170 236,824            13%         1,510,549 16%   1,273,725 41% Mean per family (USD)          11,221 17,178                      5,957          59,181            8,456          12,210            3,754               3,391 13% 21,630                16%         18,239 41% Mean per BP (USD)        244,887       374,894      130,007    1,291,548       184,530        266,458        81,928             74,008 13%            472,047 16%       398,039 41% Economic Mean per family (USD) 9,510                        14,558 5,048                     59,181            8,456          12,210 3,754                          3,391 13%                22,539 16%         19,148 46% Economic Mean per BP (USD)        207,531       317,707      110,176    1,291,548       184,530        266,458        81,928             74,008 13%            491,878 16%       417,871 46%                           56 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Table 7. Results of Participatory Financial Assessment (BRL and USD) with other Project costs  Region (EDR) Business Participants Investments Land Value Annual net income (NI) W/t‐BP NPV  IRR With‐BP NPV  IRR Inc. NPV  IRR Families Persons Without BP With BP Increment Per Ha Total Without BP With BP Increment 12% % 12% % 12% %  Lins   Coffee              19              57                     ‐           1,129,963       1,129,963    20,000       3,800,000            66,683          629,704        563,021       (2,907,983)  2%           (391,277)  11%     2,516,706  34%  Guaratinguetá   Rice              13              39       3,640,000         4,803,534       1,163,534    20,000     11,700,000          151,749          354,362        202,613     (11,924,107)  1%      (11,322,295)  2%        601,812  19%  Mogi das Cruzes   Fruits              33              99       2,019,600         2,248,047          228,447    50,000     12,375,000      3,059,645       3,447,378        387,734       10,559,605  22%        12,675,040  24%     2,115,435  77%  Araçatuba   Milk cooling              31              93                     ‐              478,642          478,642    15,000       1,395,000            49,589          142,051           92,462          (879,982)  4%           (672,678)  7%        207,303  18%  Marília   Coffee              22              66          418,000            714,141          296,141    20,000       2,860,000            (1,462)          441,423        442,885       (2,828,109)  (0%)           (434,991)  10%     2,393,117  70%  Dracena   Urucum              18              54                     ‐              300,063          300,063    10,000       1,800,000          799,563          774,370        (25,194)          4,358,894  44%          4,000,797  38%      (358,097)  ND  Araçatuba   Horticulture              12              36                     ‐              296,943          296,943    15,000          360,000          114,927          156,560           41,633             535,762  32%              571,792  24%          36,029  14%  Araçatuba   Horticulture              18              54                     ‐              121,320          121,320    15,000          270,000            50,220            66,636           16,416             133,105  19%              134,565  16%             1,459  12%  Lins   Horticulture              20              60          666,000         1,153,234          487,234    20,000            40,000          109,340          223,037        113,697             420,861  22%              725,821  21%        304,960  20%  Araçatuba   Coffee              19              57                     ‐              819,332          819,332    15,000       1,197,000            65,620          184,958        119,338          (582,768)  5%           (459,643)  9%        123,125  14%  Assis   Banana              25              75          729,375         1,152,621          423,246    28,000       1,120,000          196,750          611,096        414,346             330,833  15%          2,500,524  26%     2,169,691  54%  Botucatú   Coffee              21              63                     ‐              308,854          308,854    28,000       2,293,200          619,871          876,955        257,084          2,574,619  27%          3,848,036  30%     1,273,417  47%  Ourinhos   Horticulture              42            126       4,683,000         5,191,463          508,463    30,000       8,820,000      4,528,177       5,325,477        797,300       23,038,043  35%        27,361,708  38%     4,323,665  76%  Itapetininga   Milk              24              72          931,200         1,507,541          576,341    25,000     15,840,000       (449,640)            66,040        515,680     (18,083,235)  (3%)      (15,460,696)  0%     2,622,539  51%  Barretos   Horticulture              21              63          234,670            503,813          269,143    30,000          630,000          634,895          816,628        181,734          4,125,976  78%          4,990,288  68%        864,312  42%  Jales   Milk transport              18              54                     ‐              292,046          292,046    13,000       3,510,000                       ‐            (1,264)          (1,264)       (3,146,130)  0%        (3,360,247)  (0%)      (214,117)  (2%)  Jales   Citrus fruits              15              45                     ‐              817,058          817,058    15,000       2,250,000            42,490          362,909        320,419       (1,699,373)  2%           (356,288)  11%     1,343,085  30% Aggregate (BRL)          371      1,113  13,321,845    21,838,612    8,516,767  70,260,200 10,038,416    14,478,319    4,439,903        4,026,013  13%        24,350,455  16%  20,324,442  36% Mean per family (BRL)              3          35,908            58,864          22,956        189,381          27,058          39,025        11,967             10,852 13% 65,635                16%         54,783 36% Mean per BP (BRL)            22            65        783,638      1,284,624        500,986    4,132,953       590,495        851,666      261,171            236,824 13%         1,432,380 16%   1,195,555 36% Mean per family (USD)          11,221            18,395            7,174          59,181            8,456          12,195            3,740               3,391 13% 20,511                16%         17,120 36% Mean per BP (USD)        244,887          401,445        156,558    1,291,548       184,530        266,146        81,616             74,008 13%            447,619 16%       373,611 36% Economic Mean per family (USD) 9,510                         15,589            6,080          59,181            8,456          12,195            3,740               3,391 13% 21,605                16%         18,214 40% Economic Mean per BP (USD)        207,531          340,208        132,676    1,291,548       184,530        266,146        81,616             74,008 13%            471,500 16%       397,493 40%               57 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS    A. Executive Summary of Borrower Completion Report (PLAN, 2018)    Introduction The Sustainable Rural Development Project ‐ Microbacias II ‐ Market Access, developed by the Secretariat  for Agriculture and Supply in partnership with the Secretariat for the Environment of the State of São  Paulo, constituted a new paradigm for the State’s work with rural producers. For 8 years (from 2010 to  2018),  the  Project  implemented  actions  promoting  sustainable  rural  development  and  improving  the  competitiveness  of  small  producers,  directly  assisting  these  producers  and  their  organizations  (cooperatives and associations) and municipal prefectures of the State of São Paulo.    The project included actions to strengthen the ability of the two State Secretariats to fulfill their roles,  including  the  promotion  of  training  sessions  for  technical  and  managerial  staff;  improving  the  infrastructure to serve the target audience, such as renovations of SAA and SMA facilities, fleet renewal  and the acquisition of computer equipment; improving the information technology infrastructure; as well  as promoting and developing new interventions based on studies in multifunctional chains and forestry;  applying sustainable techniques; agroforestry systems (SAFs).    The results from the project go beyond its initial objective. In addition to achieving most of the original  goals, the project turned itself into a laboratory for the development of new public policies. Moreover, it  proposes a new way for agriculture and the environment to work jointly.    This document consolidates the main results of the Final Evaluation of the PDRS‐Microbacias II ‐ Market  Access. Its objective is to ensure transparency regarding the resources invested in the evaluation of the  project and to disseminate, not only the achieved results, but also the lessons learned, the challenges for  public policies and the good practices for implementation.  The research team relied mostly on qualitative research methods to review the available documentation,  conduct interviews and run workshops with technicians, managers and rural producers.   Context and Project Development Objectives     Agriculture plays an important role in São Paulo’s economy, accounting for more than half of the economic  activity in 60% of the municipalities and generating many jobs. Small farmers tend to work mostly with  dairy farming, poultry farming, swine farming, fruit growing, olericulture and coffee cultivation. It is also  common for them to grow crops such as rice, beans, corn, cassava and to breed small animals for own  consumption45. According to data presented in the Project Appraisal Document (PAD), about 40% of the  262,000 smallholder families living in the State of São Paulo live on less than 2 minimum wages per month.    Family  agriculture  faces  important  challenges  including  low  competitiveness  and  environmental  degradation.  These  two  challenges  were  the  focal  points  of  the  Microbacias  II  project,  as  well  as  of  previous  development  programs  from  the  State  Government,  such  as  the  Hydrological  Microbacias  45 PAD, 2010 – Country and sector issues.  58 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Program  (Microbacias  I),  established  in  1987.  The  Microbacias  I  project  ran  for  ten  years  on  State  resources, after which it was renewed for a second 10‐year period with the support of the World Bank.  The  second  phase  introduced  a  socioeconomic  dimension  to  the  project,  forming  a  basis  for  the  Microbacias II Project. Indeed, Microbacias II builds on the results of the first project, whose strategies  were successful in making important improvements in terms of social capital building.    Objective and Scope of the Project    Formally inaugurated in 2010, the PDRS‐Microbacias II ‐ Market Access was implemented in the State of  São  Paulo  by  the  Coordination  Office  for  Integral  Technical  Assistance  (CATI)  of  the  Secretariat  for  Agriculture and Supply, and by the Coordination Office for Biodiversity and Natural Resources (CBRN) of  the Secretariat for the Environment.    The  project’s  overarching  objective  was  to:  "Promote  sustainable  rural  development  and  agricultural  competitiveness in the State of São Paulo, raising the incomes and increasing job opportunities of small  farmers and other vulnerable rural populations, while promoting sound natural resource management  and social inclusion and well‐being.” (PAD, 2010). The project’s Development Objective (POD) consisted  in "support(ing) the State of São Paulo to increase the competitiveness of family agriculture in its territory  while improving its environmental sustainability."    The Project’s objective and scope were adequate considering the context in which it was implemented  and considering the needs of the main beneficiaries. Also, the Project was delimited by the objective to  “help to improve”, which was judicious considering that a total transformation of the current situation  depends  on  innumerable  factors  other  than  market  access  and  environmentally  sustainable  tools  and  policies.      The  scope  of  the  Project  was  appropriate  considering  the  diversity  of  ways  it  used  to  improve  the  situation. Instead of limiting itself to the offer of economic subsidies, it included actions such as: offering  training sessions targeting different audiences; not limiting technical guidance to the "inner circles"; doing  activities  in  municipalities  whose  benefits  aren’t  limited  to  the  beneficiary  organizations;  as  well  as  contributing to the development and improvement of public policy instruments.    The  project’s  structure  and  operational  logic  were  based  on  the  lessons  learned  from  the  previous  experiences,  emphasizing  the  promotion  of  economic,  social,  environmental  and  institutional  sustainability.  Economic  sustainability  would  be  guaranteed  by  focusing  on  market  viability.  Social  sustainability would be achieved by strengthening productive organizations and producers, considering  them as "long‐term assets" that would remain even after the end of the project. On the environmental  front, the project sought to introduce sustainable practices into production systems and to promote the  valorization  of  environmental  services.  With  regards  to  the  institutional  aspect,  the  supported  actions  aiming to strengthen the Secretariats in their ability to fulfill their role.  All these aspects were effectively incorporated into the design and structure of the project and most of  them were fully achieved.        59 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) The timeline below illustrates the implementation and milestones in the execution of the PDRS ‐  Microbacias II project.  Figure 1 – Timeline – Microbacias II    Results and Benefits generated by the Project    The  PDRS‐Microbacias  II  efficacy  analysis  presents  the  results  achieved  by  the  Project,  as  well  as  the  benefits it generated. It first investigates whether the targets were reached for the project’s main ‐ impact  and overall results – indicators, before describing its achievements on the following topics:   Socioeconomic Benefits   Environmental Benefits   Institutional Coordination   Influence on the development of public policies    Impact indicators and overall results  Looking  at  the  extent  to  which  the  impact  evaluation  indicators46  reached  their  target,  the  evaluation  shows that not only did the Project reach its targets, it even exceeded the expectations relative to the  percentage  (%)  increase  in  sales  values  from  participating  organizations.    The  research  team  used  the  same methodology as the one applied by the Development Impact Evaluation (DIME) team, accompanied  by the World Bank.    46 The Project's results matrix is integrated with the other "Intermediate Result Indicators and Project Products" in the Final  Evaluation Report ‐ full version.  60 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)     Impact Indicators Matrix    Revised Global  Revised Global  Level of  % of  INDICATOR  Original global target  target until  target until 2015  achievement  execution  2017  Increase in sales figures of the  participating organizations (core  8%  8%  8%  87%*  1088%  indicator)  Number of environmental  (i) 1 improved CAR system made  1  1  1*  100%  instruments and policies developed  available to rural producers  and in operation, measured  (ii) 3 developed PSA projects  through two parameters:  3  3  3*  100%  adhered to by rural producers    * Data updated in july/2018    Increase in sales values of participating organizations    The  results  show  that  there  was  an  87%  increase  in  sales  values  from  participating  organizations,  significantly  higher  than  the  expected  8%  target.  The  results  also  indicate  that  the  organizations  participating in the PDRS‐Microbacias II were less affected by the economic crisis and the reduction of  institutional purchases than the non‐participating organizations, thanks to structures supported by the  Project that helped open up new marketing channels.    Graph 1 – Marketed Value (Impact Evaluation)     Source: Microbacias II Impact Evaluation  ‐ DIME    Based on the information collected through the interviews, the increase in marketed value and the greater  stability experienced by the organizations in their sales can be explained by the  increase in added value  from  their  products  and  the  organizational  strengthening  of  the  beneficiary  cooperatives  and  associations.  The  impact  assessment  data  reinforce  this  idea,  showing  a  significant  increase  in  the  61 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) likelihood of beneficiary organizations to offer processing, refining or logistical structures to its members  and an even greater increase in the likelihood of these organizations to have access to credit.    It should be noted that market expansion, which also affects sales values, contributed less to the increase  in  marketed  value  in  the  present  project.  Direct  Project  actions  to  expand  markets  were  timid  and  depended  on  the  availability,  motivation  and  ability  of  each  technician,  responsible  for  assisting  the  organizations. They were not configured as structured institutional actions; organizations that successfully  managed to expand their markets did so mainly thanks to the efforts made by their leaders.  Impact  indicator:  number  of  developed  and  operational  environmental  instruments  and  policies,  measured by two parameters:    i) 1 improved CAR system made available to the rural producer   ii) 3 developed PSA Projects adhered to by rural producers   Both parameters to measure the impact indicator were reached.  Environmental Registration System ‐ SICAR / SP: tool for the State’s environmental adjustment   The Rural Environmental Registry (CAR) is a registry for which registration has been made mandatory,  through changes to the Brazilian Forest Code (Federal Law 12.651 / 2012). CAR has become an important  tool in the process of environmental regularization of rural properties and possessions.  The  Project  financed  the  development  of  SICAR‐SP,  a  system  adopted  by  the  State  of  São  Paulo,  thus  providing  an  effective  and  complete  system  complying  with  current  legislation.  It  presents  different  modules: Registration, Analysis and Adequacy (under development), linked to the Computerized Support  System  for  Ecological  Restoration  (SARE).  The  system  enables,  among  other  things,  the  elaboration  of  terms of commitment resulting from Environmental Adequacy.    The  joint  work  of  the  Secretariats  for  the  Environment  and  for  Agriculture  and  Supply,  as  well  as  the  agreements made with the municipalities were determinant for the high level of adhesion of rural land  owners: currently almost all of the State's area to be registered is inscribed in the system. The system  offers  the  possibility  to  monitor  restoration  projects  and  services  for  the  delimitation  of  rural  family  properties. This improvement represents a great achievement whose effects go beyond the limits and  objectives of the project.  PSA Projects (Payment for Environmental Services)    PDRS‐Microbacias  II  implemented  a  series  of  projects  aimed  at  validating  Payment  for  Environmental  Services (PSA) mechanisms. It constituted an important initiative for the state of São Paulo to continue  advancing in the protection of environmentally sensitive areas, as a new management tool adding up to  the  existing  command  and  control  tools.  The  initiative  aimed  particularly  at  the  restoration  and  conservation  of  native  vegetation  and  at  the  valorization  of  land  owners  who  contribute  to  the  maintenance of services provided by nature for the benefit of the whole society.   Different PSA initiatives were implemented: the Mina D'Água Project; the PSA Project for Private Natural  Patrimony Reserves (RPPN); and the PSA Mata Ciliar (“Riparian Forest”). These initiatives helped meet the  62 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) project's development objective to "improve tools and policies", as they created opportunities to test the  tools, methods and related arrangements and provided information to guide the continuity of actions,  mainly regarding the arrangements for the implementation of new projects.  It should also be pointed out that the degree of complexity of these actions is determined both by the  intended breakdown of paradigms (in terms of environmental preservation and rural production) and by  the necessity for operational arrangements (agreements, partnerships, staff).    Highlights of achieved results and generated benefits  Among  the  specific  results  of  each  action  of  the  Project,  some  constitute  general  results,  deserving  a  highlight in the table presented below. The table also presents some challenges that must be considered  for future projects.    Socioeconomic benefits    The socioeconomic benefits generated by the Project arose from actions targeting: income generation  and  social  inclusion;  the  empowerment  of  local  actors  and  organizations,  especially  through  the  participation  of  young  people  and  women  in  the  project  initiatives;  the  insertion  of  traditional  communities  and  agrarian  reform  settlements;  the  promotion  of  cooperatives  and  associations;  and  finally,  the  increase  of  food  security.    The  analysis  showed  the  following  results  and  challenges  to  be  considered for future projects:    MAIN RESULTS ACHIEVED  • Increase of products’ added value and identification of new marketing channels  • Significant increase in commercialization of products  • Increase in sales values  • Perceived increase in income  • Improve the quality of the product offered to the consumer  •  Strengthened  productive  organizations:  improved  bureaucratic,  managerial  and  commercial  aspects, improved image and visibility of the organizations  • Understanding the importance of collective work  • Increased sense of belonging  • Increasing the possibility of young people to stay in the agricultural business by increasing the  financial attractiveness and by offering opportunities to undertake and innovate  • A scope of social outcomes that exceed the limits of financial return from agricultural enterprises  through Projects in Traditional Communities  • Introduction of CATI to rural extension projects in Traditional Communities (TC)  • Greater visibility of TC within CATI.  • Greater participation of CATI’s rural extension in Agrarian Reform Settlements  • Greater performance of SMA with Traditional Communities and Agrarian Reform Settlements          63 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) FUTURE CHALLENGES   Establish actions aimed at increasing the participation of young people and women.   Create alternatives to reduce the dependence of organizations on governmental structures   Encourage actions that support organizations in their efforts to diversify their markets   Promote  professional  and  continued  training  for  members  of  the  organizations  in  domains  related to the business   Encourage organizations to use business plans as a management and executive tool   Build partnerships with marketing channels and coordinate various segments   Constitute  "hand‐to‐hand"  actions  with  municipal  governments  ‐  to  ensure  adherence  to  purchases from family agriculture.    Environmental Benefits  The  environmental  benefits  generated  by  the  Project  are  strongly  derived  from  the  promotion  of  sustainable and innovative production models, which took mainly place through actions managed by the  SMA, such as SAF, multifunctional forests and silvo‐pastoral systems.    In addition, the application of Environmental Safeguards in Business Initiatives has led to environmental  gains,  especially  by  reducing  the  use  of  pesticides,  reducing  waste,  through  a  more  reasonable  use  of  water, through soil conservation and by increasing awareness among rural producers on these issues. The  following table presents the main results of the initiative, as well as the challenges that have not yet been  overcome:  MAIN RESULTS ACHIEVED  • Reducing the use of agrochemicals  • Improvements in water and soil management practices  • Waste reduction  • Increase regularization (grants / licenses / waste management / effluents)  • Increased environmental awareness of farmers  • Increased biodiversity in SAF and Multifunctional Forests  • Generate and diffuse knowledge on Multifunctional Forests  • Contribute  to  the  structuring  of  chains  of  non‐timber  forest  products  (fruits  from  the  Atlantic  Forest).  • Return of fauna from the SAFs  • Potential for the agroecological transition  • Restoration of protected areas using the SAF and PSA technique      64 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) MAIN RESULTS ACHIEVED  FUTURE CHALLENGES  • Implement the SAFs: find ways to disseminate and operationalize accumulated knowledge  • Increase Integrated Pest Management to reduce the use of pesticides  • Improve communication on the preservation actions adopted by producers  • Improve and enhance the usability of the Best Practice Protocol  Institutional Coordination  Coordination actions were strategically important for the project to achieve its objectives. The results  obtained both in terms of cooperation between the two secretariats ‐ SAA and SMA, and with the target  audience, partners or other entities and executing organizations, brought new visions for  operationalization and improvements in the configuration of these cooperation instances, as follows:    MAIN RESULTS ACHIEVED  Coordination between registries:    Coordination between CATI and CBRN represents a paradigm shift, which has brought advances  to both registries and is well evaluated and promising.    There  is  a  greater  understanding  from  the  organizations  regarding  (environmental)  regularization; Partnership with ICA, fundamental to streamline the processes of regularization of  beneficiary  organizations,  as  well  as  to  accessing  FEAP  resources  and  to  elaborating  market  monitoring tool.    Partnership with FEAP: made it possible to access credit, enabling the Project, and its continuity  is promising.  Coordination with other institutions:     Active functioning of the Consultative Forum, offering means to promote social participation.    CMDR47 participated to the analysis of the Manifestations of Interest of the Business Initiatives  and to the prioritization of the stretches of roads that would benefit from the intervention    Successful  partnerships  in  the  implementation  of  projects  in  Traditional  Communities  (TC),  especially the partnership with ITESP and FUNAI  Coordination with the target audience:     Evaluated very positively by the interviewees  47 Municipal Council for Rural Development   65 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   The support from technicians was fundamental to the success of the projects  FUTURE CHALLENGES    Expand interaction between CATI and CBRN, especially at the technical level    Establish partnerships with institutions with expertise in specific thematic area    Implement environmental monitoring and management tools    Create a support group for the coordination of environmental safeguards    Standardize the language between folders    Mapping of topics of interest and partner institutions / persons    Build / upgrade / use knowledge management database    Formalize the partnerships  at the  beginning of the project,  as  well  as of their management,  maintenance and closure.    Find alternatives for the continuity of the offered technical support    Turn CMDR's work in the different municipalities more homogeneous     Influence on the Development of Public Policies  The Project has generated some inputs for the development or improvement of public policies. These  inputs  are  among  the  main  results  generated  by  the  project  and  guarantee  the  continuity  of  the  implemented actions. By analyzing the economic incentive instruments, such as the creation of credit lines  (FEAP), and the pilot projects for the formulation of public policies, the research team has identified the  following Project results, as well as challenges for future actions:    MAIN RESULTS ACHIEVED    The  opportunity  to  experiment  with  institutional  (SAF)  and  operational  (especially  with  the  inclusion of FEAP – PSA) tools, methods and arrangements    CAR  and  PRA  as  a  technology  package  and  public  management  tool  in  supporting  the  environmental adequacy of rural property.   The importance of SICAR goes beyond the limits of the Project and the interests of SMA, and has  been incorporated as a State matter, used by both Secretary Offices in the planning of future  actions.  66 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)  The  Atlantic  Forest  Connection  Project  was  strengthened  and  improved  based  on  the  PSA  experiences.  FUTURE CHALLENGES   Have a more objective connection with the Market   Promote income generating actions with environmental recovery   Gain scale (increase coverage, project numbers, while maintaining costs).   Act in complex institutional and operational arrangements such as the MBII one.   Mobilize and support municipalities for the development of local / regional experiences.   Define priorities (areas and actions) based on diagnostics   Project management using computerized systems for project and results monitoring.   Strengthen the integration of ATER in actions with beneficiaries    Adopted Implementation Strategies    The project's operational logic was defined and structured by three components: (1) Support to Family  Farming Business Initiatives; (2) Strengthening of Public Institutions and Municipal Infrastructure; and (3)  Project Management. These three components were deployed in actions following different strategies,  including: direct actions (defined as  finalistic actions);  capacity‐building actions, both for the Project’s  target audience, as for the technical staff and managers of the Secretariats; and  actions that promoted  the strengthening of these institutions to fulfill their role within the Project and ensuring the continuity  of the objective to promote sustainable rural development in the State.    These actions, represented in the following figure, used project resources to foster activities that resulted  not only in the achievement of the expected goals, but also in institutional learning for the development  and improvement of public policy instruments.      67 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Finalistic Actions  The finalistic actions of the project, which created economic incentives to transfer financial resources to  beneficiaries, are: Business Initiatives; Projects in Traditional Communities; Environmental Subprojects;  Rehabilitation actions on critical stretches of rural roads; and Payment for Environmental Services. The  following table details the objectives, target audiences and responsible entities for each finalistic action:  Responsible Entity  Finalistic Action  Objectives  Target Audience  for Execution  Associations and co‐operatives of  Provide market access  Business  rural producers engaged in  conditions for rural  CATI/SAA  Initiatives  typically rural agricultural and  organizations  non‐agricultural activities  Provide market access  conditions for traditional  Associations of rural producers in  communities with a  Community  Traditional Communities engaged  commitment to maintaining  CATI/SAA  Projects  in typically rural agricultural and  their autonomy and  non‐agricultural activities  appreciating their culture  and identity.  Promoting environmental  Associations and cooperatives of  sustainability by steering the  family farmers occupying areas  Environmental  use of improved  with low agricultural suitability,  SMA  Subprojects  environmental practices in  either by restriction or  rural production systems  environmental interest  Seek better physical access  Municipalities of ESP with  conditions to the market by  organizations supported by the  Rural roads  CATI/SAA  improving the rural road  IN, PC or Environmental  infrastructure.  Subprojects.  Encourage the protection  Payment for  and restoration of native  Land owners providing  Environmental  vegetation and the adoption  SMA  environmental services  Services  of more sustainable  production systems  a) Business Initiatives by Family Farmers  The beneficiary organizations for the Business Initiatives were selected through 6 "Calls" between 2011  and  2015.    The  logic  and  requirements  of  the  selection  process  presented  some  advantages,  which  according to the involved managers and technicians were the following:  (i) the possibility of giving access to different groups or associations, spread across the State;  (ii) the experience accumulated by the management team; and  (iii) flexibility towards change, which allowed for changes in procedures.  68 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) The selection criteria were appropriate for the context, because they didn’t restrict the participation of  organizations with a potential equivalent to those that were selected.  Elaborating a Business Plan represented an important difficulty to the family farmers. Not because of the  costs of making a Business Plan, but because of the shortage of available professionals with the right skills  and  knowledge  to  provide  organizations  with  the  technical  support  they  need.  Despite  CATI's  efforts,  providing  a  registry  of  potential  consultants  and  helping  with  the  writing  of  the  Business  Plans,  the  material presented by the organizations showed several issues. The following factors were identified as  affecting the quality of the elaborated business plans and having a direct impact on their utility:  (i) the consultant's knowledge of the production chain in question;  (ii) the consultant’s involvement with the organization; and  (iii) active participation from organization members in the elaboration of the Business Plans.  At the implementation phase, both organizations and teams faced major challenges, which have been  overcome over the years and have taught some lessons:  LESSONS LEARNED    It  is  necessary  to  promote  changes  in  the  behavior  of  public  bodies  to  treat  producers  as  entrepreneurs and land ownership as a business and to steer support actions accordingly.    Depending on the level of maturity of the organization, implementation tends to be more or less  challenging.  The  minimum  time  required  in  the  selection  process  (1  year),  included  with  the  objective of excluding "opportunistic" organizations, is not enough for them to reach the needed  maturity to carry out the project.    It  is  important  to  carry  out  a  preliminary  mapping  of  the  degree  of  management  and  business  maturity to draw up different strategies of action together with the organizations, as well as to  meet the Project’s demands for support.    Support in product quality improvement projects, not just transformation, is an important value‐ adding strategy.    The project should organize itself to support the organizations that need help and guidance for the  preliminary review of documents, guaranteeing the regularity of organizations participating in the  selection process.    The project should organize itself to support the Organizations and adopt strategies that facilitate  the adoption of procedures for the use of public resources, which usually aren’t in their domain or  are not routine work, especially regarding administrative, financial and accountability issues.    69 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) b) Projects with Traditional Communities  Based  on  the  different  ways  the  Project  attended  indigenous  and  quilombola  communities,  which  in  accordance with the existing legislation enter the family farming category, and the way it gave them access  to resources, we can conclude that these communities were properly included into the Project.     The selection process of Traditional Communities (TC) was different from the other communities and was  based  on  two  principles:  (i)  social  management  through  the  Managerial  Colleges  of  each  community  group;  and  (ii)  the  use  of  participatory  methods  of  planning,  execution,  monitoring  and  evaluation.  In  general, the selection process of the communities did not present great difficulties, except regarding the  formalization  of  the  associations  and  the  bureaucratic  aspects  it  involves.  In  this  case,  the  greatest  difficulty in the selection process was an issue of documentation. The required documentation is of two  orders:  i) Land  ownership  –  most  of  the  indigenous  villages  are  in  unmarked  lands  and  are  characterized as irregular. This makes it impossible for them to get access to the resources of  the Project;  ii) Organizational:  a. The indigenous culture has its own forms of leadership and organization and associations  are,  as  a  rule,  uncommon.  Therefore,  it  was  necessary  for  the  Project  to  assist  some  villages in forming associations.  b. The  project  also  had  to  support  the  regularization  of  associations  from  quilombola  communities. Most of them had expired or irregular certificates.  The project also helped  them mobilize former members.  Both for the preparation of Community Projects and during implementation, the partnership with ITESP,  established  in  2012,  was  fundamental  to  achieve  results.  “Strengthening  the  organizational  and  administrative  capacity"  of  these  communities  turned  out  to  be  more  of  a  challenge  than  the  organizational and administrative challenges of Business Initiatives.    LESSONS LEARNED    Participatory processes are appropriate for TC interventions     There is a need to work with teams with TC expertise     It is necessary to adapt, within the legal limits, the demands to the TC to increase the adhesion  of these groups.     The conservation of natural resources is very convergent with the reality of indigenous villages  and quilombos.  When  analyzing  the  types  of  projects  –  Community  Projects  –  that  were  selected  in  the  light  of  the  objective to "increase the productivity of land and labor and improve the quality of production through  70 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) the use of social technologies", the results that can be achieved through these projects are different from  those generated by the Business Initiatives. In Traditional Communities, profit is considered as secondary  and,  depending  on  the  actions,  the  productivity  or  business  gain  can  be  zero  (e.g.  building  a  shed  for  events and community headquarters). On the other hand, the gain at the community‐level is enormous  and, consequently, more difficult to measure.    Nevertheless,  the  following  results  were  the  most  mentioned  by  beneficiaries  and  technical  staff:  increased production and marketing; increased production efficiency and household income; as well as,  environmental and economic benefits resulting from the received technical support.  Strengthening of Municipal Infrastructure ‐ Rural Roads    The objective of this action was to improve road conditions to get to the market and the production flow,  by promoting the maintenance or rehabilitation of Rural Roads. This selection process also followed the  "Calls"  format,  and  8  calls  were  carried  out  between  2012  and  2018.  To  sign  the  agreement  with  the  municipal governments, certain prerequisites had to be complied with. An important prerequisite was for  the municipality to have at least one Business Initiative or Community Project (implemented or in the  process of being implemented).    Considering  the  difficulties  municipal  governments  were  facing  to  meet  their  commitment  to  reduce  public resources after the financial crisis of 2014, the project adopted a strategy that consisted in gradually  reducing the value of the municipal counterpart.    The Project faced important difficulties implementing the actions on Rural Roads, resulting in a financial  execution about 30% lower than expected. One of the major difficulties was the approval of the processes  by the Legal Consultancy (Consultoria Juridica), which prevented the good initial flow and delayed the  signature  of  agreements.  The  first  agreement  was  only  signed  in  2014.  A  second  difficulty  was  for  prefectures to provide their counterpart contribution.   Nonetheless, the rehabilitation of rural roads led to the following results: it improved the physical market  access conditions and the flow of production; it facilitated the movement by people and by important  service providers for the population, such as ambulances and school buses; it improved access to school  and health units and connection with the urban area; and finally, it reduced sedimentation and erosion  (affecting properties).    LESSONS LEARNED    The municipal governments must be  considered strategic institutional partners, therefore the  projects need to:  o  Ensure adherence of municipalities, without requiring financial compensation;  o  Ensure technical and administrative support for the implementation of actions: given the  fragility  of  the  city  hall  structure,  as  well  as  criteria  for  participation  and  documentary  requirements.  71 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Payment for Environmental Services  The  Payment  for  Environmental  Services  projects  experimented  with  innovative  forms  of  integration  between  rural  production  and  environmental  preservation  and  with  instruments  for  conservation  financing that consider the user‐payer and provider‐receiver principles. The projects were implemented  as pilots in different areas of the State of São Paulo.  Even if this type of project only represented 1% of the total value invested in finalistic actions, different  implementation strategies were executed. The experience from each strategy helped identify the limits  and challenges of each alternative.    Three initiatives were carried out following this strategy:  Mina D’Água Project (pilot project)  The first state‐level PSA project was defined based on the principles of the Remaining Forest Program.  Agreements  were  signed  for  its  implementation  between  the  State  and  the  Municipalities  to  transfer  (state budget) resources through FECOP48.   For  this  selection  process,  the  prefectures  made  the  announcements  and  went  over  the  different  candidates. Despite the coordination efforts and support provided by the SMA, this arrangement showed  some limitations: the municipalities had great difficulties in keeping the agreements with the SMA in force  and in launching the calls for proposal, which resulted in low adherence to this first project.    PSA CAP / RPPN Project ‐ Paulista Environmental Credit for the RPPN49  The objective of this project was to promote the conservation and restoration of ecological processes in  private areas recognized as RPPN to maintain and / or expand the provision of ecosystem services for  biodiversity  conservation  and  water  production.  In  this  second  PSA  project,  the  selection  process  and  execution strategy changed. The financial management was provided by the FECOP, which was possible  due  to  the  small  number  of  beneficiaries  (the  project  is  exclusively  for  the  RPPN).  Candidates  were  selected through registration in two public tender announcements launched  by the SMA  (in 2013 and  2015). Execution was the responsibility of the Forest Foundation. The selection and mobilization strategies  were quite efficient considering their purpose.  PSA Mata Ciliar (Riparian Forest)  The PSA Mata Ciliar (or Riparian Forest), in turn, was established by the SMA Resolution no. 142 on the  11th of July, 2017. The project contemplated short‐term actions for the protection of forest remnants and  permanent  preservation  areas  to  keep  them  free  of  degrading  factors.  The  project  granted  economic  subsidies to the selected producers. This was made possible through FEAP in partnership with SAA. To  regulate the execution of this project, a series of resolutions, decrees and deliberations was published, as  it was the first joint action of the two Secretariats establishing a financial flow with producers. The project  achieved the following results:    48 State Fund for Pollution Prevention and Control  49 Private Reserve of Natural Heritage  72 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) According to the implementation team, the PSA Mata Ciliar pilot project achieved the objectives it set  itself, namely:   It performed actions to protect forest remnants and permanent preservation areas;   The SME learned some important lessons regarding implementation strategies directly to the  producer and regarding the definition of procedures that are already being adopted in other  PSA projects developed by SMA;   It provided benefits related to team preparation for other PSA actions;   And it made possible to test an alternative financial flow (including SAA and FEAP) and that  facilitates the direct action of the secretariat with the producers, guaranteeing greater reach in  the actions of the PSA.  LESSONS LEARNED    The implementation of the PSA projects was challenging, but they were also a great laboratory  from which to extract important lessons that can now be applied in new policies.    The use of an incentive instrument brings the "target public" closer to public policies,  establishing a partnership relationship and opening the way for other complementary  environmental policies.    Teams and areas responsible for the projects need to be strengthened to be able to expand  them and improve them, including through the use of technologies.    The PSA projects are about adhesion, with a new approach to conservation and environmental  preservation actions on the one hand, and to the relationship between State and producer on the  other hand. Therefore, communication with the producer, the announcements, as well as the tools  used to make the announcements should be planned and considered strategic for the Project.  Environmental Subprojects  The Environmental Subprojects were designed to support projects in environmentally sensitive areas with  a potential for economic diversification and income generation. The projects are based on the principles  of environmental protection, sustainable use of natural resources and contribution to mitigation and/or  adaptation to change climate.    The selection process was carried out through two announcements. Important changes were made to the  2nd  announcement,  based  on  the  accumulated  learning  from  the  1st  one.    The  object  of  the  Bidding  Document was negotiated with the Bank, which allowed the actions to be directed towards the financing  of Agroforestry Systems (SAF). This eliminated the space for interpretation that was present in the first  announcement. In the 2nd announcement, the project preparation roadmap was also simplified, as well  as the selection criteria which "were too complex compared to the reality of organizations"50 in the 1st  50 Relatório de Progresso_PDRS – Microbacias II – 2017.  73 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) announcement. These changes – in terms of focus and processes ‐, increased the number of projects and  strengthened the work that was carried out in the field. It is important to mention that these changes  were made possible, among other things, thanks to the adherence by the implementers to the purpose  of these changes.    The SAF projects proved to be strategic alternatives for the recovery of APP from small producers, aiming  at the adaptation to the forest code, including for PRA implementation.  Through the projects, technicians and producers were trained, an EAD on the subject was launched and  references  for  environmental  and  economic  assessments  were  constituted,  establishing  a  network  of  specialists, technicians and producers, who could support future actions.    Due  to  the  lack  of  knowledge  about  SAF  techniques,  the  teams  faced  technical  difficulties  during  implementation  with  the  compatibility  of  the  project  schedule  with  the  agricultural  calendar  and  the  provision of technical assistance to the producers.  These confrontations brought some lessons learned:    LESSONS LEARNED    Innovative projects such as SAF require differentiated planning, since they must cover the  generation, consolidation and dissemination of knowledge.    ATER services are essential for the success of this type of action and the project needs to  guarantee their supply.  Training Sessions  The  training sessions provided by the project were fundamental both for the technical and project staff  and necessary to help overcome the implementation challenges faced by the beneficiary organizations.  In addition to face‐to‐face sessions, the project offered distance training on SAF, offered by SMA to the  general  public  and  whose  purpose  is  to  disseminate  the  knowledge  accumulated  by  the  Secretariat  through the implementation of the SAF's within the scope of Microbacias II. The course is online, has a  duration of 20 hours and, by the end of the Project, it counted with more than 5,000 registrations.    Trainings for CATI and SMA technicians and managers focused on, among other topics: the application of  the  Project's  operational  instruments,  on  project  management,  production  systems,  working  with  traditional communities and environmental safeguards (including pest management); on SAF techniques  and other topics developed by the Project.    Despite difficulties for implementing these actions, training sessions, technical visits and the exchange of  experiences were considered as critical factors for the implementation of actions by the actors involved.  Alternatives to the "classroom" format turned out to be very effective for the participating beneficiaries,  as they tend to learn more "by doing".     Institutional Strengthening  The  actions  for  Institutional  Strengthening  generated  effects  on  the  Physical  Infrastructure  of  the  two  Secretariats, improving their technological processes and solutions, as well as their communication and  74 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) dissemination strategies.  The resources provided by the PDRS ‐ Microbacias II allowed the executing secretariats to adapt part of  their infrastructures through:   reforms of local and regional units (CATI and SMA);   vehicle fleet renewal (CATI) and vehicle acquisition (SMA);   renewal of computer equipment;   acquisition  of  support  equipment  (such  as  GPS,  used  in  Environmental  Adequacy  surveys  of  buildings, by CBRN);   update the agricultural production units survey (LUPA);   development and/or improvement of systems important to the actions of the secretariats.    Agricultural Production Units Survey ‐ LUPA  The survey, which was carried out previously in 1995 and in 2007/08, is a reference in terms of agricultural  data for the State of São Paulo, serving as the basis for the research conducted by various units of the  Public Administration.    The update of the LUPA was made with resources from the PDRS ‐ Microbacias II and consisted in the  collection of primary data across more than 335 thousand properties in almost all the municipalities of  the state. This action will support the elaboration of new public policies in the sector and will allow the  Public Administration to set up participation criteria (%) for the municipalities in the ICMS51.  SICAR/SP    This action was included in the PDRS ‐ Microbacias II after the approval of law 12.651/2012, enabling the  state to fulfill the new duties foreseen by the new Forest Code.  Thanks to the prompt availability of the SICAR / SP system to rural producers, most producers managed  to fulfill their obligations, thus avoiding the consequences of non‐attendance such as the loss of access to  credit.    In the state of São Paulo, the Rural Environmental Registry was treated as an integrated action between  two government departments ‐ SAA and SMA.    Fiduciary Fulfillment  The total amount foreseen in the Loan Agreement was  US $ 130 million, of which US $ 52 million (40%)  as a counterpart of the state government and US $ 78 million (60%) of World Bank resources. According  to  the  updated  data  (January  2019),  the  final  cost  of  the  Project  slightly  exceeded  the  total  amount  forecast (1.03%), with a small variation between the use of resources by source: 59% World Bank and 41%  state  resources.  Thus,  despite  the  difficulties  faced  in  paying  the  consideration  (especially  due  to  the  financial crisis that the country has experienced since 2014), in the end, GESP was able to afford its portion  of the Loan Agreement, surpassing slightly the initial forecast. It is important to note that compliance with  the  state  counterpart  was  facilitated  due  to  the  authorization  to  include  so‐called  "non‐financial  counterparts"  referring  to  salaries  of  human  resources  (CATI  and  SMA),  environmental  services  (PSA‐ FECOP), which were not in SIAFEM52.  51 Tax on the movement of goods and services (Value‐Added Tax)  52 Integrated System of Financial Administration for States and Municipalities  75 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Efficiency Analysis  The  efficiency  analysis  discusses  the  use  of  resources  to  achieve  results,  analyzing  whether  the  costs  involved were proportional to the benefits generated. Considering the qualitative focus of this evaluation,  the efficiency analysis focused on: i) the degree of execution of the actions, ii) the expected and actual  value, and iii) the impact of the term extensions from the Project efficiency viewpoint.    A cost analysis of the subprojects could reveal how efficient they were compared to other similar projects.  However, in these cases the cost of the project per producer says little about efficiency, since they are  initiatives whose initial investment serves as a catalyst to generate greater impact. Business Initiatives,  for example, even at a high cost per farmer, have the potential to significantly impact the income of the  producers who can manage their business well.  The analysis of the initially predicted and the actual spent value by the project shows that there were no  distortions or need for additional financial resources. On the contrary, less resources were invested than  expected. This shows that the Project was quite efficient, since it managed to achieve the same results  with less financial resources.    Looking at the initial deadline for execution, the Project was designed to be executed in 5 years (2010‐ 2015).  However,  two  extensions  of  deadline  were  made:  a  first  extension  of  2  years  (until  September/2017),  and  an  additional  1‐year  extension  at  the  end  (until  September/2018).  No  major  adjustments were made to the project’s outcome targets, the project needed more time to reach its goals.  This delay was due to the difficulty the team and beneficiary organizations faced during the initial years,  but was overcome once the "modus operandi" of the Project had been established.    The World Bank team that monitored the project was concerned to avoid a low level of financial execution  throughout  implementation,  especially  in  the  initial  years.  That  is  why  it  developed  strategies  to  streamline disbursements. These strategies showed positive effects and were able to increase the volume  of disbursements, thereby improving the financial efficiency of the project.    Sustainability  The sustainability of the progress made by PDRS ‐Microbacias II on various fronts, including strengthening  the  beneficiary  productive  organizations,  institutional  growth,  pilot  experiments  with  the  potential  to  influence public policies for the integration between rural production and environmental preservation, or  even infrastructural improvements, depends on numerous factors.    For Business Initiatives, the sustainability of the progress made by the Project is mainly related to keeping  these  organizations  on  the  market  ‐  which  affects  the  generation  of  expected  financial  returns  ‐  and  keeping them autonomous, not counting on support from the technicians. To this end, the interviewees  and  participants  to  the  workshop  indicated  that  the  continuity  of  CATI's  actions  was  fundamental,  whether through projects such as PDRS‐Microbacias II or through rural extension.          76 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Business Initiatives  Progress/Achievements  Sustainability Challenges  Strengthening organizations   Survival in the market   Production   Expansion of markets / new buyers   Sales   Reduced  dependence  on  institutional  purchasing   Management  programs    Promoted training   Market diversification     Specific difficulties of some chains  Increased sales   Strengthening organizational networks (collective sales)     Formation of new leaderships (succession)  Generation of work and income   Some  organizations  still  need  technical  and  financial  support  To avoid wasting the efforts and resources invested  in the  Environmental Subprojects, there is also a  need to maintain technical support for their continuity. The managers and technicians involved with these  enterprises emphasize that market access, as well, is a challenge to their sustainability, either through  volumes of production, management capacity, or dependence on institutional markets. That is why the  interviewed actors recommend maintaining the technical support offered by CBRN.    Environmental Subprojects  Progress  Sustainability Challenges   Establishment of FAS   Expansion of markets / new buyers   Learning  (institutional  and   Reduced  dependence  on  institutional  purchasing  and  beneficiaries)  market diversification   New  forms  and  sales   Market diversification  channels   SAF time x results time   Multiplying the experience   Maintenance of technical support  To guarantee the sustainability of  PSA actions results, the municipalities, which are the entities through  which  the  project  is  operationalized,  should  be  further  integrated  within  the  Project.  It  will  also  be  necessary to create permanent sources of capital or ways to generate capital, such as charging for the use  of water, to make it possible to establish longer term contracts and to gain scale. Another important point  is the potential to generate income through the creation of environmental services, which would maintain  the supported actions (for example: a profitable silvo‐pastoral system replacing extensive livestock raising  with low productivity).    The Project should also reflect on behavioral changes in producers, that is, to what extent the actions  undertaken are being incorporated by the producers. This would allow to identify possible new challenges  to the sustainability of this type of investment.    77 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) PSA  Progress/Achievements  Sustainability challenges    Realization of experiences   Role of municipalities / Incentive to the development of   Execution of 3 projects  municipal programs   Knowledge  accumulation   Sources of resources x timing of payments  (institutional)   Gain of scale   Behavioral change of producers  With regard to the improvement of critical stretches of some rural roads, these stretches are often  located in small municipalities, relying mostly on rural activities and with low tax revenues. For those  municipalities, investing in road maintenance is generally not a priority.  With fewer public resources,  there is a risk for these improvements to fade away over time.    Rural Roads  Progress/Achievements  Sustainability challenges    Improvement of critical   Budgetary conditions of municipalities x other investment  stretches  priorities   Connection enhancement   Maintenance of stretches rehabilitated as a commitment   Access to basic services  of municipalities   Reduction of sedimentation  and erosion  On the other hand, the interviewees and actors involved in this Evaluation indicated that the main risk to  the  sustainability  of  the  results  of  the  PDRS‐Microbacias  II  is  the  reduction  of  staff  in  the  executing  secretariats. For CBRN, this issue would limit performance in terms of geographic coverage, development  of actions, etc. At CATI, interviewees reported that many employees from different levels are retiring,  without  necessarily  being  replaced.  This  issue,  which  has  an  institutional  bias,  may  impact  on  the  continuity of service delivery, assistance and support to producers.  CATI has so far been able to maintain  its services.    Thanks  to  their  experience  with  the  PDRS‐Microbacias  II,  the  executing  institutions  made  significant  improvements  on  various  fronts,  such  as  project  management  capacity,  accumulation  of  knowledge,  improvements  of  physical  conditions  and  institutional  articulation,  evolution  and  accumulation  of  technical knowledge, development of skills and gaining maturity in their relationship with beneficiaries  and  in  the  treatment  of  environmental  issues  with  them.  The  potential  discontinuation  of  actions  to  support  producers,  due  to  resource  constraints,  is  a  recurring  concern  among  the  interviewed  actors.  Considering some of the "post‐project" difficulties that beneficiary organizations are facing, the Evaluation  highlights that (i) the use of new FEAP credit lines is a relevant alternative; (ii) it remains important to  establish  ways  to  ensure  continuity  of  technical,  marketing,  managerial  and  accounting  support  to  producers.    The  established  institutional  links  form  an  opportunity  to  continue  providing  (qualified)  support  to  78 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) producers. Maintaining the partnership established between the executing secretariats is fundamental  for  the  sustainability  of  the  achieved  results,  the  emergence  of  new  ones,  and  to  face  the  upcoming  challenges. In this sense, and in view of continuing project actions, reviewing the operational practices  can  improve  the  project’s  execution  as  well  as  its  overall  results,  such  as:  integrated  communication,  shared planning, knowledge exchanges, greater articulation and integration in the field, and technical and  structural complementarity.     In  other  words,  the  partnership  between  the  executors  is  well  evaluated  and  considered  as  quite  promising. The challenge is to maintain and exploit it to its full potential.                                                                          79 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) B. Borrower’s Comments on the Bank’s Draft ICR        80 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) ANNEX 6. SUPPORTING DOCUMENTS    Project Appraisal Document (PAD), No. 47192‐BR, dated April 21, 2010  Loan and Guarantee Agreements  Implementation Supervision Reports (ISRs) 2010‐2018  Annual Progress Reports (CATI)  Supervision Aide Memoires  Project Procurement Reviews  Financial Management Supervision Reports  Restructuring Papers  Special Technical Papers  Social and Environmental Safeguards reports    Borrower Completion Report ‐ PLAN/CATI, 2018  Project Impact Evaluation Report – DIME/Furtado, Piza, Ruzzante and Zwager, World Bank, November  2018    Do They Do as They Say? Stated versus Revealed Preferences and Take‐up in an Incentives for  Conservation Program: PES Learning Paper 2015‐1, World Bank Environment and Natural Resources,  December 2015 (rev. 2016)    Studies Financed by the Project:    The Brazilian Experience with Payment for Environmental Services: Pagiola, Carrascosa and Taffarello,  World Bank, 2013    CATI:     Value Chain Studies  Identificacao de Oportunidades de Mercado na Cadeia Produtiva de Fruticultura  Identificacao de Oportunidades de Mercado na Cadeia Produtiva de Graos  Identificacao de Oportunidades de Mercado na Cadeia Produtiva de Leite  Identificacao de Oportunidades de Mercado na Cadeia Produtiva de Olericultura    Other studies to be provided    SMA: 53    Legal Reserves:   ‐Estudo para Propor Instrumentos para viabilizar um Plano Estadual de Florestas Nativas  53 Titles of SMA studies were provided but no other information except that they were financed by the project in the period  2011‐2018  81 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Monitoramento de Projetos de Restauracao    Eco‐System Services:  ‐Analise integrada do uso da terra e de incorporacao dos servicos ecosistemicos na formulacao de  politicas regionais na Bacia do Rio Paraitinga  ‐ Estudo de Economia dos Ecosistemas e da Biodiversidade de Sao Paulo  ‐Recommendacoes de Politicas Publicas para a preservacao dos servicos ecosistemicos, geracao de  renda e mudanca de cenarios na Bacia do Rio Paraiba do Sul    Agro‐Forestry Systems:   Avaliacao Economico‐Financeira de Sistemas Agroflorestais  Payment for Environmental Services (PES):  ‐Levantamento de Dados em Campo para delinear linha de base para o monitoramento de impacto  socio‐economico e percepcao ambiental referente Pagamento por Servicos Ambientais/Projeto Mina  d’Agua    Multi‐Purpose Forests:  ‐Estudos sobre financiamentos para projetos de plantio de Floresta nativa em reservas legais    Environmental Subprojects:  ‐Avaliacao de Propostas de Subprojetos Ambientais quanto ao potencial de sua viabilidade financeira  (Edital 1)  ‐ Apoio a implantacao dos Subprojetos Ambientais para alcance de viabilidade financeira (Edital 1)  ‐ Avaliacao das propostas de Subprojetos Ambientais quanto ao potencial de sua viabilidade financeira  (Edital 2)  ‐ Relatorio de Monitoramento da implementacao das Salvaguardas Ambientais  Avaliacao de Impacto de Programas Publicos no Estado de Sao Paulo‐ Fundacao SEADE    Other:  ‐Estudo para a elaboracao de uma politica de aquisicao de sementes florestais nativas pela Agricultura  Familiar  ‐Analise de risco de Especies exoticas                      82 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) ANNEX 7: PROJECT‐RELATED SUPPORTING INFORMATION AND DATA    A:   The PDRS Business Initiative Process and Matching Grant Mechanism:  Methodology for the  Selection and Financing of Business Initiatives under Component 1  The project financed a wide range of Business Initiatives under Component 1 using a matching grant  incentive mechanism tested in many similar projects using “productive alliances” in Brazil and other  countries of Latin America. The process is summarized below including later adjustments.      Project  objectives,  access  criteria  and  operational  rules  were  disseminated  widely  by  CATI  through multi‐media instruments, seminars, workshops, local assemblies and media.   CATI staff and technicians were trained in the operational aspects of the project.   Project beneficiaries were selected through public calls for Expressions of Interest (EI) covering  basic  information  on  the  applicant  organization  and  the  proposed  Business  Initiative  (BI).    An  initial eligibility filter by the Municipal Rural Development Councils determined whether the EI fit  the  targeting  guidelines,  focused  on  competitiveness  and  environmental  sustainability  and  demonstrated market viability (including the existence of a market).    Eligible organizations were then invited to submit a full business proposal (Business Initiative,  BI),  specifying  inter  alia,  production  systems,  marketing  strategy,  investment  plan,  how  beneficiary  counterpart  would  be  financed,  environmental  practices,  market  information  including buyers, potential business partnerships and other relevant information.    Proposals  were  usually  prepared  by  an  external  consultant  hired  by  the  organization.   Consultants  came  to  specialize  in  this  function,  and  had  a  maximum  3  months  to  prepare  a  proposal.  Successful  applicants  could  recover  these  costs  ex‐post,  whereas  unsuccessful  organizations incurred the costs of the consultancy. This function came to be performed by CATI’s  regional offices and respective Casas de Agricultura. Complementing the BI, CATI supported each  member of the organization to prepare an Individual Property Plan (PIP) or Community Business  Project (PEC) to enable subsequent fine‐tuning of activities and resolution of particular difficulties.    Subprojects were evaluated and ranked on market viability, social and environmental elements.  Eligible organizations had to be constituted a minimum of one year and have a minimum of 15  members (for business viability and  to ensure adequate supply  of raw materials); more points  were  assigned  the  “older”  the  organization.  It  was  assumed  that  maturity  brought  certain  management skills, e.g., an ability to manage a higher infusion of financing. Those exceeding a  pre‐established  minimum  score  were  selected  to  receive  a  matching  grant  and  technical  assistance to implement their proposal. The selection process aimed to capture the best‐prepared  organizations:  it  was  realistic,  not  random.  However,  groups  showing  dynamism  and  promise  were also included. Evaluation criteria were spelled out in the Operational Manual.54   Investments  in  BI  had  to  meet  certain  criteria:  Improve  product  quality,  quantity  and  standardization;  support  new  activities;  reduce  production  costs;  add  value;  promote  diversification/innovation  and  commercial  processes;  promote  environmental  sustainability.   54  See eligibility criteria in Progress Report, December 2017.  83 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Investments could be Individual or Collective.  Individual investments were implemented on the  producer’s property, were targeted at improving the competitiveness of the organization of which  the  producer  was  a  member,  and  typically  financed  primary  materials  used  within  a  collective  venture;  Collective  investments  benefited  members  of  a  productive  venture  integrated  in  the  Proposed  Business  Initiative,  and  financed  shared  machinery  and  equipment  specified  in  that  proposal.   Rules for participation: Minimum of 15 producers per association/cooperative; more than 50%  family  farmers;  responsible  for  supplying  over  50%  of  the  raw  materials  used  by  collective  business venture and for producing more than 50% of this material.   The Grant financed up to 50% of the proposed investment, with the balance self‐financed from  own resources or credit.  Of the organizations which used credit, 87% was FEAP.  The ceiling on  the grant portion was initially $200,000 but was subsequently increased to R$800,000 which could  cover  multiple  investments  under  the  same  organization.    The  SOE  system  ensured  that  any  excess over this limit was not financed by the project.   As initially planned, the project would support subprojects of Traditional Communities to a limit  of R$200,000 per eligible community. Traditional Communities showed strong performance and  their  project  limit  was  increased  to  R$800,000  (over  the  project  lifetime),  with  a  beneficiary  contribution of one percent and the project 99%. In the case of individual investments, the same  system prevented reimbursement above R$10,000 over the course of the project.     Small producers’  organizations were  incentivized to participate by increasing the funding per  organization: up to 70% of the proposed investment was subsidized in cases where more than  70% of the producers were family farmers.   Activities financed included a wide variety of infrastructure and equipment for production, post‐ harvest and processing, including: fruit and vegetable processing plants, packing facilities, agro‐ industrial processing equipment and systems, improved transport and logistics, laboratory and  cooling equipment, harvesting machinery, tractors and cargo vehicles, and greenhouses.   Value chains were diverse: honey, aquaculture, poultry, dairy cattle/dairying, coffee, sugar cane,  forestry, fruits, vegetables and grains, sheep, goats, buffalo, swine and rural tourism.    CATI  supervised  BI  execution  according  to  a  physical  and  financial  schedule  and  Casa  de  Agricultura technicians guided organizations in proper practices.  Beneficiary organizations were  required to  comply with  procurement rules. Payment was effected through reimbursement  to  organizations after submission of SOEs or in stages, depending on what was programmed.  CATI  was responsible for internal financial controls.                  84 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Table 1:  Beneficiary Counterpart Formulae   Beneficiaries  Value  % Support  %  Type Counterpart  Counterpart  Producer Associations  Max: R$800,000  Up to 70%  30%    and Cooperatives  Up to 50%  50%  Financial Resources  Associations of  Max: R$200,000  99%  1%  Traditional Communities          ‐Financial resources from other          sources (projects  Environmental  Min: R$100,000  90%  10%  complementing the PDRS,  Subprojects  Max: R$600,000  compatible with its objectives)  ‐Goods and services used for  the proposal  Municipalities (Road  Rehabilitation:      Financial resources/services  Agreements)  Max: R$247,500  90%  20/10/zero %  (technical project and activities  Maintenance:  to address Environmental  Max: R$102,492  Safeguards  Source:  BCR (PLAN 2018)    B. Project‐financed Pilot Payment for Environmental Services – Synthesis of the Project Experience  The project supported SMA’s efforts to pilot and institutionalize PES as a key policy instrument to achieve  its objectives, complementing traditional tools such as the Forest Law.  These efforts built on earlier Bank  support under the Ecosystem Restoration of Riparian Forests in Sao Paulo Project (Projeto Mata Ciliares,  P088009).     Definition:  As  defined  by  Wunder  (2005),  PES  is  a  voluntary  transaction  where  a  well‐defined  environmental service (or a land use likely to secure that service) is being bought by a (minimum  one) service buyer from a (minimum one) service provider, if the service provider secures service  provision (conditionality).  The services being targeted in PES programs area those that provide  indirect benefits: those which are externalities of their providers (e.g., protecting or improving  downstream water supplies, sequestering carbon or conserving biodiversity). In the case of Sao  Paulo,  the  project  piloted  mechanisms  in  which  direct,  conditional  payments  were  made  for  conservation practices intended to generate benefits outside the provider’s property.     PES Programs: The legal basis, origins, experiences and lessons of PES in Brazil are discussed in a  2013  analysis.55  With  project  support,  SMA  developed  and  piloted  several  PES  programs  targeting specific conservation issues, starting with Mina d’Agua in 2012 from which important  lessons  were  learned,  influencing  those  which  followed.  These  pilots  were  innovative  in  integrating rural production and environmental conservation, and in conservation embodying the  principles  of  user‐pays  and  provider‐receiver.  Pilot  activities  were  concentrated  in  the  Paraiba  Valley, a promising area for such activities given SMA’s strong links to farmers through its agro‐ 55 See “The Brazilian Experience with Payment for Environmental Services”, Pagiola, Carrascosa and Taffarello, 2013  85 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) forestry systems projects and other important activities. The following synthesizes the experience  in the cases of Mina d’Agua, CAP‐RPPN (Reserva Privada de Patrimonio Natural), and CAP‐Mata  Ciliares and is sourced from various documents including the BCR (PLAN, 2018).    MINA D’AGUA:    This PES pilot, the first in the State and based on the principles of the Forest Remnants Program  under  the  State’s  Climate  Change  Policy  (Law  1.798  of  2008),  focused  on  the  conservation  of  forest fragments protecting springs supplying public water. Participating landholders were paid  to  maintain  or  restore  forest  cover  around  springs  with  payments  based  on  a  formula  that  considered the degree of conservation, the importance of the spring and local conditions. Mina  d’Agua worked with 21 Municipal Governments, with whom agreements were signed to transfer  state resources, through FECOP, as grants to pay rural landholders.  The municipalities helped to  define activities and the stages of execution and brought in other local partners including private.   A  criterion  for  municipal  selection  was  the  existence  of  a  team  trained  in  this  area,  and  its  responsibilities  were  wide‐ranging  ‐  from  technical  support  to  monitoring  of  farmers’  performance, farmer relations, and carrying out payments.       Each  PSA  used  a  different  selection  methodology.  In  the  case  of  Mina  d’Agua,  the  municipal  Mayors managed the processing and execution cycle based on a set of criteria (see PLAN 2018).  The Mayors were required to sign a contract with SMA and to launch bidding in the format and  schedule  stipulated.  Supported  by  CBRN,  they  defined  a  strategy  for  reaching  out  to/communicating with, producers, who signed renewable contracts with the municipality for 2‐ 5 years. Mayors were responsible for a full range of activities including monitoring of activities  and expenditures, technical support and compliance with terms for payments.      Results: Mina d’Agua is considered largely unsuccessful but critical lessons were learned, fulfilling  its role as a pilot, the first of its kind in the State. The BCR (PLAN 2018) notes that the criteria for  selecting participant municipalities and the complex demands of the pilot itself had an important  bearing on the results achieved in this case.  Despite SMA support to the arrangements for relying  on municipal authorities, the latter had great difficulty in keeping their contracts with SMA current  and  in  launching  the  bidding  process:  their  capacity  to  execute  the  program  was  low.  Thus,  demand  for  this  pilot  was  low.    Further,  Mina  d’Agua  was  launched  at  a  moment  of  intense  uncertainty  about  the  legal  requirements  on  land  use,  and  the  2012  municipal  elections  demonstrated the vulnerability of municipal authorities to turnover and loss of continuity.   Some 55 landholders implemented restoration and conservation in five municipalities between  2011 and 2017 totaling 110 ha directly and 1,572 ha of property overall, benefiting 110 springs,  receiving payments valued at R$49,000.            86 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) CAP‐RPPN:     This PES pilot focused on improving conservation within private nature reserves.  The program  offered  payments  for  landholders  to  conduct  a  variety  of  conservation  activities,  based  on  a  diagnosis of threats. Farmers signed an agreement with FECOP to receive payments, using project  resources  (as  authorized  by  the  Level  2  restructuring  of  2016).    Activities  were  to  maintain  or  expand the provision of eco‐system services in biodiversity conservation and water production.   The program was implemented in the field by the State Forest Foundation under rules adopted  by a state Resolution of 2013.       The calls for proposals and PES execution were modified after the Mina d’Agua experience and  the selection and mobilization strategy was much more efficient. Areas selected showed a high  degree of conservation and assigning values for payments took producers’ efforts into account in  protecting or mitigating against threats. This pilot PES also sought to stimulate the creation of  RPPN state‐wide, as per government policy. The BCR notes that a consultant was contracted to  establish  monitoring  criteria  to  attribute  successes  in  ecosystem  services  in  the  pilot‐affected  area.  A diagnostic was completed but no further work was done.   Results: CAP‐RPPN was successful:   (i) Some 2,000 ha on 19 RPPNs (of the State’s 47 RPPNs) were  impacted  by  the  pilot  with  positive  externalities,  and  expansion  of  initial  activities  to  other  areas.56 Payments totaled R$1.579 million;  (ii) PES financing increased conservationist practices  in RPPN, expanded areas  recuperated/restored, and protected forest remnants; (iii) promoted  the  overall  state  RPPN  program;  the  program  was  widely  disseminated  and  its  executors  are  frequently invited to present the program, resulting in other landholders demanding participation  outside the project; and, (iv) beneficiary landholders were highly motivated to apply other public  conservation  programs  including  those  supporting  forest  fauna  monitoring  areas  on  their  properties.    CAP‐Mata Ciliares:     This PES pilot sought to restore degraded riparian corridors through natural regeneration, and  short‐term activities to protect forest remnants and areas of permanent preservation by keeping  them  free  of  degrading  factors,  thereby  improving  hydrological  services  while  helping  small  landholders meet their obligations under the new Forest Law.  Payments offered were based on  the  estimated  cost  of  fencing  (so  that  natural  regeneration  could  take  hold)  and  on  the  opportunity cost of removing the enrolled area from agricultural production.  The program was  originally  intended  to  be  statewide  but  due  to  the  severe  drought  it  was  re‐focused  on  the  watersheds that provide water to the city of Sao Paulo: the Cantareira, Alto Tiete and Paraiba do  Sul watersheds.      56 Activities included: forest fire avoidance and control; controlling for factors causing degradation of natural areas (animal  incursions); avoiding damage to biodiversity from hunting and wood extraction; protecting forest fauna from having to  compete for habitat and for food.   87 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)  Field activities were conducted by PCM teams and CBRN technicians associated with the Atlantic  Forest Connection Project, in whose area of operation CAP‐Mata Ciliares was located. Payments  to involved landholders were through FEAP/BANAGRO in partnership with SAA.  Legislative action  was  needed  as  this  was  the  first  joint  action  using  the  agreed  financial  and  multi‐ institutional/landholder implementation arrangements. SMA and CBRN managed all stages of its  selection and execution, developing procedures, instruments and supporting materials to assist  local  teams.    These  guides  were  influential  at  all  stages  throughout  PES  execution.  Electronic  formulas  were  developed  to  register  Expressions  of  Interest,  reducing  processing  time.  Implementation  took  12  months.    Mobilization  was  simpler  and  more  focused  than  its  predecessors. Participants were recruited through two calls for interest valued at R$2.2 million,  of which final payments totaled R$1.142 million for fencing, green fertilizers, and fire‐breaks on  77 properties totaling 2,700 ha.       Results:  CAP‐Mata  Ciliares:  (i)  successfully  protected  forest  remnants  and  permanent  preservation areas; (ii) was a major learning opportunity for SMA especially in PES strategy and  procedures; (iii) strengthened SMA’s capacity to implement other PES programs; and, (iv) tested  an alternative flow of funds arrangement (by including SAA and FEAP) while bringing SAA closer  to producers.  Lessons include the need to see dissemination and mobilization as strategic factors,  and teams need to be able to respond to producers’ concerns and provide common case examples  to show beneficiaries.                  Table 2: PSA Beneficiaries, Payments and Area  PSA  # Beneficiaries  Value Paid (R$)  Area (Ha)  Mina d’Agua  55  49,245.00  1,572  CAP‐RPPN  13  1,579,289.00  2,000  CAP‐Mata Ciliar 2017  60  877,169.00  2,700 (aggregate)  CAP‐Mata Ciliar 2018  17  265,152.00  See above  Total:  124  2,770,855.00  6,272    C.    Project Targeting Parameters57  Project  beneficiaries  were  defined  as  associations  and  cooperatives  of  rural  producers  and  traditional  communities of indigenous peoples and  quilombolas involved in activities typically rural agricultural and  non‐agricultural.    Categories of producers:    Family Farmer:  defined as (i) owning and/or exploiting an agricultural area of u to 4 fiscal modules in a  municipality58;  (ii)  obtain  family  income  mainly  from  agro‐livestock  and  non‐agro‐livestock  activities  in  57 Source:  Project Operational Manual, January 2013 (revised 2015).  58 See Operational Manual, 2015, Annex 1 for definition of fiscal module based on location of a municipality.  88 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) that  area;  (iii)  using  mainly  family  labor  for  agricultural  production  and  transformation.    This  includes  artisanal fishermen, quilombola and indigenous communities.   Medium‐scale Producer: defined as: (i) own and/or exploit an area from 4 to 15 fiscal modules in the  municipality; (ii) family income is derived mainly from agro‐livestock and non‐agro‐livestock activities in  the area exploited; or (iii) own and/or exploit total area up to 4 fiscal modules and do not comply with  other requisites for being defined as a Family Farmer. They could not be beneficiaries of the project’s  individual incentives but could participate as part of a collective enterprise (association or cooperative).  Large‐scale Producer:  defined as not belonging to the cohorts described above.  They could not benefit  from the individual incentives but could participate through a collective enterprise.                                                            89 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Appendix 1: SUPPORTING INFORMATION  The following information supports the text and is sourced from the BCR (PLAN 2018), directly from CATI  and SMA, and other project documents.  Table 1:  Training for CATI Staff and Technicians, State‐wide, 2011‐201859  Theme of Training  Type of Public  Total Participants  per Theme  Project Operational Instruments  CATI/PM Staff  5,931  Productive Systems and Markets  CATI/PM Staff  13,092  Project Management  CATI/PM Technicians  1,402  Activities with Traditional Communities  CATI/PM Technicians  261  Project Operational Instruments  Municipal Councils  1,312  Strengthening of Municipal Structures  Diverse: Engineers, Architects,  775  Consultants, CATI/PM Technicians  Environmental Safeguards  CATI/PM Technicians and CBRN/SMA  1,598  TOTAL:     24,371  Source: BCR (PLAN 2018)  Table 2: Training of SMA Technicians and Rural Producers, 2011‐2018  Theme  Rural Producers  Technicians and  Partners  Management of Organizations and Businesses  280  56  Organic and Agro‐Ecological Management  49  66  Markets and Commercialization  53  47  Agro‐Forestry Planning, Management and  864  391  Implementation  Internal Routines and Management  57  868  Environmental Safeguards  58  71  Silvo‐Pastoral Systems  273  132  Activities to promote Studies in Native Species,  56  29  Technology and Experience in Agriculture and  Water ‐ PES  TOTAL:  1,690  1,660  Source:  BCR (PLAN 2018)  Table 3: Training offered to Producers  Institution  # Participations  SMA  1,690  SAA/CATI  65,35460  Total:  67,044                 Source:  BCR (PLAN 2018)  59 Totals imply significant repetition. Individual CATI staff and others participated in multiple training sessions.  60 One producer is likely to have taken several courses.   90 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Table 4:  Investments by Traditional Communities  Productive Chain  # Investment  Subprojects  Olericulture  37  Pupunha  20  Horticulture  14  Manioc  7  Grains  5  Fish Farming  2  Seafood  1  Source: BCR (PLAN, 2018)  Table 5: Subprojects of Traditional Communities  Item  Indigenous  Quilombola  Total  Ethno‐Development Plans  18  29  47  Beneficiary Communities  13  27  40  Community Subprojects  16  71  87  Value (R$ million)  2.6  12.1  14.7         Source: CATI, 2018     Table 6: Distribution of Organizations by Type    Type of Organization  Subproject  Association  Cooperative  NGO  Total  Business Initiatives  218  11  0  229  Indigenous  9  0  0  9  Quilombola  28  1  0  26  Env. Subprojects  16  7  2  25  Total  268 (93%)  19 (7%)  2 (1%)  289  Source: BCR (PLAN 2018)                  91 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Table 7:  Productive Value Chains:  Number of Investments  Value Chain  Number of  Investments  Olericulture  127  Horticulture (fruits)  123  Dairy  53  Coffee  33  Grains  24  Honey  13  Fish Farming  6  Sugarcane  4  Manioc  3  Urucum  3  Rice  2  Poultry  2  Fungiculture  1  Pupunha  1  Source: BCR (PLAN 2018)  Table 9:  Number of Proposals Received and Executed, by Call and Type61  Type of Subproject  Calls for Proposals  Year  Expressions  Proposals  Proposals  of Interest  Approved  Executed    1  2011  135  38  33    2  2012  103  41  30    3  2013  65  35  21  Business Initiatives  4  2013  78  52  40  5  2014  91  61  48  6  2015  146  134  115  Complementary  S/I  ‐‐  ‐‐  42  Total:  ‐‐  ‐‐  450  361  329  Indigenous  NA  NA  ‐‐  10  15  Communities  Quilombola  NA  NA  ‐‐  44  63  Communities  Total:   ‐‐  ‐‐  ‐‐  54  78  Environmental  1  2012  ‐‐  ‐‐  5  Subprojects  2  2013  ‐‐  ‐‐  20  Total:  3        25  PES  Mina d’Agua  2013  ‐‐  60  60  PES  CAP‐RPPN  2016  ‐‐  17  17  PES  CAP‐Mata Ciliares  2017  ‐‐  13  13  PES  CAP‐Mata Ciliares  2018  ‐‐  34  34  Total:  3  ‐‐  ‐‐  124  124  Source: BCR (PLAN 2018)    Data as at September 30, 2018 (best available)  61 As at September 30, 2018 (Best Available)  92 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Map 1:  PDRS Resources Invested in and Location of Traditional Communities (PLAN 2018)    Map 2:  Resources Invested in and Location of Environmental Subprojects (PLAN 2018)    93 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Map 3: Location of Project‐supported Pilots in Payment for Environmental Services (PLAN 2018)    Map 4:  Location of and Resources Invested in Business Initiatives, PDRS (PLAN 2018)            94 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) Map 5: Geographical Distribution of Municipalities attended by the Project (PLAN 2018)    Graphic 1: Distribution of Resources between Initiatives (PLAN 2018)      95 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   Chart 1:  Distribution of Investments by Organization and Percentage (PLAN 2018)      Chart 2: Business Initiatives: Calls for Proposals62                          62 Source: DIME Impact Evaluation Report, 2018  96 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443)   ANNEX 8:   SPLIT ASSESSMENT OF OUTCOME    The table below shows the project outcome when the split rating formula described in the ICR  Guidelines Appendix I, is applied.  Project Outcome Rating applying the Split Evaluation Method  Item  Before Restructuring  After Restructuring  Relevance of Objective  High  Efficacy (PDO)  Negligible  High  1. Increase in sales value for  Negligible (no results available)  High  participating producer  organizations  2. Increase in agricultural area  Negligible (no results available)  N/A (Dropped)  where improved land and  water management practices  are being implemented  3. Number of environmental  N/A  High  instruments and policies  developed and implemented,  measured by: (i) CAR  improved and made available  to rural producers;  (ii) PES programs developed  and adopted by rural  producers.  Efficiency  Substantial  1. Outcome ratings  Unsatisfactory  Highly Satisfactory  2. Numerical value of  2  6    Outcome Ratings  3. Disbursement  US$20.00 million  US$58.0 million  4. Share of Disbursement  25.6% (0.26)   74.4% (0.74)   5. Weighted value of the  0.52  4.44   Outcome Rating (Row 2 X  Row 4)  6. Final Outcome Rating   Satisfactory (0.5 + 4.4 = 4.9)   Rounded to 5.0  Note 1: Highly Unsatisfactory (1); Unsatisfactory (2); Moderately Unsatisfactory (3); Moderately  Satisfactory (4); Satisfactory (5); Highly Satisfactory (6).  Note 2:  The split is only done on Efficacy results, not Relevance or Efficiency.  97 The World Bank Sao Paulo Sustainable Rural Development and Access to Markets (P108443) ANNEX 9: MAP    98