Reporte No. 45327-UY Uruguay: Fortaleciendo la EvaluacMn y el Monitoreo Participativo de la Politica Social - Proyecto de Asistencia TCcnica No Reembolsable Informe de la Fase I1 29 de Septiembre de 2008 OfIcina dePais Argentina, Chile, Paraguay, Urnguay DepartamentodeDesarrollo Sustentable America Latinay Caribe Documento del Bauco Mundisl Unidad Monetaria =Peso Uruguayo ($) 1 US Dolar = 24.3 Pesos Uruguayos 1 Peso = US$0.052 (A1 20 de Agosto de 2008) Abreviaciones y Acrbnimos BID Banco Interamericano de Desarrollo BPS Banco de Prevision Social OSC Organizaciones de la Sociedad Civil DDC Direccion de Desarrollo Ciudadano DrNAE Direccion Nacional de Empleo DrNEM Direccion Nacional de Evaluacibn y Monitoreo GDLN Global Development Learning Network IBTAL Institution Building Technical Assistance Loan IDES Instituto de Investigacion y Desarrollo IEGK Independent Evaluation Group Knowledge INE Instituto Nacional de Estadisticas GOU Gobierno del Uruguay JUNAE Junta Nacional de Empleo LCSHS Social Protection Sector, Latin America and Caribbean (World Bank) LCSPP Poverty Sector, Latin America and Caribbean (World Bank) LCSSO Social Development Sector, Latin America and Caribbean (World Bank) M&E Monitoreo y Evaluacion M&EP Monitoreo y Evaluacion Participative MIDES Ministerio de Desarrollo Social MTD Ministerio de Turismo y Deportes ONG Organizacion No-gubernamental CNPS Consejo Nacional de Politicas Sociales NLTA Non-lending Technical Assistance OPP Oficina de Presupuesto y Planificacion PANES Plan de Atencion Nacional a la Emergencia Social PE Plan de Equidad SIIS Sistema Integrado de Informacion Social TA Asistencia Tecnica TDR Terminos de Referencia TxU Trabajo por Uruguay UY Uruguay Vice Presidente Regional: Pamela Cox Director de Pais: Pedro Alba Director Sectorial: Laura Tuck GerenteSectorial: Maninder Gill Lider deProyecto: William Reuben Tabla de Contenidos 1.Origen e Idea General del Proyecto de Asistencia TCcnica .................................... 4 2.UY NLTA Contribuciones en el marco de la Fase I1para Fortalecer la Capacidad de Analisis de Impacto del MIDES: Anidisis de Pobreza e Impacto Social (PSIA) ................................................................................................................9 Diseiiar programas de capacitaci6n especificamente diseiiadospara personas en situaci6n de pobreza extrema ........................................................................................ 16 Desarrollo de mecanismos detallados para vincula esos programas y aquellos implementados por otras agencias dentro del Ministerio de Trabajo ............................16 Definir las rutas de salida paraj6venes como pilotos con objetivos claros, precisos y evaluables y definir acciones mas consistentes una vez que las acciones piloto se han evaluado rigurosamente ................................................................................................. 16 3.UY UYNLTA Contribuciones de la Fase I1para lograr la operacionalizaci6n del Sistema de M&E: Actividades de Asistencia Tkcnica.............................................. 16 4.Evaluaci6n del UY NLTA: Riesgos, 1,eccionesaprendidas, y recomendaciones .31 Figuras Figura 1:Focalization del PANES................................................................................0 1 Figura 2: Cobertura del PANES ..................................................................................... 11 Tablas Tabla 1:UY NLTA Plan de Actividades, Fase I1............................................................. 7 Tabla 2: Sugerencias incorporadas y no incorporadas a1 PE.......................................... 15 Tabla 3: Principales Diferencias en 10s sistemas de M&E............................................. 25 Tabla 4: Riesgos y Medidas de Mitigation -Fase I1 ..................................................... 31 Cuadro Cuadro 1:Resultados del Analisis del Proyecto Plazas de Deportes realizado por 10s consejos de Tacuaremb6 y Rivera .................................................................................. 20 Uruguay: Fortaleciendo la Evaluaci6n y el Monitoreo Participativo de la Politica Social - Proyecto de Asistencia TCcnica No Reembolsable 1. Origen e Idea General del Proyecto de Asistencia TCcnica 1.1 El Proyecto de Asistencia TCcnica No Reembolsable (UY NLTA por sus siglas en inglCs) se llev6 a cab0 en respuesta a la solicitud de apoyo del Ministerio de Desarrollo Social del Uruguay (MIDES). El MIDES se creo en 2005 para poder llevar adelante el Programa de Asistencia para la Emergencia Social (PANES)' que brindaba una red de proteccion social a 10s uruguayos mas pobres afectados por la devastadora crisis de 2002~.La Administration Vhzquez, que asumio hnciones en Marzo de 2005, procurb mejorar la focalizacion y cobertura de su red de proteccion social a travCs de la evaluacion y el monitoreo participative, e invit6 a1 Banco a apoyar esta iniciativa a travCs de un proyecto de asistencia tdcnica. El diseiio del Proyecto de Asistencia TCcnica ha sido liderado por el MIDES, en tanto que el Banco ha desempeiiado un rol de asesor y guia. Por ejemplo, el alcance del proyecto, su metodologia y resultados esperados fueron definidos en un dialogo con el Ministerio de Desarrollo Social durante una misi6n del Banco en Mayo de 2006. Los tCrminos de referencia (TDR) heron desarrollados de manera conjunta, la seleccion de consultores o firmas consultoras h e realizada en base a las recomendaciones del MIDES, a1 tiempo que 10s productos intermedios heron comentados y revisados de manera conjunta entre 10s equipos del MIDES y del Banco. 1.3 Los objetivos del UYNLTA fueron: (i) evaluar el impact0 de 10sprogramas del PANES; (ii) informar un dialogo sobre el hturo rol de 10s programas de emergencia social y del MIDES como la maxima autoridad responsable de .la coordination y supervision de la politica social en Uruguay; y (iii) fortalecer la capacidad del MIDES para evaluar y monitorear la politica social en el Uruguay, con un considerable Cnfasis en 10s enfoques de monitoreo y evaluacion participativos. 1.4 Los resultados esperados del proyecto fueron: (a) mayor eficiencia en la implementacion de 10s programas sociales del Uruguay a travCs de la consolidaci6n de las bases de datos dispersas y el fortalecimiento del sistema de monitoreo y evaluacion (M&E) del MIDES; (b) mas transparencia y rendicion de cuentas a travCs de la realizacibn de una experiencia piloto de monitoreo y evaluation participativa en determinados departamentos; (c) mayor compromiso y 'El MIDES se cre6 en Marzo 2005 (Ley 17.866) con el objetivo principal de formular, coordinar y supervisar las estrategias de desarrollo social, las politicas, y programas en el Uruguay. El PANES se concibi6 como un programa temporal, compuesto de 8 proyectos/componentes orientados a superar la emergencia social. Se estableci6 que el mismo durarfa dos aflos, hasta mitad del 2007, per0 h e expandido hasta diciembre de 2007. participacion de la sociedad civil en la reforma del sector public0 en Uruguay; y (d) decisiones informadas sobre el futuro de 10s programas de emergencia social en el marco del Plan de Equidad, y sobre el rol del MIDES, basadas en 10s resultados de las evaluaciones de impacto social del PANES. 1.5 La duracidn original del UY NLTA era un aiio. Sin embargo, a fin de hacerlo consistente con 10s tiempos y necesidades del prestatario, las actividades del proyecto se dividieron en dos fases. Cada una de ellas con sus respectivos objetivos y productos especificos. La primera fase del UY NLTA se focaliz6 en apoyar la capacidad del MIDES para llevar a cab0 evaluaciones de impacto social y diseiiar el piloto del sistema de monitoreo y evaluacion participative (M&EP). Esta fase se completo en un aiio3.La fase 11, que se llevb a cab0 a1 aiio siguiente, se enfoc6 a utilizar las capacidades desarrolladas, completar la evaluacion de impacto del PANES y a poner en marcha el sistema piloto de M&EP. 1.6 La fase uno logrd todos 10s resultados esperados. La capacidad institucional del MIDES para realizar evaluaciones de impacto se increment6 a traves de: (i) apoyo para la recoleccion de datos para la evaluacion de impacto y (ii) la realizaci6n de analisis cualitativos y cuantitativos. El diseiio del sistema piloto de M&EP se logro a traves del: (i) desarrollo de 10s tCrminos de referencia (TDR) para diseiiar el software del Sistema Integrado de Informacion Social; (ii) la definicion de 10s indicadores para el sistema de M&EP; y (iii) de la divulgacion, por parte del Banco a1 staff del MIDES, de mejores practicas internacionales en materia de M&EP. 1.7 La recoleccidnde datos se llevd a cab0 a travCs del diseiio de: (i) la encuesta de seguimiento a 10s hogares protagonistas del PANES y (ii) de una muestra especial; y a travds del (iii) analisis de 10s datos disponibles en el registro de beneficiarios. La encuesta incluy6 numerosas variables que permitieron entender la asignacion intrafamiliar de 10s recursos, aspectos de gdnero, y el uso del tiempo en el hogar, entre otros. El marco muestral incluyo un mayor numero de pobres, mujeres jefas de hogar y hogares Afrodescendientes que estaban subrepresentados en la encuesta de hogares regular. El analisis del registro de beneficiarios del PANES permitio evaluar determinadas actividades, haciendo un analisis comparativo entre ciudadanos que salieron del programa y ciudadanos similares que ingresaron a1programa durante el mismo periodo. 1.8 Los analisis cuantitativo y cualitativo dotaron a1 MIDES de metodologias comprehensivas para una evaluacidn abarcadora del impacto del PANES. La evaluacion de impacto cuantitativo se baso en analisis comparativos y de contra facto a travds de metodologias estadisticas complementarias. Los datos utilizados para el analisis se tomaron de la encuesta de seguimiento del PANES y de otras fuentes estadisticas. El analisis de impacto cualitativo se baso en una serie de hipotesis que se testearon a traves de "fotos instantheas" tomadas a 10s protagonistas, que evaluaban su satisfaccion y expectativas acerca del prograrna. 3La entrega de reporte fmal de la fase I se hizo el 20 de septiembre de 2007. Asimismo, las hip6tesis heron testeadas a travCs de evaluaciones de trayectoria que rastrearon la inserci6n de 10sprotagonistas en el mercado de trabajo. 1.9 Los TOR para el disefio del software para el Sistema Integrado de Information Social (SIIS) incluyeron un completo mapa de ruta. Los mismos abarcaron desde la identificaci6n de 10s recursos fisicos y tecnol6gicos, asi como 10s medios de comunicaci6n existentes en la plataforma tecnol6gica del MIDES, hasta la descripci6n de todos 10s requisitos tCcnicos que el MIDES necesitaria para la instalaci6n del data warehouse y la adquisici6n de un servidor propio. 1.10 A fin de definir 10s indicadores para el sistema de M&EP, el MIDES evalu6 la utilidad y la pertinencia en la materia, de una serie de sistemas internacionales, regionales y nacionales de indicadores socioecon6micos. En base a la informaci6n revisada y tomando en consideraci6n la disponibilidad de datos en Uruguay, se defini6 un conjunto de indicadores. La primera selecci6n recogi6 350 indicadores, que luego heron refinados a 200. Alguno de ellos son calculados por otras agencias, en tanto que otros son elaborados por el NIIDES. 1.11 El ultimo product0 de la fase I consistid en una jornada de capacitaci6n sobre mejores prsicticas en M&EP por parte de 10s especialistas del Banco a cargo del proyecto. El equipo del UY NLTA comparti6 con 10s profesionales de la Direcci6n Nacional de Evaluation y Monitoreo (DINEM) diferentes tCcnicas de rendici6n de cuentas como Evaluaciones Rurales Participativas, Encuestas de Revisi6n de Gastos, Tarjetas Comunitarias Puntaje y Tarjetas de Reporte Ciudadano a fin de que el MIDES estuviese mejor preparado para desarrollar su sistema de M&EP. 1.12 La fase I1 se construy6 sobre 10s hallazgos y resultados de la fase I, con el propdsito de alcanzar 10s objetivos del proyecto y 10s resultados esperados. La misma se organiz6 en dos componentes: Andisis de Impacto Social y Basado en la Pobreza (PSIA, por su sigla en inglds) y Asistencia TCcnica (AT). EL componente PSIA combin6 una serie de contribuciones tCcnicas para llevar a cab0 la evaluaci6n de impact0 del PANES a1 tiempo que ofreci6 insumos para un dialog0 sobre el Plan de Equidad (PE), el programa diseiiado por el Consejo Nacional de Politicas sociales4.El componente de AT apoy6 a la DINEM y a la Direcci6n de Desarrollo Ciudadano (DDC) para llevar adelante el SIIS y el sistema piloto de M&EP, respectivamente. 1.13 Los resultados de la fase I1 incluyeron 10s siguientes productos, que se desarrollan en este reporte. Los hallazgos del PSIA se sintetizaron en una (i) nota tCcnica5. Los productos resultantes de la AT heron: (ii) capacitaci6n para consolidar ocho consejos sociales; (iii) la implementaci6n del piloto de M&EP en Rivera, Paysandh, y Tacuaremb6; (iv) la puesta en marcha del Sistema Integrado 4El Plan Nacional de Equidad es un Nuevo programa interministerialque contiene, entre otras, las transferenciascondicionadas.Ver punto 2.3. "Del PANES a1Plan de Equidad,Nota Tdcnica," Mayo 2008. Adjunta en el Anexo 1, y tambidn disponible en http://www.bancomundial.org/uy,en la secci6n "Publicaciones e informes." de Informaci6n Social; (v) la creaci6n de un espacio inter-institucional y territorial para el dialog0 sobre politicas publicas y; (vi) un taller internacional para refinar el diseiio del sistema de M&E del MIDES. 1.14 El resto de este reporte estsi organizado de la siguiente manera: la secci6n dos incluye una descripcion de 10s principales resultados de la fase I1junto con una reflexidn sobre el proceso de implernentaciony la utilidad de esos productos. Esta seccidn se divide en tres subsecciones: A. Contribuciones para Fortalecer la Capacidad de Analisis de Impacto del MIDES; B. Asistencia tecnica para hacer el sistema de M&EP operativo; y C. Taller Internacional sobre M&E. La seccion 111 aborda 10s riesgos materializados y 10s principales problemas de implernentacion que se evidenciaron en la fase 11. El reporte finaliza con la secci6n IV que incluye lecciones aprendidas, la agenda pendiente, y 10sfuturos pasos. 1.15 El reporte se basa en diferentes tipos de insumos. Por un lado, se consideran todos 10s informes de consultoria producidos durante la fase 11; estos informes se incluyen en el Anexo I. Por otro lado, el reporte incluye las opiniones de numerosas autoridades y tecnicos del MIDES, recolectadas en una mision a Montevideo el 9 de Agosto (ver Anexo I1 para el reporte de la mision). Finalmente, se tomaron en cuenta las exposiciones de 10s panelistas internacionales del taller sobre M&E y reportes oficiales del MIDES (Anexo 111). Tabla 1: UY NLTA Plan de Actividades, Fase I1 Discusi6n con el gobierno sobre su interes en promover una experienciapiloto para fortalecer a la sociedad civil en materia de supervisiondel gasto pdblico y el presupuesto en el marco de la iniciativa C-GAC, auspiciada por el Banco. Identificaci6nde necesidadesde asistenciatdcnica en el context0 de una nueva Estrategia de Asociaci6n con el Pais. 19-21,Mayo 2008 William Taller intemacional con el MIDES Reuben (LCSSO) Dialogo sobre el trabajo futuro del Banco y el MIDES Rafael Rofman Supervision de las actividades de la fase I1 (LCSHS) Manuel Fernando Castro Quiroz (IEGKE) Eri Watanabe (LCSSO) 8 Agosto, 2008 Marisa Miodosky Recoleccion de information para el informe final de (Consultora, LCSSO) la Fase I1 Fuente:Equipo del Banco 2. UY NLTA Contribuciones en el marco de la Fase I1 para Fortalecer la Capacidad de Analisis de Impacto del MIDES: Analisis de Pobreza e Impacto Social (PSIA) El 19 de Mayo de 2008 una Nota TCcnica basada en 10s hallazgos de diversas evaluaciones cuantitativas y cualitativas fue presentada oficialmente a autoridades clave del MIDES~.Las evaluaciones usadas en la nota incluyen un analisis de la primera y la segunda ronda de las encuestas del PANES, un estudio cualitativo de determinados programas principalmente Rutas de Salida y Trabajo por Uruguay (TxU), un perfil socioeconomico de 10s beneficiaries del PANES, y un analisis cuantitativo sobre las transferencias de ingreso en Uruguay. Todas estas evaluaciones formaron parte del PSIA previsto en el proyecto UY NLTA. 2.2 La Nota fue el resultado de un esfueno colectivo de 10s equipos del Banco y de la DINEM. El equipo del Banco elabor6 el primer borrador que fue luego revisado por 10s tkcnicos de la DINEM, quienes le hicieron cambios significativos. Esta version fue luego discutida con el equipo del Banco. Finalmente, las dos partes acordaron en una versi6n final del documento. Para 10s tecnicos de la DINEM, el proceso de elaboration de la nota constituy6 otra experiencia de capacitacion, puesto que aprendieron a "decir mucho en pocas palabras", hecho infrecuente per0 altamente valorado en la cultura uruguaya. 2.3 La nota se focalizo en proveer sugerencias, basadas en el ansilisis, para la implernentacion del Plan de Equidad. Este nuevo Plan se compone de una sene de proyectos destinados a proteger a 10s ciudadanos uruguayos de diferentes riesgos, que enfrentan a lo largo de su vida. Uno de sus componentes principales esta diseiiado para operar como un esquema reformado de asignaciones familiares. Tal como lo sugiri6 la evaluacion del PANES, el monto de la asignacion otorgada por el PE sera superior a1 otorgado por su antecesor, a1 tiempo que aumentara con el nivel educativo de 10s hijos del hogar. La transferencia sera aim mayor para las familias con hijos que asistan a la escuela secundaria. 2.4 La primera parte de la nota se concentra en el impacto del componente Ingreso Ciudadano (IC). IC fue uno de 10sprincipales componentes del PANES. El mismo consistio en un programa de transferencias condicionadas que proveia un ingreso suplementario a 10s hogares en situation de pobreza extrema. Si el programa no se hubiese implementado, el indice de pobreza extrema hubiese aumentado en un 50% en 2006, de 2.87% a 4.27%. Asimismo, el porcentaje de pobres habria sido levemente superior: 27.8% en comparacion con 27.5% en 2006. La desigualdad tambien hubiese sido m h elevada, en tanto que 10s costos anuales de transferencias hubiesen decrecido en un 0.31% del PIB. En 2007 y "Del PANES a1Plan de Equidad", Nota Tdcnica idem nota a1pie 5. 2008, en un context0 de estabilidad macroeconomica, el indice de pobreza se redujo a 26.0. (a1primer semestre 2008 es de 21,7) 2.5 Un estudio del Banco Mundial (Rofman 2007) concluye que el IC es uno de 10s programas de transferencias condicionadas mas exitosos de AmCrica Latina, en tCrminos de efectividad en la focalizaci6n7. Mas del 75% de 10s beneficiarios del IC pertenecen a1 quintil mas pobre de la poblacidn (ver Figura 1). El IC fie tambien mas eficiente que otros programas de transferenqias de ingresos en el Uruguay. Sin embargo, la cobertura del IC ha sido limitada, alcanzando solo a un poco mas del 50% de 10s pobres extremos (ver Figura 2). Ademas, dado que el 14% de 10s pobres extremos no solicitaron el programa, se estima que hubieron limitaciones en la difusion del mismo. Las evaluaciones de la DINEM concluyen que un amplio porcentaje de 10s que no recibieron 10s beneficios del PANES, desconocian su existencia. Finalmente, un 30% de 10s pobres extremos que aplicaron a1programa heron rechazados como beneficiarios. Puesto que el Plan de Equidad tiene planificado aumentar progresivamente su cobertura, la Nota Tecnica sugiere disefiar esquemas oportunos de dihsion del PE a traves de radios comunitarias y otros medios locales de manera que la informaci6n pueda alcanzar a la poblacion en pobreza extrema, no cubierta por el PANES. Pigura 1: Focalizaci6n del PANES I II Ill IV v Fuente: Rofinan et a1(2007) 7Rofman et al, 2007. "Income Transfer Policies in Uruguay: Closingthe Gaps to Increase Welfare, World Bank. Figura 2: Cobertura del PANES Pobres Pobres Non pobres extremos rnoderados ( Fuente: Rofman et a1 (2007) Banco Mundial 2.6 La superposici6n de 10sprogramas de transferencias de ingresos representan un problema aun cuando la cobertura de aquellos incluidos en el quintil mas pobre ha aumentado en 10s ultimos cinco aiios. Los hogares pobres que recibieron el IC y la tarjeta alimentaria, tambiCn recibian otras transferencias contributivas y no contributivas. Dado que el sistema de asignaciones familiares se ha expandido en el marco del Plan de Equidad, el Ingreso Ciudadano queda eliminado. De esta manera, se evitan 10s problemas de solapamiento y 10s altos costos administrativos asociados a1 IC. La nota recuerda la importancia de mantener y mejorar 10s vinculos entre las asignaciones familiares y otros programas y servicios sociales, lo cual fue realizado exitosamente por el IC y 10s otros componentes del PANES. 2.7 La segunda parte de la nota se concentra en las evaluaciones de impact0 cualitativo del programa Trabajo por Uruguay (TxU). TxU h e uno de 10s componentes mas visibles del PANES. El mismo provey6 a sus beneficiarios de una remuneration (el doble que la asignacion del IC) por un tiempo limitado, a cambio de que 10s mismos realicen trabajos sociales/comunitarios y que se capaciten para adquirir nuevas calificaciones que les permitan reintegrarse a1 mercado de trabajo. TxU fue administrado por OSC. 2.8 La evaluaci6n de TxU enfrentd una serie de limitaciones. Primero, el programa tenia una serie de objetivos dificiles de evaluar. Segundo, 10s modulos de capacitacion carecian de objetivos operativos claros. Tercero, 10s objetivos de TxU no diferenciaban a las personas temporalmente pobres (Ej. aquellos afectados por la crisis econ6mica) y a 10sestructuralmente pobres. 2.9 Por otro lado, la evaluacidn mostrd una limitacidn importante en el diseiio que result6 en un Programa orientado hacia las mujeres. Como se mencion6 previamente, TxU establecia como requisito que 10s beneficiarios participen en una serie de actividades comunitarias. Dichas actividades implicaban una importante cantidad de tiempo que no podia asignarse a trabajos ocasionales o "changas". Este costo de oportunidad era tipicamente muy alto para 10s hombres, que prefirieron abandonar el Programa. Alrededor de un 72% de 10s beneficiarios de TxU fueron mujeres. 2.10 TxU desafid una serie de estereotipos sobre trabajos tipicamente masculines. M,uchas de las tareas asignadas, que supuestamente debian ser realizadas por hombres (ej. trabajos de infiaestructura), fueron llevadas a cab0 por mujeres. Dichas mujeres no s610 cumplieron satisfactoriamente con su trabajo, sin0 que sintieron orgullo y disfrutaron de las tareas realizadas. Este hallazgo resalta la importancia de considerar el perfil de 10s participantes, la segregation ocupacional por genero, y 10scriterios de autoselecci6n en el diseiio de 10snuevos programas laborales para poblaci6n en situaci6n de pobreza extrema. 2.11 TxU tuvo un impacto positivo en el ingreso promedio de sus beneficiarios. Alrededor de un 77% de 10s hogares incrementaron su ingreso, per0 ese ingreso fue inferior que la cantidad de dinero recibida. El monto adicional fue usado principalmente para gastos corrientes, asi como para inversiones (Ej.: reparaci6n de electrodom~sticosy cancelaci6n de deudas). 2.12 El Programa tuvo mais dificultades para incrementar las capacidades laborales o las habilidades especificas de 10s beneficiarios. De acuerdo con 10s participantes entrevistados, las actividades que ellos llevaron a cab0 no implicaron un aumento de sus conocimientos, sin0 que consistieron en tareas de rutina, no valoradas socialmente. Sin embargo, el programa fue exitoso en desarrollar algunos cambios en las conductas de 10s participantes, principalmente en lograr el trabajo en equipo. 2.13 La evaluacidn cualitativa de TxU concluye que el Programa tuvo un impacto positivo en el capital social horizontal de sus protagonistas. Los protagonistas se efectuaron mas controles medicos y aumentaron su conocimiento sobre derechos sociales, particulannente en el carnpo de la violencia familiar. El conocimiento y empoderamiento para relacionarse con otras instituciones u organizaciones (capital social vertical) fue minimo, lo cual continua siendo un desafio para el PE. 2.14 El componente productivo del Programa fue inefectivo. El componente proveia informaci6n acerca de c6mo establecer y administrar un microemprendimiento. Sin embargo, mostr6 limitaciones en la provisi6n de servicios especificos y en vincular a 10s protagonistas con instituciones de otorgamiento de credit0 o capital. Los protagonistas de este componente no evidenciaron ningun aurnento en el ingreso de sus hogares. 2.15 La Nota TCcnica provee algunas claves para debatir c6mo el Plan de Equidad podria sortear las dificultades asociadas con estos resultados. Un aspect0 importante tiene que ver con las caracteristicas de las OSC encargadas de proveer capacitacion. La nota tCcnica hace tres sugerencias clave para mejorar 10s resultados del Programa: (i) seleccionar OSC por sus capacidades de entrenamiento y experiencia en la promotion de empleo; (ii) dar a 10s participantes la posibilidad de elegir 10s proveedores de servicios, a fin de asegurar la calidad de 10s servicios y la compatibilidad entre las necesidades de capacitacion y la provision de 10s servicios; e (iii) instalar mecanismos de calidad de control, por ejemplo pennitir que 10s participantes evaluen 10s materiales y la capacitacion recibida. 16 Otro tema discutido en la nota refiere al tipo de calificaciones/capacitaci6n que debe ser promovida por 10s programas de empleo. La mayoria de 10s participantes de TxU se capacitaron en "habilidades no transferibles". Sin embargo, "las habilidades transferibles", como ser el aprendizaje de un idioma, podrian tener mayores beneficios potenciales. La nota sugiere que el Plan de Equidad incluya programas de capacitacion tanto en habilidades "transferibles" como "no transferibles. Finalmente, la nota destaca la necesidad de instalar un sistema riguroso de M&E para el PE que combine monitoreo y evaluaci6n con mecanismos de rendition de cuenta y participacibn ciudadana. Afortunadamente el MIDES esta avanzando finnemente en esa direction. Los esfuerzos llevados a cab0 por numerosas instituciones asociadas con el PE para vincular diferentes bases de datos es un paso clave para consolidar el sistema de M&E. Este esfuerzo deberia tener un solido apoyo gubernamental y apoyo de la cooperation international. El Banco Mundial ayudo a organizar un seminario sobre sistemas de M&E con el objetivo de acercar a1 MIDES mejores practicas regionales en la materia (Ver punt0 111C). 2.18 La nota tambiCn promueve desarrollar mecanismos de control de calidad para 10s servicios, con participacibn de 10s protagonistas de 10s programas. Concretamente se propone utilizar instrumentos que recojan la perception de satisfaccion de 10s protagonistas basada en el conocimiento de 10s estiindares de calidad. La utilization de estos instrumentos, junto con la informaci6n generada por el sistema participativo de monitoreo, sera clave para que 10s ciudadanos puedan demandar rendicion de cuentas de 10s prestadores de servicios de una manera efectiva y organizada. Ademas, la nota sugiere explorar las posibilidades de instalacion de Centros de Atenci6n Ciudadana a lo largo del pais para apoyar estos esfuerzos. Estos Centros podrian facilitar information sobre derechos ciudadanos y canalizar las opiniones de 10s ciudadanos a 10s hacedores de politica. 2.19 Sin lugar a dudas, el desafio mas importante de cualquier programa de capacitacidn es su vinculaci6n con el mercado de trabajo y la demanda de empleo. Para dar respuesta a este desafio (que afecta a 10sprogramas laborales en todo el mundo), la nota provee ejemplos de MCxico (Programa CIMO). Parte de esta experiencia ha sido incorporada en el disefio del PE. Un subsidio (el 60% del salario de 10s hombres y el 80% del salario de las mujeres, con un limite de un salario y medio) sera entregado a determinadas firmas para la contrataci6n de personal. La nota destaca el potencial incentivo negativo que esta medida podria causar a1 motivar a 10s empresarios a reemplazar trabajadores por "empleados subsidiados" y sugiere evaluar empiricamenteel nivel apropiado del subsidio. 2.20 En base a 10s resultados de la evaluacibn, el PE retoma el desarrollo de las capacidades de 10s participantes y de las calificaciones laborales en el marco del diseiio de programas laborales especificos: Programa Uruguay Trabaja, un programa de empleo p6blico con un componente de capacitaci6n y el Programa Incentivo a la Contrataci6n en el sector Privado. Asimismo la nota sugiere: (i) disefiar programas de capacitaci6n especificamente disefiados para personas en situation de pobreza extrema ;y (ii) el desarrollo de mecanismos detallados para vincular esos programas y aquellos implementados por otras agencias dentro del Ministerio de Trabajo (DINAE y JUNAE). 2.21 El PANES es uno de 10s pocos programas en el mundo que incorpor6 la noci6n de "rutas de salida" en su diseiio. "Construyendo Rutas de Salida" fue uno de 10s componentes del PANES orientado a proveer oportunidades para el desarrollo personal y la integraci6n ciudadana, como medios para superar la pobreza. La evaluaci6n cualitativa destaca importantes mejoras en la autoestima de 10s protagonistas/beneficiarios y en su auto percepci6n. Estos cambios repercutieron positivamente en 10s comportamientos de 10s protagonistas del programa ya que rompieron con su situaci6n de aislamiento y exclusibn, que en muchos casos perpetfia la pobreza por generaciones. 2.22 En base a la experiencia exitosa del PANES, el PE ha incorporado una serie de acciones orientadas a construir "rutas de salida" para adolescentes. Estas acciones seran desarrolladas por el Instituto Nacional de la Juventud con la participaci6n de gobiernos locales y de organizaciones comunitarias. Si bien, esta mirada particular sobre 10s j6venes y la provisi6n de oportunidades para involucrar a la poblaci6njoven y atender sus necesidades especificas es un avance muy positivo, el mismo conlleva el riesgo de dispersar y superponer esfuerzos, a1 tiempo que dificulta el M&E de esas acciones. La Nota sugiere definir dichas acciones como pilotos con objetivos claros, precisos y evaluables y definir acciones mas consistentes una vez que las acciones piloto se han evaluado rigurosamente. Esta sugerencia se basa en la participaci6n de 10s j6venes en 10s pilotos de M&EP llevados a cab0 por el MIDES con el apoyo del Banco Mundial. 2.23 De acuerdo con el staff de la DINEM, la Nota ha sewido para posicionar a esta Direccidn como un actor clave en el procesamiento y la provisidn de informacidn para la toma de decisidn politica. La Nota fue ampliamente distribuida entre 10s directores sectoriales, gerentes de programas y alcaldes a lo largo del Uruguay. Asimismo, la Nota se present6 en el Consejo Nacional de Politicas Sociales donde todos 10s ministros "sociales" esth representados. Un hecho destacable es que la Nota h e discutida en el congreso como sugerencia de la oposicion y h e utilizada para defender la estructura del MIDES. Un efecto colateral de la publicacion de la Nota, h e que la misma sirvio para que la audiencia pudiese entender mejor las diferencias entre el PANES y el PE. 2.24 Asimismo, la Nota permitio que el MIDES y la DINEM pudieran dar a conocer la experiencia del PANES internacionalmente.De acuerdo con el staff de la DINEM, el hecho de que la Nota haya sido publicada conjuntamente con el Banco abrio el espectro de lectores y de oportunidades para el intercambio. La Nota h e publicada en la pagina web del MIDES y nurnerosos medios reportaron acerca de la misma y sus hallazgos. Ademas, el staff del Banco public6 10spuntos principales de la Nota en la revista En Breve, que se distribuye en toda America Latina. Tabla 2: Sugerenciasincorporadasy no incorporadas a1 PE Sueerencia Incluida en el PE No Incluida en el PE Diseiiar esquemas oportunos de dihsi6n d e l ' ~ traves de radios a ~ comunitarias y otros medios locales de manera que la informaci6n pueda alcanzar a la poblacion en pobreza extrema, no cubierta por el PANES. Mantener y mejorar 10svinculos J entre las asignaciones familiares y otros programas y servicios 1 - ~ sociales. Seleccionar a las ONG a cargo I J de 10s entrenamientos laborales por sus capacidades de entrenamiento y experiencia en la promoci6n de empleo. Dar a 10s participantes la posibilidad de elecci6n de 10s proveedores de servicios. de control por ejemplo permitir que 10s participantes evaluen 10s materiales y la capacitacion recibida. Incluir programas de capacitacion J tanto en habilidades "transferibles" como "no transferibles. lnstalar un sistema riguroso de M&E para el PE que combine direccion'l I I monitoreoy evaluzici6ncon mecanismosde rendici6n de cuentay participaci6n ciudadana. I Desarrollar mecanismosde J (avanzandohacia esa control de calidad para 10s servicios, con participaci6nde 10s protagonistas de 10s programas 1(Centros de Informaci6n Ciudadana) I DiseBar programas de I J I capacitaci6n especificamente diseiiados para personas en situation de pobreza extrema Desarrollo de mecanismos 4 detallados para vincular esos programas Y aquellos implementadospor otras agencias dentro del Ministeriode Trabajo. 1Definir las rutas de salida para jovenes como pilotos con objetivos claros, precisos y evaluables y defmir acciones n~hs consistentes una vez que las acciones piloto se han evaluado rigurosamente. Evaluar empiric'amente el nivel J apropiado del subsidio de empleo. 3. UY UYNLTA Contribuciones de la Fase I1 para lograr la operacionalizacion del Sistema de M&E: Actividades de Asistencia Tecnica 3.1 La asistencia tkcnica a1 MIDES se llevo a cab0 a travks de tres tipos de actividades, todas ellas orientadas a fortalecer la capacidad del Ministerio en materia de M&E. Debido a la escasez de recursos y limitaciones institucionales y contextuales, la DDC, la DINEM y el staff del Banco decidieron organizar dos grupos de consejos sociales para el piloto de M&EP. Por un lado, ocho consejos fueron seleccionados para ser capacitados en M&EP y Politicas Publicas. Por otro lado, otros tres consejos fueron elegidos para llevar a cab0 el piloto de de M&EP. Finalmente, a mediados de Mayo se llevo a cab0 un taller international sobre M&EP. A. Capacitacion a 8 Consejos Los consejos sociales de San JosC, Bella UnMn, Salto, Lavalleja, Maldonado, Durazno, Cerro Largo y Florida fueron seleccionados para ser capacitados en Politicas Publicas y M&EP. El MIDES seleccion6 a estos consejos por dos razones. Por un lado, ellos cumplian con las condiciones minimas requeridas para que la capacitacion sea viable (Por ejemplo: 10s consejos ya habian organizado varios encuentros con anterioridad a la capacitacion). Por el otro, el MIDES estaba convencido de que la capacitacion seria particularmente importante para el fortalecimiento de 10sconsejos. Los concejos sociales tienen como cometido (i) la construcci6n de la agenda social departamental asi como (ii) el monitoreo, la evaluacibn y la elaboracibn de recomendaciones sobre las politicas publicas sociales desarrolladas a nivel territorial. Los mismos esth integrados por actores sociales departamentales de diverso grado de organization y areas de trabajo, con capacidad para proponer, aportar y acompafiar las politicas ptiblicas. El Estado nacional a travCs del MIDES, promueve la conformacion de estos consejos en cada departamento del Uruguay y 10s apoya a travCs de capacitacion y facilitando su intercambio con otras instituciones gubemamentales. 3.4 El objetivo general de la capacitacion fue contribuir a1 fortalecimiento de 10s consejos sociales como actores locales. Los objetivos especificos de la capacitaci6n fueron: (i) proveer a 10s consejos con herramientas conceptuales y metodol6gicas a fin de aumentar su capacidad para diseiiar y analizar politicas publicas locales; (ii) brindar instrumentos para el seguimiento, evaluaci6n y control de las politicas sociales; (iii) promover el contact0 y coordinaci6n de 10s consejos con otros actores a fin de fortalecer sus capacidades organizativas, de comunicacion y de negociacion; y (iv) apoyar a 10s Consejos Sociales para incrementar su empoderamiento, capacidad de representation e incidencia a nivel local. 3.5 El Instituto de Investigacibn y Desarrollo (IDES) fue seleccionado para capacitar a 10s consejos. Se organizaron cuatro talleres de seis horas cada uno, totalizando 24 horas (en promedio) de formacion en cada uno de 10s consejos. La capacitacion comenz6 en Abril de 2007 y finaliz6 en Diciembre de ese aiio. La DDC convoc6 a 10sparticipantes, organiz6 10s aspectos logisticos y supervise 10s talleres. 3.6 Un promedio de 28 personas participaron en 10s cuatros encuentros de capacitacion. La presencia de las organizaciones que conforman 10s consejos fue constante a lo largo de las reuniones. Sin embargo, en algunos encuentros las personas que representaban a la organizaci6n no fueron las mismas. Alrededor del 35% de 10s participantes asistieron a 10s cuatro encuentros. Hubo una alta presencia de participantes mujeres (77% en promedio). La mayoria de 10s participantes provinieron del Area urbana y forman parte de organizaciones tales como: gremios, organizaciones culturales, asociaciones deportivas, instituciones vinculadas a la salud, la educacidn (secundaria y terciaria), religiosas, entre otras. 3.7 La diversidad en 10s perfiles de 10s participantes, en sus niveles de educaci6n y sus diferentes ocupaciones fueron muy positivos para la experiencia. Esta pluralidad permitid (con algunos conflictos) encontrar y construir formas adecuadas de comunicar y transmitir 10s conceptos adquiridos en la capacitacidn a1resto de la comunidad. Se convivid en un clima de trabajo ameno y de respeto, lo cual fue determinante para el Cxito de la experiencia. 3.8 La metodologia utilizada durante la capacitacibn se bas6 en 10s conocimientos previos de 10s participantes e incorpor6 nuevos conceptos e informacibn. Los tiempos y contenidos de 10s talleres fueron adaptados a las condiciones y necesidades especificas de cada consejo. Se utilizaron diversas tecnicas participativas orientadas a promover el intercambio de ideas. En cada sesidn, se realizd una devolucidn sistematica de las principales ideas discutidas, en tanto que las conclusiones se sintetizaron en una ayuda memoria que fue leido a1 inicio de la siguiente sesidn. 3.9 La capacitacibn fue extremadamente funcional para la consolidaci6n de 10s consejos. En la mayoria de 10s casos 10s miembros de 10s consejos contaban con una limitada experiencia en materia de participacidn en las actividades del consejo, de mod0 que su integracidn como equipo era precaria. Asimismo, las organizaciones a quienes ellos representaban eran deficitarias en el trabajo en red. En este sentido, la capacitacidn fue muy util para sentar una plataforma para la futura coordinacidn de actividades. 3.10 Asimismo, la capacitacibn dot6 a 10s consejos con nuevos conceptos, metodologias y herramientas que contribuyeron a su empoderamiento. Los conceptos y temas analizados,junto con el conocimiento adquirido en metodos y herramientas especificos de M&E permitieron a 10s consejos visualizar y pensar nuevas posibilidades y vias para tener influencia en las politicas publicas locales. 3.11 A pesar de 10s resultados positivos mencionados previamente, debe reconocerse que las capacitaciones que se dan s610 una vez, no son el mejor medio para capacitar a la sociedad civil. En caso de que existan mayores recursos (presupuesto, recursos hurnanos, etc.) y tiempo, es mas efectivo organizar un plan de capacitacidn que combine talleres y clases con actividades practicas tal como se hizo en el piloto de evaluacidn participativa (ver la seccidn siguiente). En dicha experiencia 10s consejos fueron capacitados con una metodologia que se ajust6 a sus necesidades y en el marco de la capacitacidn se elaborb un product0 final. B. Pi1oto.sde Evaluacion Participativa 3.12 El MIDES selecciond a 10s consejos sociales de Rivera, Tacuarembd y Paysandu para llevar a cab0 la experiencia piloto de M&EP. El criterio de selecci6n para Rivera y Tacuaremb6 se bas6 principalmente en que dichos consejos tenian una experiencia previa de trabajo mas larga que sus pares, que contaban con niveles de organizaci6n suficientes y que eran concientes de las implicancias de tomar una nueva responsabilidad. En el caso de Paysandu, el consejo h e seleccionado porque su propia agenda de trabajo incluia el monitoreo y la evaluaci6n de un programa social local. 3.13 El objetivo principal del piloto de M&EP fue fortalecer a 10s tres consejos sociales como actores locales a travds de la experiencia de evaluar un programa social, desde una perspectiva basada en derechos. Los objetivos especificos del piloto heron: (i) desarrollar un product0 concreto a partir de la evaluaci6n participativa y (ii) contribuir a la construcci6n de la voz publica de 10s consejos a traves de la diseminaci6n y la utilization de 10s resultados de la evaluaci6n. Ademhs de la responsabilidad de la DINEM, el IDES tuvo a su cargo el asesoramiento tCcnico en la implementaci6n del piloto de M&EP. 3.14 La experiencia se desarrolld en dos etapas. La primera tuvo lugar en Rivera y en Tacuaremb6 durante el period0 Abril-Agosto de 2007. En base a las lecciones aprendidas en esos dos pilotos, la experiencia h e luego llevada a cab0 en Paysandu (SeptiembreIOctubre). La DDC tuvo las responsabilidades de convocar a 10s miembros de 10s consejos, organizar aspectos logisticos y supervisar junto a la DINEM el trabajo del IDES. El 89% de las organizaciones (en promedio) que componen cada consejo participaron del piloto. 3.15 Los consejos de Rivera y Tacuarembo seleccionaron "Programas para Jdvenes" como el tema de politica publica a ser monitoreada, en tanto que Paysandu eligi6 Servicios Publicos de Salud Mental. Los dos primeros consejos ya habian trabajado con programas de jovenes previamente a1 piloto. Ambos consejos eligieron el proyecto Plazas de Deportes, que depende del Ministerio de Turismo y Deportes (MTD). El consejo de Tacuaremb6 tambien eligi6 el proyecto Centros de Barrios, el cual es muy similar a Plazas de Deportes, per0 esta bajo la 6rbita de las municipalidades y es administrado por 10s vecinos8. Paysandu seleccion6 el Servicio de Internaci6n Psiquiatrica en el Hospital Escuela del Litoral. 3.16 Las preguntas seleccionadas por 10s consejos se orientaron mais a evaluar que a monitorear 10s proyectos seleccionados.Los instrumentos para la recolecci6n de la informaci6n en Rivera y en Tacuaremb6 incluyeron: (i) tarjeta comunitaria de puntaje; (ii) entrevistas en profundidad a informantes clave; y (iii) observaci6n participantes en espacios recreativos. El consejo de Paysandu seleccion6 10s 8Dado que Plaza de Deportesy Centros de Barrio son pr6cticarnente el rnisrno proyecto, en este reporte se hace referencia solarnente a Plaza de Deportes, pero 10s dos proyectos se incluyen en el analisis. siguientes mktodos e instrumentos de investigacibn: (i) revisi6n de literatura; (ii) una encuesta a 10s parientes de 10s pacientes; y (iii) entrevistas en profundidad a informantes clave. 3.17 Los procesos de seleccidn del tema a ser evaluado y de definicidn de las preguntas y la metodologia contribuyeron a la consolidacidn de 10s consejos como entidades unificadas. Previo a esos procesos, 10s participantes se visualizaban a si mismos como miembros de una organization. Despuds del proceso, ellos se percibieron a si mismos como agentes sociales, miembros de una entidad colectiva con capacidad de incidencia en el proceso de decisi6n de las politicas sociales. 3.18 El IDES tuvo a su cargo el diseiio de la encuesta y la tarjeta cornunitaria de puntaje, en base a las propuestas de 10s consejos. El Instituto fue tambikn responsable de "aplicar" dichos 10s instrumentos. Los consejos estuvieron a cargo de observar 10s proyectos seleccionados, analizar 10s datos y elaborar las conclusiones y las acciones de politica. 3.19 El Instituto proces6 toda la informacidn recolectada a travCs de 10sdiferentes mCtodos y present6 10sdatos sistematizados a 10sconsejos para su anhlisis. La presentaci6n se dividi6 en dos m6dulos. El primer0 describi6 la situaci6n general del departamento en relaci6n con la poblaci6n meta de cada programa. El segundo m6dulo utilizo toda la informaci6n recolectada a travds de 10s diferentes instrumentos de investigacibn. Los consejos analizaron la informaci6n con diferentes tkcnicas (por ejemplo 10s consejos de Tacuaremb6 y Rivera utilizaron el mktodo del semhforo, ver Cuadro 1) y llegaron a un diagn6stico compartido. Cuadro 1: Resultados del Analisis del Proyecto Plazas de Deportes realizado por 10sconsejos de Tacuarembd y Rivera Rivera Tacuarembd Rivera Minas de Vicha- Caragua- San Paso de Tacua- Corrales dero tB Gregorio 10s Toros remb6 Funcionamiento Notas: rojo = requiere mejoras en el corto plazo Amarillo = requiere intervention en el mediano plazo; verde = funcionamiento adecuado. Fuente: IDES (2008a). 3.20 En un encuentro final, cada uno de 10s tres consejos prepar6 un plan de accidn para diseminar 10s resultados de la evaluacidn. Los planes de Tacuaremb6, Rivera y Paysandu incluyeron: (i) presentar 10s resultados de la evaluaci6n a las Mesas Interinstitucionales (6rgano oficial que nuclea a 10s representantes de 10s ministerios nacionales a nivel departamental y a las autoridades municipales). Asimismo, 10s planes de Rivera y Tacuarembd propusieron: (ii) publicar 10s resultados en 10s medios locales de manera tal que 10s consejos puedan tener mayor visibilidad pGblica, y (iii) visitar a diferentes autoridades, dependiendo de 10s recursos necesarios (Ej: recursos deportivos a1 MTD y autoridades municipales). El consejo de Tacuarembo incluyo una accion inmediata (escribir una carta a1 intendente con 10s resultados de la evaluacidn y la posici6n del Consejo) en relaci6n a la situaci6n irregular de un @mnasiog. 3.21 En tCrminos generales el piloto de M&EP se implement6 sin mayores dificultades. Uno de 10s obsthculos resuelto rapidamente tuvo que ver con la complejidad de 10s tCrminos y la metodologia utilizados durante las primeras capacitaciones.A fin de solucionar este inconveniente, de manera inmediata IDES simplific6 la terrninologia utilizada. Otra dificultad menor observada en Rivera y Tacuaremb6 fue que las organizaciones de la capital de esos departamentos no tenian contactos con adolescentes, lo cual complico la administration de la tarjeta comunitaria de puntaje en esas ciudades. No obstante, la tarjeta fue instrumentada sin problemas en otras localidades. Finalmente, el piloto M&EP demand0 para las reuniones una cantidad de tiempo considerable, que interfiri6 con las reuniones regulares de 10sconsejos. 3.22 Por el contrario, numerosos factores facilitaron la implementation del piloto M&EP. Entre ellos es importante destacar que: (i) todos 10s consejos tenian una experiencia de trabajo previa; (ii) todos 10s consejos asumieron con un alto nivel de responsabilidad la tarea encomendada y respetaron la agenda de trabajo; (iii) existid una coordinacion muy cercana entre 10s equipos del MIDES y del IDES; y (iv) las mesas interinstitucionalesfueron muy proclives a reunirse con 10s consej0s. 3.23 La DDC hizo un seguimiento a las actividades llevadas a cab0 por 10s consejos y confirm6 que 10s tres emprendieron claras acciones de incidencia, con resultados positivos. Por ejemplo, el consejo de Rivera organiza actualmente reuniones semanales con las autoridades del MTS para implementar la La agenda de Paysandti's tarnbiCn incluyd 10s siguientes compromises: (i) dar continuidad a1 Consejo, fortaleciendo su funcidn de canal de diiilogo de la sociedad civil, y (ii) concienciar a la poblacidn de Paysand~isobre 10s problemas de salud mental. descentralizacibn de 10s instructores a 10s barrios sugeridos por el consejo. A1 dia de la fecha, la descentralizacion se ha efectivizado en tres barrios y se planea llegar a dos mas a1 finalizar el aiio. Ademis, el Consejo sugiri6 una nueva modalidad de trabajo con 10s instructores, la cual ya estBbajo implernentacion. 3.24 En Tacuaremb6, la mesa interinstitucional dio lugar a1 "Proyecto Recreacional" el cual convoca a autoridades del MTS, de la municipalidad y del consejo a diseiiar un plan de expansi6n y descentralizaci6n a fin de proveer a las localidades que no cuentan con una Plaza de Deportes, con actividades recreativas e infiaestructura deportiva. Hasta ahora, un nuevo girnnasio ha sido creado en una localidad propuesta por el consejo. 3.25 En Paysandu, el consejo public6 un articulo en la prensa local y organiz6 una reuni6n con las autoridades del hospital. Muchas de las recomendaciones sugeridas por el consejo heron implementadas inmediatarnente. AdemBs, como resultado del encuentro con la mesa interinstitucional, 10s temas abordados en el informe de evaluaci6n del consejo heron elevados a1 Ministerio de Salud y al Ministerio de Obras Publicas. 3.26 A1 mismo tiempo, el piloto tuvo efectos positivos colaterales. Por ejemplo, la elaboraci6n de la tarjeta de puntaje comunitario motiv6 el interes de varias organizaciones de jdvenes en participar del Consejo. AdemBs, el uso de la tarjeta comunitaria en ciertas Plazas hizo que las autoridades reparen la infraestructwa, antes de conocer 10sresultados de la evaluation. 3.27 El piloto de evaluaci6n participativa sirvi6, sin lugar a dudas, para consolidar 10s consejos como agentes locales con capacidad de incidencia en el proceso de las politicas publicas. Los miembros del consejo destacaron que la experiencia les permitio trabajar de manera conjunta y organizada, alcanzar acuerdos y ejercitar su voz. Como resultado de la experiencia, 10s consejos lograron participar de las reuniones de gabinete llevadas a cab0 en Rivera, Tacuaremb6, y ~a~sandu".En dichas reuniones, el Presidente y sus ministros tomaron conocimiento de 10s resultados de las evaluaciones. Mas importante a b , 10s consejos aprendieron y experimentaron c6mo exigir rendici6n de cuentas a sus autoridades de una manera organizada. 3.28 El equipo profesional de la DDC concluy6 que el piloto fue extrernadarnente positivo para ellos, asi como para 10s consejos. El piloto fue una oportunidad para trabajar con 10s consejos sobre un proyecto especifico y para mostrar resultados en un breve period0 de tiempo. Asimismo, la experiencia sirvi6 para mostrar que la propuesta politica de empoderar a 10s actores locales es viable. En este sentido, la experiencia h e tambidn una oportunidad para que las mesas interinstitucionales interact~encon la sociedad civil, una practica practicamente inexistente en el Uruguay. A1 mismo tiempo, el piloto permiti6 que 10s equipos de 'OEl Presidente del Uruguay organiza peri6dicamente sus reuniones semanales de Consejo de Ministros en diferentes localidades, fuera de Montevideo. la DDC y de la DINEM trabajen coordinadamente, y establecer las bases para un trabajo hturo conjunto. Sin embargo, debido a restricciones en materia de tiempo y de recursos humanos, la DINEM no participb en todas las reuniones de 10s consejos. 3.29 El piloto de evaluaci6n participativa sera replicado con recursos adicionales a 10s que actualmente tiene el MIDES. El conocimiento adquirido por la DINEM, la DDC y 10s consejos a traves de la experiencia, constituye una base hndamental para repetir la experiencia con otros consejos o con 10s mismos consejos con una politica publica diferente. De hecho, el consejo de Paysandu esta llevando a cab0 una experiencia similar con una nueva politica publica: el Plan Nacional de lucha contra la Violencia DomCstica. 3.30 Sin embargo, la DINEM y la DDC carecen de 10s recursos humanos necesarios para repetir la experiencia piloto de evaluaci6n. Esta carencia refiere principalmente a1 numero de personas necesario para llevar a cab0 la evaluaci6n que a la falta de capacitaci6n del personal. A pesar de que arnbas agencias esthn aumentando sus planteles, otras actividades regulares impiden que puedan asignar personal especifico para esta actividad. En este sentido, hturos proyectos de M&EP necesitarh contratar asistencia tCcnica extra para apoyar a 10s consejos, para lo cual se deberhn presupuestar recursos adecuados. Segun la implementaci6n de 10s pilotos, el costo promedio de cada uno h e de aproximadamente US $7,000, incluyendo 10s gastos administrativos, el costo de la asistencia tkcnica ofrecida a cada consejo, gastos de viaje y alojarniento, la aplicaci6n de 10s instrumentos de evaluacibn (encuesta o tarjeta comunitaria de puntaje), y el costo del taller. 3.31 Los pilotos de evaluaci6n participativa en Rivera, Tacuaremb6 y Paysandu permiten extraer varias lecciones aprendidas para pr6ximas experiencias: (i) 10s consejos sociales que participen de una experiencia de M&EP deben haber pasado por un proceso basico de decantaci6n previa, (ii) 10stCcnicos a cargo de la capacitaci6n deben conocer con anterioridad las caracteristicas de 10s consejos, a fin de que puedan ajustar la metodologia, el vocabulario y el formato de 10s encuentros; (iii) el equipo de la DINEM deberia participar sistematicamente en la experiencia, a fin de poder aprender mejor de la misma y estar mas orientados para incorporar las voces de 10s consejos en el SIIS. C. TALLER INTERNACIONAL DE MONITOREO Y EVALUACION 3.32 A mediados de Mayo se realiz6 un taller de dos dias de duraci6n con el objetivo de compartir experiencias internacionalessobre sistemas publicos de monitoreo y evaluaci6n, que supervisan y exigen rendici6n de cuentas sobre la politica social. El taller h e organizado con el apoyo de GLDN, que facilitb la participaci6n de especialistas de Washington via videoconferencia. Un total de 50 participantes de la DINEM, la DDC y la Direcci6n Nacional de Politicas Sociales participaron del taller. 3.33 El primer dia del taller se orient6 a aprender de 10s casos internacionales. Primero, representantes del MIDES presentaron la experiencia uruguaya y recibieron comentarios de sus colegas intemacionales. Posteriomente, 10s especialistas de Chile, Colombia y MCxico presentaron las experiencias de sus paises y discutieron sobre semejanzas y diferencias con el modelo uruguayo. 3.34 Lecciones aprendidas de la experiencia chilena acerca de la tensi6n que caracteriza la interfase entre 10s evaluadores y 10s ejecutores de politica fueron de particular inter&. La evaluacibn como una herramienta externa a 10s programas per0 intema a1 gobierno genera una serie de tensiones que se describen a continuation: 3.35 La complejidad de 10s sistemas de informaci6n versus la necesidad de contar con datos actualizados y versatiles para la toma de decisi6n politica. Por ejemplo, el sistema de M&E del programa Chile Solidario necesita responder a mas de diez conjuntos de indicadores, lo cual implica un esfuerzo enorme para el sistema, el cual no necesariamente provee informacibn util y oportuna para la toma de decision politica. 3.36 Otra tensi6n observada es la distancia cultural existente entre 10s equipos de evaluaci6n y 10s gerentes de programa. Los profesionales a cargo de la ejecucion de programas creen que 10s tecnicos que evaluan un programa tienen una.vision incompleta del mismo. Por el otro lado, 10s evaluadores sienten que 10s ejecutores de 10s programas se resisten a ser evaluados. Existe una necesidad de tender un puente entre estas dos partes. 3.37 Una tercera tensi6n se refiere a la relaci6n entre evaluaci6n y presupuesto. Una de las principales preguntas que la evaluacion plantea es: ~ P o rquC el programa fa116 en alcanzar 10s resultados que estaban claramente definidos como insumos, procesos y productos? La respuesta a esta pregunta necesariamente involucra la asignacion de recursos presupuestarios. Sin embargo, la evaluacion no siempre incluye una seccion sobre la adecuacion de la asignacion de recursos y sobre como el presupuesto (no necesariamente controlado por 10s ejecutores del programa) fue administrado. 3.38 A1 mismo tiempo, algunas metodologias de evaluaci6n utilizadas en programas sociales tradicionales presentan limitaciones para entender 10s nuevos arreglos institucionales evidenciados en el campo de la politica social. Por ejemplo, aiios atras el sistema de proteccion social chileno se proponia responder a las diversas situaciones de pobreza con programas especificos. Hoy, las politicas universales, las cuales constituyen el pilar del sistema de proteccion social y se basan en un enfoque de derecho, tratan de cubrir a diferentes tipos de personaslhogares pobres a traves de una misma politica, per0 de una manera diferenciada. Las metodologias de evaluacion utilizadas en el enfoque anterior no pueden informar el proceso de decision politica requerido por el nuevo sistema de protecci6n social, en el cual 10s hacedores de politica necesitan entender 10s impactos diferenciados que una politica tiene sobre 10s diferentes tipos de personas/hogares, a lo largo de diferentes momentos/edades. Concretamente el sistema de evaluation actual de Chile Solidario carece de las herramientas apropiadas para responder a dichas necesidades. 3.39 Luego de que cada experiencia de pais fue presentada, un especialista del Banco Mundial realiz6 un analisis cornparativo de las experiencias de desarrollo de 10s sistemas de M&E en Chile, MCxico y Colombia. ~1 destaco entre otras diferencias interesantes (i) las estrategias de institucionalizaci6n de cada sistema; (ii) el uso de la informacion que cada sistema produce; y (iii) el marco legal que respalda a cada sistema. El resto de las diferencias est6.n resumidas en la siguiente tabla: Tabla 3: Principales Diferencias en 10s sistemas de M&E Colombia Chile Mexico Agencia Responsable Departamento de Ministerio de Ministerio de Planeaci6n Planeaci6n Economia Ministerio de Ministeriode Comisi6nNacional de Planeaci6n Economia Evaluation Vinculos con el En progreso lento Alto En progreso rhpido presupuesto Monitoreo Plan de Desarrollo PresupuestoNacional Operativo en Programas Metas Presidenciales Metas Presidenciales Chile Solidario Evaluaci6n Evaluaciones de Evaluaciones de Evaluaciones de impacto, proceso, y impacto y proceso impacto, proceso, rapidas Revisionesde gasto consistencia,estratbgica y complementarias Rendici6n de Cuentas Congresoy ciudadanos Congreso Congreso Sistemas Sectoriales Social Social Social Orientacibn Consolidaci6n del Presupuestobasado en SED-PBR sistema de M&E resultados Presupuestobasado en recursos humanos Duracidn 15 aiios 17aiios 6 aiios Rol del Presidente Alto Bajo En aumento Fuente: Presentacibn de Manuel Fernando Castro Quiroz, Uruguay, 19de Mayo de 2007. 3.40 En base a1 anrilisis cornparativo, se concluy6 que no existe un unico sistema de M&E exitoso, sino que existen elementos de M&E acertados. Entre estos elementos se destacan: (i) la importancia de alcanzar un buen equilibrio entre 10s componentes tdcnicos y 10s politicos del sistema. Sin apoyo politico, el sistema sera inviable. En este sentido, la experiencia chilena presenta un caracter distintivo a1 incluir diferentes comisiones tematicas que incluyen la representation de actores de la sociedad civil interesados en producir y publicar informacion de monitoreo; (ii) la necesidad de crear una demanda de informaci6n de M&E. Si nadie utiliza la informacidn del sistema para la toma de decision politica, el sistema es innecesario. La mejor sefial de que el sistema tiene un buen desempefio es la utilizaci6n de 10sdatos que produce. 3.41 Un tercer elemento acertadopara la institucionalizacidny el funcionamiento adecuado de un sistema de M&E es una buena y estratigica coordinaci6n entre 10s diferentes sistemas de informacidn que existen en un pais. La agencia a cargo del sistema de M&E debe controlar la calidad de la informaci6n producida, debe tener la autoridad suficiente para solicitar information de otras agencias/ministerios y debe tener la capacidad para establecer incentivos externos a fin de poder obtener mejores resultados en 10s programas. Los problemas de coordination entre 10s Ministerios de Economia o Planificaci6n, la Presidencia y 10s otros ministerios evidenciados en Colombia y Mexico, han resultado en serios problemas para el desempeiioapropiado de 10s sistemas de M&E. 3.42 Existe tambiin la necesidad de construir arreglos institucionales para asegurar la objetividad, calidad y el uso de la informacidn de M&E. Un sistema serio de M&E deberia tener reglas claras en relaci6n a la planificacion, implementation y uso de las evaluaciones. Los procesos administrativos para contratar consultores externos deberian ser eficientes. Asimismo, deberia haber arreglos claros respecto a 10s mecanismos financieros y a la asignacion presupuestaria para el sistema de M&E. Idealmente, se deberian definir relaciones precisas entre 10sresultados de M&E y la asignaci6n de presupuesto o 10s ajustes de politica. 3.43 Finalmente, un buen sistema de M&E deberia ser simple y combinar un balance apropiado de diferentes metodologias de monitoreo y evaluacidn. Es importante contar con indicadores y metas simples que permitan realizar un seguimiento adecuado de 10s proyectos. Evaluaciones sofisticadas, como las evaluaciones de impacto, son muy poderosas y rigurosas per0 a1 mismo tiempo son instrumentos muy complejos que no permiten tomar decisiones inmediatas. Metodologias mas sencillas y rapidas como las evaluaciones de proceso o el simple monitoreo son mas adecuadas para la toma de decisi6n politica inmediata. A1 mismo tiempo, se destac6 que la evaluacion y el monitoreo no son funciones sustitutas. 3.44 Otras lecciones particularmente importantes para el sistema de M&E del Uruguay fueron las siguientes. Primero, la construcci6n de un sistema de M&E es un esfuerzo de largo plazo que requiere ir avanzando gradualmente y de manera continua. En segundo lugar, es de crucial importancia desarrollar coaliciones politicas que acompafien el proceso. En este sentido, todos 10s participantes acordaron que el Ministerio de Finanzas debe ser incluido en el desarrollo del sistema de M&E del UY. El equipo del MIDES coincidi6 con la sugerencia de 10s participantes del taller referida a la pertinencia de desarrollar pilotos, a fin de reducir riesgos y mostrar progresos continuos y de esta manera, mantener a otros actores interesados en el proceso. En tercer lugar, el sistema debe tener objetivos claros. Finalmente, el sistema deberia estar integrado a otros sistemas de M&E o informaci6n existentes en el Uruguay. ,45 El Segundo dia consistib en un taller tCcnico sobre evaluaciones de impacto para una audiencia mas reducida. A1 mismo asistieron el equipo tkcnico de la DINEM, 10s invitados internacionales y el equipo del Banco (20 participates). El objetivo de este dia h e presentar las experiencias y lecciones aprendidas de las evaluaciones del PANES en Uruguay y discutir mejores practicas internacionales a fin de contribuir con el desarrollo de la estrategia del MIDES para establecer un sistema permanente de evaluaciones sociales de impacto. 3.46 Todos 10s asistentes a1 taller concluyeron que el taller fue altamente satisfactorio desde diferentes perspectivas. Para el equipo de la DINEM el taller fue muy &il porque les permitio aprender de la experiencia concreta de otros paises. El equipo valor6 particularmente que 10s expositores enfatizaran las dificultades experimentadas durante la implementaci6n de 10s sistemas de M&E. Estas dificultades serh tomadas en cuenta para evitar errores o demoras. Para 10s expositores internacionales, el taller fue una oportunidad valiosa para compartir opiniones, aprender del enfoque de planeamiento (Colombia) y del enfoque de presupuesto (Chile), proveer asesoramiento especifico a1 MIDES en base a su propia experiencia y reflexionar sobre el estado del arte en materia de M&E en America Latina. El equipo del Banco sinti6 que el taller fue una oportunidad para que 10s especialistas de otros paises latinoamericanos, del MIDES y del Banco puedan aprender de 10sotros y ayudar a1MIDES a pulir el diseiio de su sistema de M&E. D.IMPLEMENTACIONSISTEMAINTEGRADO DE INFORMACIONSOCIAL DEL 3.47 En base a 10s TOR definidos en las Fase I, se contratb a la consultora Etriek para que desarrollara el soporte informatico para el Sistema Integrado de Informacibn Social (SIIS). El SIIS fue construido tomando en consideraci6n la experiencia de otros paises latinoamericanosy constituye uno de 10s sistemas mas avanzados de la regi6n. El proceso de construccibn del mismo fue un esfuerzo conjunto de Etriek y la DZNEM. 3.48 El equipo de la DINEM y Etriek acordaron desarrollar el proyecto en diferentes etapas. La primera etapa se completara con el proyecto UY NLTA. En la misma el MIDES esta a cargo de procesar toda la informaci6n que luego se carga en el sistema. Las etapas futuras tomaran la informaci6n directamente de las fuentes originales y calcularh 10s indicadores de manera automatica. Ademas se ha planeado incluir un for0 para discutir temas de politica social. EI sistema tambien incluira funciones m h complejas (Por ejemplo, las posibilidades de proveer informaci6n espacial usando una funcion georeferenciada) y acciones interactivas. Todas estas funciones ayudarh a posicionar a1 MIDES como el actor lider en el sector social. 3.49 El objetivo principal del sistema es ofrecer a 10s ciudadanos una amplia variedad de informacibn clara, relevante y de faicil uso sobre la evolucibn actual y reciente del bienestar social en Uruguay. Ademas, el sistema se orienta a proveer informaci6n a las autoridades gubernamentales de diferentes niveles, a la prensa y a 10s miembros de las organizaciones de la sociedad civil (OSC), entre otros. Para ello, el sistema tiene un portal on line a1 que se puede acceder libremente y en el cual 10s usuarios pueden establecer sus opciones personales de acuerdo a sus necesidades. Estas preferencias (ver imagen abajo) se muestran cada vez que el usuario inicia sesi6n con su clave en el sistema. El sistema tarnbien avisa a 10s usuarios registrados, a traves del correo electr6nic0, si 10s indicadores seleccionadosen sus preferencias han sido actualizados. hrchlvo Edtl6n Ver Favorltos Henarnentas hyuda & I Preferencias I I Visualizar la lista de busqueda Usudi-iY: Wan de Equldad i Ob~etlvosde Desarrollo del ;$ lbl~lenlo 4' f i la.* 3.50 Los indicadores pueden ser consultados a travCs de cinco caminos diferentes: (i) por tema (edicacion, salud, familia, seguridad social, entre otros); (ii) por modulos (Objetivos de Desarrollo del Milenio y Plan de Equidad); (iii) s e g h un Esquema Conceptual, el cual divide analiticarnente la idea de Bienestar Social distinguiendo, por ejemplo, entre las condiciones de vida de la poblacion y la intervencion del Estado para modificar esas condiciones de vida; (iv) por parhetros geograficos (un mapa de Uruguay permite acceder a todos 10s indicadores disponibles para cada uno de 10s departamentos del Uruguay); y (v) por orden alfabetico. 3.51 Un filtro ayuda a1 usuario a desagregar la informaci6n. Dependiendo del indicador, la informaci6n puede ser desagregada por gknero, edad, y Area (rural-urbana). El sistema permite que la informacion se visualice por departamento y de forma comparada a1valor nacional, en un mapa o en un grafico (el usuario puede seleccionar el tip0 de grafico), o exportarla a un archivo de Excel. Cada indicador tiene una ficha metodolbgica. Ademis, el sistema incluye una serie de documentos utiles. Estos reportes e s t h actualmente agrupados en tres temas: pobreza, vivienda e ingresos. Se trata de documentos oficiales o trabajos analiticos relacionados a programas gubernamentales, autorizados por el MIDES. Graph,Exyl Label 3.52 Se espera que el portal est6 en internet a finales de 2008. Para ello restan culminar 10s siguientes pasos: (i) procesar y cargar informacion para 10s principales indicadores. Este paso incluira la conformacion de una red de proveedores de informacionjunto con el Instituto Nacional de Estadisticas (INE). Los proveedores estaran a cargo de actualizar la informacion y de crear nuevos indicadores. La red tambien incluira a tecnicos de universidades quienes podrim ver el proceso de construccion de 10s nuevos indicadores y hacer comentarios a1 respecto; (ii) construir una seccion con informaci6n sobre 10s programas sociales actuales (Repertorio de Programas Sociales). Hasta ahora, la DINEM ha identificado 174 programas con 20 referentes. La idea es proveer a 10s referentes con una clave para que ellos puedan completar la informacion de sus respectivos programas; y (iii) preparar las guias con 10s procedimientos necesarios para chequear la rigurosidad y validez de la informaci6nYasi como el cronograma para la actualizacion de 10s indicadores. 3.53 La construcci6n del Sistema Integrado de lndicadores Sociales contribuy6 a fortalecer el espacio interinstitutional de diailogo politico y revisi6n de mejores praicticas. Este for0 conformado principalmente por el MIDES, la OPP y el BPS tuvo una alta actividad durante el diseiio del Plan de Equidad. Para la construccion del SIIS, el BPS aporto una gran cantidad de informacion, La capacidad del MIDES para convocar a las otras agencias y para liderar este espacio es destacable sobretodo si uno considera que durante este period0 el NIIDES estuvo a1 mismo tiempo construyendo su propia identidad. Como resultado de este esherzo, la OPP pudo ver que el MIDES esta liderando el tema de M&E y que es un ejemplo a1 promover la cultura de la evaluation entre 10s otros ministerios. De esta manera, la OPP y el MIDES acordaron incluir a1 Ministerio de Desarrollo Social como un beneficiario del nuevo proyecto auspiciado por el Banco en Uruguay: Institution Building Technical Assistance Loan (IBTAL) 4. Evaluacion del UY NLTA: Riesgos, lecciones aprendidas, y recomendaciones 4.1 Ninguno de 10s riesgos previstos para la Fase I1 del proyecto se materializaron. Los equipos del MIDES y del Banco siguieron las medidas de mitigacion contempladas y se esforzaron para prevenir y evitar problemas. La Tabla 3 resume 10sriesgos y las medidas de mitigacion anticipados, y provee una breve explicacion sobre la no materializacibn de 10s riesgos. Tabla 4: Riesgos y Medidas de MitigaciBn Fase I1 - Riesgos Medidas de Mitigaci6n iSe materializaron? Potencial pkrdida de Para desarrollar una amplia base No. El BPS, el INE y otras agencias interks para de apoyo dentrodel gobierno cooperaron con el MIDES sin involucrarse en las uruguayo, el Equipo promovera problemas. actividadespropuestas un dihlogo amplio entre el El MIDES se posicion6 como una por parte de 10sotros MIDES, el BPS, el Ministerio de de las agencies lideres en ministerios e Economia y otros actores clave a investigacibn social. institucionespublicas, fin de construirconsenso en Agencias hist6ricas a cargo de esa torno a1 objetivoy a1desarrollo funcidn congratularona1MIDES del UY NLTA. por la calidad de sus publicaciones. Por el otro lado, existen aun algunas dificultadescon ciertas instituciones como las escuelas publicas o las empresasdel Estado que cuentas con autonomia para la provisi6n de datos. El NIIDES estatrabajando con un esquema de incentivos para obtener su colaboraci6n. El desarrollo de un El Equipo coordinara con varios No. El MIDES disefib una mapa de ruta para el ministeriosy agencias estrategia inteligente que consisti6 establecimientodel SIIS intergubernamentales a cargo de en trabajar primer0 con 10s podria encontrar fuertes temas de politica social, la OPP y ministerios y agenciasque estaban resistencias otras instituciones publicas convencidosde que el SIIS era institucionalesde parte involucradas en monitoreo. clave para la toma de decisi6n de 10s ministerios y Se sugeriri que el Estado politics. otras instituciones establezca incentivosclaros a fin Luego, el MIDES construy6 un/a publicas que controlan de que la information sea interksldemandapor 10sdatos y se datos sobre asistencia recabada de manera completay comprometi6a procesarlos. De esta social. Es de esperar oportunamente. manera, las agencias proveyeron 10s que esto resulte en Las autoridades uruguayas datos y obtuvieron nueva continuos deberian tomar conocimiento de Iinformaci6n. solapamientos experiencias internacionales El gobierno de UY y el Banco institucionales en las relevantes a fin de generar un acordaron que el MIDES sera uno funciones de M&E y en dialog0 entre 10sprincipales de 10s ministerios que se beneficiara una debil coordinaci6n .actores involucrados (MIDES, del IBTAL. institutional en la BPS, INE y otros). implementation y uso del sistema de M&E. Resistencia por parte - - El Equipo colaborara con el No. El MIDES, a traves de la DDC del MIDES para MIDES y el IDES en el y la DINEM participaron involucrarse en el desarrollo de actividades de activamente del piloto de M&EP. desarrollo de capacitacion para 10s consejos mecanismos sociales que incluyan las mejores innovadores de M&EP. practicas internacionales que el Banco comparti6 con la DINEM durante la Fase I. Tambien se promovera la capacitacion de par a par con otras instituciones gubernamentales en otros paises latinoamericanos. La expansi6n de la Se asesorara a la DINEM sobre No. Habr&una nueva encuesta en cobertura del PANES c6mo coordinar con la gerencia 2009 que medira 10s efectos del podria crear problemas del MIDES para moderar PANES en el largo plazo. en la medicion del cualquier modification de la impacto entre 10s linea de base, debido a cambios grupos de comparaci6n, en el criterio de elegibilidad. particularmente cuando 10s integrantes del grupo de comparaci6n pasen a ser beneficiarios. El cornpromiso del El equipo buscara el apoyo No. Por le contrario, la relaci6n fue cliente puede no ser el explicit0 del cliente para llevar excelente, lo cual motivo a1MIDES mismo que el las actividades propuestas en la a requerir apoyo reembolsable del evidenciado en la Fase Fase 11. Banco y a continuar trabajando con I. el mismo equipo profesional. A. LECCIONESAPRENDIDAS PARA FUTURAS OPERACIONES DEL BANCO 4.2 La apertura del Banco para escuchar y adaptarse a las necesidades del cliente es un factor determinante para establecer las bases de un trabajo exitoso. El proyecto UY NLTA fue concebido como un proyecto conjunto desde el inicio. Los equipos del Banco y del MIDES disefiaron el proyecto original que luego h e adaptado a las necesidades del cliente, respetando las reglas del Banco. El dialog0 constante, el respeto por la vision del cliente, y la capacidad para responder a las demandas esperadas e inesperadas contribuyeron a1 exito del proyecto y motivaron el interes del MIDES en continua trabajando con el Banco. 4.3 Se deberia hacer un mejor uso de la tecnologia disponible para aumentar las posibilidades de compartir mejores practicas internacionales. Uno de 10s aspectos del proyecto UY NLTA mas valorados por el MIDES h e la posibilidad de aprender de la experiencia en M&E de otros paises. El Banco podria facilitar este intercambio a partir del uso de la tecnologia actualmente disponible en las oficinas de pais (ej. Sistemas de videoconferencia). En caso de que 10s recursos (presupuesto, tiempo, etc.) esten disponibles, se deberian apoyar viajes de aprendizajepara aprender en el terreno sobre las experiencias de otros paises. B. LECCIONES APRENDIDADAS PARA LA IMPLEMENTACION DE SISTEMAS DE M&E: 4.4 El compromiso del gobierno para tomar decisiones basadas en informaci6n rigurosa es clave para apoyar la construccion de 10s sistemas de M&E. La administracion Vhzquez ha apoyado la produccion de estadisticas y de informaci6n. Mas importante a h , el gobierno ha tomado importantes decisiones (Por ej: expansion de las asignaciones familiares) bashdose en evidencias. El UY NLTA ha contado con el apoyo de autoridades de alto nivel para implementar el SIIS, asi como con el apoyo de autoridades locales que consideraron la informacion producida por 10sconsejos, para tomar decisiones politicas. 4.5 La alianza con la academia es un elemento importante para lograr la rigurosidad de la informaci6n producida, y para crear capacidad analitica dentro del gobierno. La administracion Vizquez ha identificado a la Universidad de la Republica como un aliado clave en la produccion de informacion. Durante el desarrollo del proyecto UY NLTA, se formaron equipos multidisciplinarios con responsabilidades especificas: mientras que la universidad estuvo a cargo de la produccion de informaci6n de manera independiente, el equipo del MIDES coordin6 el trabajo, particip6 en actividades especificas (Por ej. Recoleccion de datos en el campo) y superviso el trabajo. De esta manera, ambos equipos se complementarony aprendieron el uno del otro. 4.6 El intercambio constante entre 10s equipos de la DINEM y el INE es fundamental para aumentar la rigurosidad de 10s datos procesados y para unificar criterios metodol6gicos. El INE y el MIDES han firmado un acuerdo formal de cooperacion ticnica. Bajo este marco el INE ha facilitado datos que luego fueron procesados por la DINEM. El INE ha validado dicha informaci6n. Asimismo, 10s t6cnicos del INE son una permanente fuente de consults. Es recomendable que esta cooperacion se fortalezca y que un acuerdo especifico de trabajo conjunto se finne para el desarrollo y la operacionalizaci6n del sistema de M&E. A pesar de que 10s objetivos del proyecto UY NLTA fueron alcanzados, todavia resta trabajo por hacer": (i) El impacto inmediato del PANES h e evaluado, per0 sus efectos de largo plazo seran analizados en 2009 con datos que actualmente esth siendo recolectados; (ii) la informaci6n producida en el marco del proyecto y las iniciativas que se llevaron a cab0 constituyen piezas criticas para informar el dialog0 sobre el futuro del MIDES como la autoridad lider responsable de la politica social en el Uruguay; y (iii) 10sproductos elaborados en ' el marco del proyectojunto con otros productos elaborados aut6nomamente por el MIDES contribuyeron a posicionar a1 Ministerio como el principal actor a cargo de las evaluaciones de las politicas sociales. A fin de cumplir con este rol, el MIDES necesita continuar fortaleciendo su capacidad en M&E. 4.8 Los resultados esperados del proyecto tambiin fueron alcanzados: (a) Como resultado del proyecto ha habido una mayor eficiencia en la implementacibn de proyectos sociales. A travds de la consolidaci6n de bases de datos y el analisis de la informaci6n algunos proyectos han sido modificados. Mas importante a h , se ha iniciado un cambio cultural: existe una demanda de informacidn para tomar decisiones/ hacer modificaciones en 10sprogramas sociales actuales. (b) Sin lugar a duda, el piloto de evaluacion participativa contribuyo a aumentar la transparencia y a fortalecer la rendition de cuentas por parte de las autoridades. Gracias a1piloto 10sconsejos son reconocidos como actores locales con capacidad para incidir en 10s asuntos publicos. (c) Como consecuencia del piloto, la sociedad civil organizada en 10s consejos esta mas comprometida con la reforma del sector publico. (d) El Plan de Equidad h e disefiado tomando en cuenta las evaluaciones del PANES y el PSIA. C. RECOMENDACIONES PARA FORTALECER EL ROL LIDER DEL MIDES Y PARA . . MEJORAR LA COOPERACION CON EL BANCO MUNDIAL: 4.9 Una definici6n clara de las responsabilidades en el Plan de Equidad es necesaria. El MIDES se encuentra mejor posicionado para desempefiarse como la autoridad lider en materia de coordinaci6n y supervision de la politica social en el Uruguay. Sin embargo, el MIDES esta participando actualmentejunto con otras agencias, incorporadas en el CNPS, de la ejecucion del Plan de Equidad. Esta responsabilidad compartida representa un desafio mhs complejo que el asurnido con la ejecucion del PANES. El gobierno debe a h definir una estrategia de evaluaci6n para el Plan de Equidad con una clara distribuci6n de responsabilidades. 4.10 El MIDES debe definir una serie de metas y objetivos que puedan ser monitoreados con el SIIS. Dichas metas y objetivos deberian ser discutidas y definidas a nivel nacional y regional. Una vez definidas, una serie de indicadores "ComoseseAal6enelpunto 1.3 10sobjetivosdelUYNLTA fueron:(i)evaluarel impactode 10s programas del PANES; (ii) informar un dialog0 sobre el hturo rol de 10sprogramas de emergencia social y del MIDES como la mbima autoridad responsable de la coordination y supemisi6n de la politica social en Uruguay; y (iii) fortalecer la capacidad del MIDES para evaluar y monitorear la politica social en el Uruguay, con un considerable Bnfasis en 10s enfoques de monitoreo y evaluacionparticipativos. deberian ser identificados a fin de que su progreso pueda ser monitoreado. Estos indicadores deberian incluir la voz de la sociedad civil. 4.11 El SIIS debe ser fortalecido a travCs del refinamiento de la informacion disponible y la incorporaci6n de nuevos datos. Como se menciono previamente, el SIIS final incluira informacion sobre 10sprogramas y mas detalles para cada uno de 10s indicadores (ej. genero, area). Esto implicara un esfuerzo importante en materia de recolecci6n y procesamiento de datos porque la mayor parte de la informacion no esta facilmente disponible. Ademas, se deberhn preparar las guias y 10s procedimientos para actualizar la informaci6n y chequear la rigurosidad de 10sdatos. 4.12 Un plan para promover la demanda y el uso de la informaci6n por parte de la sociedad civil deberia ser definido. Las organizaciones de la sociedad civil necesitan ser capacitadas en esta materia. En tCrminos generales, las organizaciones de la sociedad civil no esthn acostumbradas a-demandary usar informacion oficial. Ellas son mas proclives a contribuir, asociarse o beneficiarse del Estado. A1 mismo tiempo, muchos lideres de la sociedad civil han pasado a trabajar en el Estado. 4.13 Antes de replicar la experiencia de evaluaci6n participativa, el MIDES necesita definir varios aspectos estrategicos y metodolcigicos. Por un lado, hay una definicion pendiente sobre c6mo las voces de 10s consejos serh incorporadas en el SIIS. Por el otro lado, una metodologia susceptible de ser replicada en todo el pais debe ser definida. 4.14 Las principales conclusiones de las lecciones aprendidas en el Taller Internacional sobre M&E deberian diseminarse dentro del MIDES y entre otras agencias gubernamentales. Dicha diseminacion deberia guiar a las autoridades acerca de que lecciones deberian adoptarse de manera estratkgica y selectiva en el trabajo futuro a ser apoyado por el IBTAL o en otras acciones a ser apoyadaspor el Banco o autonomamentepor el gobierno uruguayo. 4.15 El gobierno del Uruguay esta avanzando con esta agenda pendiente a1tiempo que esta proponiendo acciones especificas de seguimiento. El 21 de Julio de 2008, el Ministerio de Desarrollo Social solicit6 formalmente a1 Banco apoyo financier0 y tCcnico para continua con la implernentaciony el fortalecimiento del sistema de M&E. Dado que el Banco ha aprobado recientemente el proyecto de IBTAL que apoya la institucionalizaci6n de las funciones de M&E en diferentes agencias del gobiemo, las autoridades uruguayas y el Banco acordaron asignar fondos del actual IBTAL para el MIDES. Los equipos del Banco de las divisiones de Desarrollo Social, Protecci6n Social y Sector Pfiblico esthn trabajando actualmente en el diseiio de intervenciones en el marco del IBTAL para apoyar a1 MIDES. 4.16 Asimismo, el actual dialog0 entre la DINEM y el equipo del Banco del UY NLTA ha ayudado a identificar areas prioritarias a ser apoyadas. El 21 de Agosto de 2008 la DINEM elevd una carta a1 Banco, expresando su inter& en recibir apoyo de la instituci6n para keas especificas de politica publica. Los equipos de la DINEM y del UY NLTA debatieron el documento y llegaron a la siguiente agenda de futura exploracion: A. Fortalecimiento de la capacidad de evaluacidn del MIDES. La DINEM desempefiara un rol central en la evaluaci6n del Plan de Equidad. Dicha Direcci6n esta interesada en evaluar 10s impactos de dos programas de transferencias condicionadas y de a1 menos dos programas estructurales, incluidos en la Matriz de Protecci6n Social y en la Reforma Tributaria del Plan de Equidad. Asimismo, la DINEM implementarh la tercera encuesta a 10s beneficiarios del PANES a fin de conocer 10simpactos de largo plazo de dicho programa. Una encuesta piloto de Protecci6n Social ha sido recientemente implementada con el apoyo del BID. No esta claro aun si el BID continuara apoyando la implementaci6n de la encuesta. El Banco Mundial podria asistir en la instalaci6n de una capacidad permanente para la contrataci6n de encuestas regularmente; las evaluaciones serian llevadas a cab0 de forma conjunta por consultores extemos y por el quipo del MIDES. B. Fortalecimiento de la capacidad de monitoreo del MIDES. La DINEM cuenta actualmente con el SIIS, el cual r e h e informaci6n sobre una serie de indicadores de product0 y resultado (output y outcome). El MIDES espera recibir apoyo del Banco para expandir la cobertura territorial y cronol6gica de dichos indicadores, 10s temas incluidos en el SIIS, su mantenimiento, y la actualizaci6n de su software. Sin embargo, el sistema no incluye indicadores de insumo (inputs), 10s cuales son cruciales en todo sistema de monitoreo y gerenciamiento publico. El apoyo del Banco podria tambidn orientarse a completar el SIIS para hacerlo funcional para el monitoreo de programas y para la toma de decisi6n publica. A1 mismo tiempo, el MIDES estaria interesado en recibir apoyo para continuar desarrollando el Repertorio de Programas Sociales que incluya informacion sobre 10s servicios sociales disponibles a lo largo del Uruguay, conexiones entre esos servicios, cobertura e informaci6n para 10s ciudadanos sobre c6mo acceder a esos servicios. Este repertorio permitira a1 MIDES definir metas nacionales y departamentales con sus correspondientes indicadores, cuyo seguimiento podra hacersecon el sistema de monitoreo. El sistema de monitoreo ayudara a fortalecer el rol del MIDES como coordinador de la politica social. C. Fortalecer la capacidad del MIDES para involucrar a la sociedad civil en la toma de decisiones de politica. El MIDES esta interesado en replicar el piloto de evaluaci6n participativa y en llevar a cab0 otras experiencias de monitoreo participativo, respetando las agendas y el desarrollo de 10s consejos sociales. Para ello, el MIDES se ha mostrado interesado en recibir asistencia tecnica y apoyo financier0 del Banco. Asimismo, el GOU esta avanzando con la implementaci6n de 10s Centros de Atenci6n a1 Ciudadano (ventanas hicas de servicio) en donde 10s ciudadanos pueden llevar a cab0 diferentes tramites publicos. El MIDES esta interesado en colaborar con este proyecto a travCs de la incorporaci6n del repertorio a 10s Centros y a traves de la provisi6n de informaci6n a la ciudadania sobre sus derechos sociales y sobre c6mo ejercitarlos. Esta colaboraci6n requeriria el desarrollo de un software especifico y de un sistema de informacion, A1 MIDES tambiCn le interesa explorar cdmo estas "ventanas" podrian incluir canales que sirvan para que 10sciudadanos ejerciten la rendicidn de cuentas. D. Fortalecer la capacidad del MIDES para ejercitar su rol como articulador de la politica social en el Uruguay. A fin de articular la politica social en el Uruguay, el MIDES necesita tener la capacidad necesaria para llevar a cab0 diagnosticos nacionales sobre 10s principales problemas sociales que afectan a1 pais. El MIDES ha expresado su interCs en que el Banco lo apoye para desarrollar su capacidad analitica para llevar a cab0 estudios sobre diferentes asuntos sociales, especialmente sobre deserci6n y reinserci6n en la escuela media y consumo de drogas en jovenes. Para llevar a cab0 estos estudios ya sea por el equipo de la DINEM o por consultores externos se necesitara desarrollar un mecanismo apropiado. Asimismo, el MIDES esta interesado en recibir apoyo para realizar simulaciones sobre 10s efectos distributivos de reformas alternativas, a fin de proveer a la OPP con informacidn crucial para la estrategia de desarrollo del Uruguay. E. Fortalecer la capacidad del MIDES para ejercitar su rol como coordinador territorial de la politica social en el Uruguay. El MIDES esta implementando una estrategia de descentralizaei6n a traves del apoyo a1 desarrollo y funcionamiento de las Mesas de Coordinacidn Interinstitucional. El MIDES esta interesado en recibir apoyo del Banco para hacer un seguimiento a las actividades llevadas a cab0 por las Mesas (Ej. Medir 10s resultados alcanzados por las mesas y entender qu6 factores han influenciado esos resultados) y para colaborar con su fortalecimiento y capacidad para desempefiar un rol clave a nivel local. 4.16 Los cinco temas mencionados previamente estain alineados con el componente I1 del proyecto IBTAL "Mejorando el Planeamiento Institucional, el Monitoreo y la Evaluacibn." Sin embargo, es recomendable que el contenido final y 10s arreglos de irnplementacionde la asistencia tkcnica a ser provista a travCs del IBTAL a1 MIDES, sean el resultado de un proceso de identificacion que refina a todos 10s actores clave, incluyendo a1 Ministerio de Finanzas, la OPP y el MIDES, a fin de dar una respuesta adecuada a 10s requerimientos estrategicos de un s6lido sistema de M&E. 5. Bibliografia Arismendi M. (2008) "Desde el MIDES construyendo ciudadania para profimdizar la democracia" Discurso publicado en Uruguay tu pais, aiio 2 niunero 9. Banco Mundial (2008) Del PANES a1 Plan de Equidad, Nota Tecnica, mayo 2008. Available at http://www.bancomundial.org/uy, in the section "Publicaciones e informes." IDES (2008) "Experiencia Piloto de Evaluacion Participativa: Informe final de implementacion de capacitacion de 10sConsejos Sociales." IDES (2008) "Experiencia Piloto de Evaluacion Participativa: Informe de implementacion de capacitacion en dos consejos." IDES (2008a) "Experiencia Piloto de Evaluacion Participativa: Informe de implementacion en Rivera y Tacuarembo." IDES (2008b) "Experiencia Piloto de Evaluacion Participativa: Informe de implementaci6n en Paysandu." MIDES(2008) "Plan Nacional de Equidad," www.mides.gob.uv Rofman et al., (2007) "Income Transfer Policies in Uruguay: Closing the Gaps to Increase Welfare. The World Bank: Washington, DC. World Bank (2007) Project Appraisal Document for the Institution Building Technical Assistance Project. The World Bank: Washington, DC.