DOCUMENTO TECNICO DEL BANCO MUNDIAL NUMERO 548 *** WTP54 H'l l()C).') .B'l"il8 Jfl87 Sl'\ Bruul>etgt 1 • Nidtat l. r• . L 1 rl >dtd d iu·_tores d~ Guia para directores de programas :7.~~~~~~~,: ~LbUlltlter~Lu t l Seguimiento y evaluacion ex post de programas de desarrollo urbano Michael Bamberger y Eleanor Hewitt HT 1()().5 .R1"il8 1\l\11111\\ 1 1 MGC006752 l' \ DOCUMENTO TECNICO DEL BANCO MUNDIAL NUMERO 54S Giria para directores de programas Seguimiento y evaluadon ex post de programas de desarrollo urbano Michael Bamberger y Eleanor Hewitt s~croRAL & ,.,.. Rt=sn, .,.,A.,. A""Itn SEP 1 5 Pnos WoRLD BAr\\' Banco Mundial Washington, D.C. Banco Intemacional de Reconstrucci6n y Fomento I Banco Mundial 1818 H Street, N.W. Washington, D.C. 20433, EE.UU. Reservados todos los derechos Hecho en los Estados Unidos de America Primera impresi6n en ingles: febrero de 1987 Primera impresi6n en espafiol: noviembre de 1987 Los Documentos tecnicos no son publicaciones oficiales del Banco Mundial y se difunden con objeto de alentar el debate y los comentarios, asi como para comunicar los resultados del trabajo del Banco con rapidez a Ia comunidad interesada en cuestiones de desarrollo; al utilizar ~citar material de estos trabajos se debera tener en cuenta su canicter provisional. Los resultados, interpretaciones y conclusiones expresados en este documento son achacables enteramente a su autor o autores y no deberan atribuirse en modo alguno al Banco Mundial, a sus instituciones afiliadas ni a los Directores Ejecutivos o a los paises por ellos representados. Cualesquiera mapas insertos en el texto han sido preparados unicamente para comodidad de los lectores; los nombres empleados en ellos y Ia presentaci6n de datos en los mismos no suponen juicio alguno por parte del Banco Mundial, sus afiliadas, su Directorio o sus paises miembros respecto de Ia situaci6n juridica de ningun pais, territorio, ciudad o region, o de sus autoridades, ni tam poco acerca de Ia delimitaci6n de sus fronteras o su afiliaci6n nacional. Debido a Ia indole no oficial del documento y con objeto de ofrecer los resultados de las investigaciones con Ia menor demora posible, el manuscrito no ha sido preparado de conformidad con los procedimientos apropiados en el caso de los textos impresos oficiales y el Banco Mundial no acepta responsabilidad alguna por los posibles errores. Las publicaciones mas recientes del Banco Mundial se describen en el catalogo New Publications, del que aparece una nueva edici6n el segundo y cuarto trimestres de cada afio. La relaci6n completa de publicaciones aparece en el Index of Publications, de caracter anual, que contiene todos los Htulos por orden alfabetico, asi como indices de temas, autores, paises y regiones; es Uti! principalmente para las bibliotecas y los compradores institucionales. La edici6n mas reciente de cada una de estas tres publicaciones puede obtenerse gratuitamente solicitandola a Publications Sales Unit, The World Bank, 1818 H Street, N.W., Washington, D.C. 20433, EE.UU., o bien a Publications, Banque mondiale, 66, avenue d'Iena, 75116 Paris, Francia. Michael Bamberger trabaja como coordinador regional en el Instituto del Desarrollo Econ6mico y Eleanor Hewitt es auxiliar de investigaciones en el Departamento de Abastecimiento de Agua y Desarrollo Urbano, ambos dependencias del Banco Mundial. ISBN 0-8213-0986-2 La biblioteca del Congreso de los Estados Unidos ha catalogado Ia edicion en ingles de esta publicacion de Ia manera siguiente: Bamberger, MicPAel. A manager's guide to MOnitoring and evaluating urban development programs. (World Bank technical paper, ISSN 0253-7494 ; no. 54) 1. City planning--Developing countries--Evaluation-- Handbooks, manuals, etc. 2. City planning--Evaluation--. Handbooks, manuals, etc. I. Hewitt, Eleanor, 1950- II. Bamberger, Michael. MOnitoring and evaluating urban development programs. III. Title. IV. Series. HT169.S.B35 1987 351.8'18'091724 87-2188 ISBN 0-8213-0883-1 - iii - EXTRACTO Esta Guia para directores ofrece una vision general de Monitoring and Evaluating Urban Development Programs: A Handbook for Program Managers and Researchers (Seguimiento y evaluacion ex post de programas de desarrollo urbano: Manual para directores de programas e investigadores) !/. El Manual es muy amplio, pero de facil comprension para los responsables de las politicas de desarrollo urbano y de la administraci6n y evaluacion de programas en este campo en los paises en desarrollo. Proporciona orientacion sobre todas las fases de la elaboracion y puesta en practica de un sistema de seguimiento y evaluacion ex post, y presenta las principales opciones en cuanto a amplitud, aspectos fundamentales de investigacion y organizacion. Se describen en el sistemas de seguimiento y evaluacion que pueden aplicarse tanto a proyectos individuales como a programas integrados de desarrollo urbano de multiples componentes. En esta Guia se ponen de relieve los aspectos de mayor interes para los directores y los planificadores del desarrollo. Contiene referencias cruzadas para facilitar el uso del Manual. Los proyectos de desarrollo urbano varian mucho en cuanto a amplitud y complejidad, asi como en lo referente a los recursos que pueden dedicar a actividades de seguimiento y evaluacion. El Manual tiene por finalidad ayudar a los directores y a los encargados de la formulaci6n de las politicas a decidir acerca de los tipos y la complejidad de los estudios que sean mas apropiados para sus proyectos, y a seleccionar entre la gama de procedimientos de investigaci6n y analisis disponibles. En todo el se hace una distincion entre tecnicas basicas de seguimiento y evaluacion, cuya aplicaci6n a cualquier proyecto es sencilla y economica, y tecnicas mas complejas, que son apropiadas solo en determinadas circunstancias. Todos los metodos descritos en el Manual han sido ensayados en el terreno, en su mayoria como parte de proyectos del Banco Mundial. La contribucion singular del Manual es mostrar como enfoques tornados de campos como la sociologia, la economia, la antropologia y la contabilidad pueden combinarse para formar una estrategia integrada de seguimiento y evaluaci6n ex post. !/ Bamberger, Michael y Eleanor Hewitt. 1986. Monitoring and Evalua- ting Urban Development Programs: A Handbook for Program Managers and Researchers. Documento tecnico del Banco Mundial No. 53. Washington, D.C. (El Manual puede obtenerse en ingles y frances.) - v - INDICE EXTRACTO ............................................................ iii 1. IMPORTANCIA DEL SEGUIMIENTO Y LA EVALUACION EX POST COMO INSTRUMENTOS DE ADMINISTRACION ••••••••••••••••••••••• 1 2. EXPERIENCIA EN LA QUE SE BASAN LOS SISTEMAS PROPUESTOS ••••• 3 3. MODELO DE LAS FASES PRINCIPALES DEL DISENO Y LA EJECUCION DE UN PROYECTO DE VIVIENDA URBANA ••••.•••••••••••••••••••• 4 4. FUNCIONES DEL SEGUIMIENTO •••••••••••••.•.•••••••.•.••••••• 6 4.1 Seguimiento del desempeno ••••••••.••.•••••••.•••••••• 6 4.2 Seguimiento del proceso de ejecucion •••••••••.••••.•• 8 s. FUNCIONES DE LA EVALUACION EX POST •••..•••••••••••.••••••• 9 5.1 Evaluacion de los efectos •••••••••••••••••••••••••••• 9 5.2 Analisis de la eficacia en funcion de los costos y de costos-beneficios •...................•........ 11 6. INTEGRACION DE LOS ESTUDIOS DE SEGUIMIENTO Y LA EVALUACION EX POST EN UN SISTEMA DE INFORMACION PARA LA ADMINISTRACION • • . • • • • • • . • • • • • • • • • • • • • • • • • • • • • • • • • • 13 7. PLANIFICACION DE UN SISTEMA DE SEGUIMIENTO Y EVALUACION EX POST • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • . • 14 7.1 Definicion de los aspectos que se han de estudiar •.•• 14 7.2 Definicion de la organizacion de los estudios de seguimiento y evaluacion ex post .••••••••••••••• 14 7.3 Definicion de la amplitude intensidad de los estudios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 7.4 Obtencion de seguridades de que los estudios se orienten "a los usuarios" y no "a las tE~cnicas" • • • • 16 7.5 Definicion de las necesidades de recursos •••••••••••• 16 8. ADMINISTRACION DE UN SISTEMA DE SEGUIMIENTO Y EVALUACION EX POST • • • • • • • • • • • . • • • • . . . • . . . . • . . • • • . • • • • • • • 17 8.1 Definicion de la funcion del director del proyecto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 8. 2 Definicion de los principales usuarios de los· estudios de seguimiento y evaluacion ex post ••••••• 17 8.3 Definicion de los productos del seguimiento y la evaluacion ex post y su utilidad practica ••••• 18 8.4 Institucion de procedimientos para el examen regular de los productos del seguimiento y la evaluacion ex post ••••••.•••••••••••••.••••••• 19 9. RESUMEN DEL MAN'UAL • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 20 1. IMPORTANCIA DEL SEGUIMIENTO Y LA EVALUACION EX POST COMO INSTRUMENTOS DE ADMINISTRACION (Introducci6n y Capitulo 1) !/ El seguimiento y la evaluaci6n ex post son instrumentos practices que deberian formar parte esencial de todo sistema administrative id6neo. El seguimiento es una actividad interna de los proyectos, en virtud de la cual se determina: a) si los recursos de un proyecto (dinero, materiales, personal, etc.) se entregan y utilizan de conformidad con el presupuesto y el calendario aprobados; b) si los productos deseados (nUmero de casas construidas, cursos de capacitaci6n impartidos, pacientes tratados, etc.) se obtienen oportunamente y de manera eficaz en funci6n de los costas, y c) si el proyecto se ejecuta con eficiencia. Los proyectos que no incorporan un sistema eficaz de seguimiento es mas probable que adolezcan de algunos de los tipos de problemas siguientes: o demoras y costas superiores a los previstos, o exclusion o insuficiente representaci6n de determinados sectores de la poblaci6n beneficiaria, o deficiencias de control de calidad, y o considerables retrasos en la detecci6n de problemas o conflictos entre los organismos de ejecuci6n, 0 entre estos y los beneficiaries deseados. Las finalidades principales de la evaluaci6n ex post son determinar en que grado se han producido los efectos deseados (aumentos de los ingresos, reducci6n de la incidencia de determinadas enfermedades, mejora de la calidad de las viviendas, etc.) y comparar la eficacia en funci6n de los costas de un proyecto con las posibles opciones. Cuando un proyecto no incorpora un sistema eficaz de evaluaci6n, aumenta el peligro de que ocurran problemas del tipo siguiente: o continuaci6n de un proyecto que no produce los beneficios deseados, 0 desperdicio , de dinero, al no seleccibnarse I la opci6n mas eficaz en funcion de los costos, y · o mayor dificultad para detectar y corregir algunos de los aspectos que aminoran los efectos del proyecto. Un sistema de seguimiento y evaluaci6n ex post bien concebido y aplicado puede ser una manera eficaz en funci6n de los costos para: o Proporcionar informacion constante acerca de la medida en que los proyectos alcanzan sus metas; o Identificar posibles problemas en una etapa temprana y proponer las soluciones del caso; !/ Todas las referencias se relacionan con las secciones apropiadas de Monitoring and Evaluating Urban Development Projects: A Handbook for Managers and Researchers, Documento tecnico del Banco Mundial No. 53. - 2 - o Observar la accesibilidad del proyecto para todos los sectores de la poblaci6n beneficiaria; o Observar la eficacia con que se ejecutan los diferentes componentes del proyecto y sugerir mejoras; o Evaluar en que grade puede el proyecto lograr sus objetivos generales, y o Proporcionar pautas para la planificaci6n de proyectos futures. Muchos directores de proyectos se han sentido desalentados por la creencia de que el seguimiento y la evaluaci6n ex post son campos sumamente tecnicos que deben dejarse a los especialistas en investigaci6n, o son actividades demasiado costosas y complicadas para ser de utilidad practica. Sin embargo, el seguimiento y la evaluaci6n no tienen par que ser alga complicado o caro; la amplitud y complejidad de los estudios pueden adaptarse a las necesidades y recursos de cada proyecto. Por ejemplo, los estudios de seguimiento que se describen en la Secci6n 4 son todos sencillos, breves y econ6micos. La funci6n del director es definir los aspectos que es necesario estudiar, asegurarse de que los investigadores usen los metodos mas eficaces en funci6n de los costas y tamar las disposiciones necesarias para que los informes sean examinados y analizados, y vayan seguidos de las medidas indicadas. - 3 - 2. EXPERIENCIA EN LA QUE SE BASAN LOS SISTEMAS PROPUESTOS (Introducci6n) Los metodos descritos en el Manual se basan en diez anos de experiencia del Banco Mundial y en un examen de los numerosisimos trabajos sobre evaluaci6n realizados desde comienzos del decenio de 1970. Las actividades de evaluaci6n ex post del Banco Mundial en el sector urbane se iniciaron en ·1975 en cooperaci6n con el International Development Research Centre de Ottawa (Canada), y consistieron en una operaci6n conjunta de cinco anos de duraci6n que tuvo por meta evaluar cuatro de los primeros proyectos de vivienda urbana financiados por el Banco Mundial, en El Salvador, Filipinas, Senegal y Zambia. Desde entonces el Banco ha facilitado asistencia a gobiernos de paises de America Latina, Africa y Asia para que elaborasen sus propios sistemas de seguimiento y evaluaci6n, y se han ensayado nuevas tecnicas de evaluaci6n concebidas para obtener informacion con mas rapidez 0 una mejor comprensi6n de los puntos de vista de los beneficiaries pretendidos. Todos los metodos descritos en el Manual han sido ensayados en el terrene, en su mayoria como parte de proyectos del Banco Mundial. - 4 - 3. MODELO DE LAS FASES PRINCIPALES DEL DISENO Y LA EJECUCION DE UN PROYECTO DE VIVIENDA URBANA (Capitulo 1, Seccion B, y Anexo A) A fin de poder concebir e interpretar un programa de seguimiento y evaluacion ex post, es esencial contar con un modelo del proceso de ejecucion del proyecto que se va a estudiar. Esto ayuda a los directores y evaluadores a definir las cuestiones fundamentales que han de estudiarse y proporciona el marco para interpretar los resultados de los diferentes estudios. En la Figura 1 se muestra un modelo que puede usarse para identificar y describir las fases principales de cualquier proyecto de desarrollo urbano. En ella se observa como el modelo puede emplearse para describir las fases principales de un proyecto de renovacion de viviendas en una ciudad grande. El proyecto puede dividirse en seis fases secuenciales: Fase 1: Planificacion y diseno del proyecto. En la fase de planificacion se adaptan supuestos acerca de las necesidades de determinados sectores de la poblacion y sobre la eficacia relativa de distintos sistemas de suministro de los servicios. Fase 2: Asignacion de recursos al proyecto. Los recursos incluyen dinero, terrenos, personal profesional, maquinaria y equipos. Fase 3: Definicion de los sistemas de suministro de los servicios, a traves de los cuales los recursos se convierten en productos. Fase 4: Definicion de los productos que se pretende obtener en virtud del proyecto. Fase 5: Definicion de los efectos que se esperan como resultado del proyecto (veanse el Capitulo 4, Secci6n 5, y el Anexo A). Fase 6: Utilizaci6n de los resultados del primer proyecto para ayudar en la seleccion y diseno de proyectos futuros. Muchos proyectos forman parte de un programa mas amplio de desarrollo urbano y con frecuencia se pretende que los resultados del primer proyecto proporcionen pautas para la definicion y el diseno de otros proyectos en el futuro. El modelo hace referencia tambien al entorno economico y politico en el que se desenvuelve un proyecto y a las caracteristicas del grupo de poblacion escogido como beneficiario. Los proyectos no se realizan en el vacio, y en su exito influyen en medida significativa las caracteristicas del grupo beneficiario, asi como el entorno politico y econ6mico en el que se ejecuta el proyecto. Figura 1 HQQELP PARA EL SEGUIHIENTP Y LA EVALUACIPN EX PQST QEL pRPCESP QE EJECUCIQN QE UN PRPYECTP ANALISISi IECNICO, INfORHE OE TERHINACION EVALUACION t!_POSJ FINANCIE:RO Y ECONOHICO SEGUIHIENTO OEL PROYECTO OEL PROYECTO -- APROBACION PEL PRESTAHO I I -, I PLANlfl CACION Y PRE PAR ACION HETOPOS DISENO DE NUEVOS PEL PR OYECTO 1.11 INSUHOS PE EJECUCION PROPUCTOS EfECTOS PROYECT OS Planific acion y - Adquisicion y - Construccion de casas - Ejecucion Operacion - Aumento de - Analisi s de diseiio administracion por esfuerzo propio, 1os i ngresos 1a efi cacia en de dinero, frente a uso de con- funcion de los Oefinici on de materiales, tratistas; diferentes Casa contruidas Hantenimiento Hejora del costos; redefi- los comp onentes equipo y metodos de adminis- nivel de salud nicion del grupo y del gr upo personal tracion de materiales Pacientes Formaci on benefic iario y benefici ario de cons t rucci on, tratados de grupos Aumento del del sis tema de credito, etc. comunitarios empleo suminis tro de Lotes indus- los ser vicios triales vendidos Recuperacion de costos I I I CONTEXTO DE fACTORES Y CARACTERISTICAS DEL GRUPO BENEFICIARIO Entorno macroeconom1co y politico, catastrofes naturales y caracteristicas de los participantes en el proyecto (pretendidos y reales) - 6 - 4. FUNCIONES DEL SEGUIMIENTO El seguimiento es una actividad interna de los proyectos que tiene por finalidad determinar si los recursos de un proyecto se administran y utilizan de la forma prevista y si dan por resultado los productos deseados. Esta actividad puede dividirse en seguimiento del desempefio y seguimiento del proceso de ejecuci6n. 4.1 Seguimiento del desempefio (Capitulo 2) La finalidad del seguimiento del desempefio es determinar en que grado los recursos del proyecto se utilizan de conformidad con el presupuesto y el calendario aprobados y si los productos deseados se obtienen de forma oportuna y eficaz en funci6n de los costas. Por media del seguimiento del desempefio se puede determinar tambien si los beneficios del proyecto llegan a los grupos de poblaci6n pretendidos. En el Recuadro 1 se ofrece un ejemplo de un estudio de seguimiento de un proyecto de mejora de asentamientos de ocupantes sin titulo que demostr6 que muchas familias de arrendatarios no recibian todos los beneficios del proyecto debido a que los caseros no siempre les permitian acceso al agua potable y los excusados. Como resul tado del estudio, la administraci6n del proyecto introdujo controles mas estrictos para garantizar que los caseros proporcionaran a sus inquilinos conexiones al abastecimiento de agua. RECUADRO 1 USO DE UN ESTUDIO DE SEGUIMIENTO PARA IDENTIFICAR A LOS SECTORES DE LA POBLACION QUE NO SE BENEFICIABAN DE UN PROYECTO DE MEJORAMIENTO DE UNA ZONA DE OCUPANTES SIN TITULO EN BOLIVIA Una de las conclusiones del estudio realizado por un observador participante en un proyecto de mejoramiento de una zona de ocupantes sin titulo en La Paz (Bolivia) fue que los dirigentes comunitarios eran casi exclusivamente propietarios de ingresos medianos de las viviendas. Se hall6 que los intereses de los arrendatarios mas pobres y de las unidades familiares de la periferia de la comunidad no se habian tenido en cuenta debidamente. Como resul tado del estudio, se iniciaron conversaciones con representantes de algunas de las zonas perifericas y se hicieron planes para ampliar la infraestructura a fin de incluir a estas. El estudio fue realizado por un observador participante que vivi6 en la comunidad durante tres meses. (El procedimiento de observaci6n por participantes se explica en el Anexo·B.) Fuente: Lawrence Salmen. 1983. "Participant Observer Evaluation of Urban Projects in La Paz, Bolivia, and Guayaquil, Ecuador." Departamento de Abastecimiento de Agua y Desarrollo Urbano, Documento para discusi6n No. 36, Banco Mundial, Washington, D.C. - 7 - El seguimiento del desempeno tiene por finalidad mejorar la supervision de los proyectos, y es esencial que sus directores reciban informacion constante sobre los indicadores clave del desempeno de los mismos, de modo que sea posible detectar los problemas y efectuar las correcciones del caso. En el Recuadro 2 se ofrece un ejemplo de como a traves de un estudio de seguimiento realizado en Senegal se pudieron identificar los motivos del lento ritmo de terminacion y ocupaci6n de las RECUADRO 2 COMO UN ESTUDIO DE SEGUIMIENTO AYUDO A FORMULAR UN PLAN DE ACCION PARA ACELERAR EL RITMO DE CONSTRUCCION Y OCUPACION DE VIVIENDAS EN UN PROYECTO DE LOTES Y SERVICIOS EN DAKAR (SENEGAL) En Dakar, la capital de Senegal, se llevo a cabo un estudio de seguimiento, a solicitud de la administraci6n del proyecto, con objeto de determinar las razones del len to ritmo de ocupacion de los lotes en un proyecto de vivienda por el sistema de lotes y servicios. El estudio demostro que la mayoria de las casas eran mucho mas grandes y costosas que lo previsto en el diseno del proyecto, y que esto no solo hacia mas lento el ritmo de ocupacion de las mismas sino que tambien excluia a las familias de ingresos mas bajos. Algunos de los motivos de ello eran: a) dificultades administrativas para obtener la aprobacion de los planos de casas pequenas; b) las familias no tenian conciencia de las consecuencias, en materia de costas, de disenar una casa mas grande; c) las familias no conocian bien el concepto de desarrollo progresivo, segun el cual se puede construir y ocupar una unidad minima de vivienda para despues ampliarla, y d) muchas familias de ingresos mas altos habian podido obtener un lote de terreno debido a procedimientos poco rigurosos de selecci6n de participantes. Como resultado del estudio se inici6 un Plan de Accion que tuvo exito en alentar a la gente a construir casas mas pequenas e impuso controles mas estrictos para la selecci6n de los participantes. Asimismo, se proporcion6 asistencia tecnica en la contrataci6n y supervision de subcontratistas y se simplificaron los procedimientos para la aprobacion de planos de casas de menor tamano. El estudio, gue comprendio entrevistas a una muestra de participantes y conversaciones con el personal del proyecto, fue realizado en menos de tres meses por un eguipo de cuatro entrevistadores, junto con un supervisor y un director de investigaciones. Fuente: Bureau d'Evaluation, 1979. "Study of Purchasers of Serviced Plots Who Have Not Yet Begun Construction". Office D'Habitation de Loyer Modere, 1979. Dakar, Senegal. - 8 - viviendas, y de como se pudo ayudar a elaborar un Plan de Accion para reducir los costos y acelerar el ritmo de terminacion de las casas. (En el Anexo G se describe un sistema basico de seguimiento del desempefio que puede aplicarse a cualquier proyecto de desarrollo urbane de forma sencilla y economica. En los Anexos H e I se describe un sistema mas complete, basado en el analisis de redes, que es apropiado en el case de muchos proyectos mas complicados.) 4.2 Seguimiento del proceso de ejecucion (Capitulo 3) La finalidad del seguimiento del proceso de ejecucion es determinar la eficiencia y la eficacia de la realizacion del proyecto. Se miden los costos del sistema de suministro de servicios, la celeridad en la prestacion de estes y la calidad de los productos, y cuando es posible se efectUa una comparacion con otras opciones. Tambien cabe que se determinen los efectos que dicho sistema de suministro de servicios tiene en el nivel y la distribucion de los beneficios del proyecto. En el Recuadro 3 se describen varies estudios de seguimiento que demostraron como las malas comunicaciones entre la administracion y los beneficiaries pueden afectar a la eficiencia en la ejecucion de un proyecto y a la distribucion de los beneficios. RECUADRO 3 ALGUNOS EFECTOS DE LAS COMUNICACIONES DEFICIENTES EN LA EJECUCION DE LOS PROYECTOS Lo que siguen son ejemplos de como unas comunicaciones deficientes pueden afectar al proceso de ejecucion de los proyectos: ** Habian pasado varies afios cuando el organismo de ejecucion de un proyecto en Guayaquil (Ecuador) se die cuenta de que los dirigentes comuni tarios, que pertenecian a par tides politicos de la oposicion, deliberadamente daban informacion erronea a la comunidad acerca de los servicios que se ofrecian. A causa de ello, la comunidad no habia mostrado interes alguno per el proyecto y este nunca se inicio. ** En un proyecto de reubicacion de ocupantes sin titulo en Recife (Brasil), el organismo de ejecuc1on creyo que la comunidad habia sido informada por sus dirigentes acerca de la indole y los costos del proyecto y que la mayoria de las familias estaban conformes con el. Un rapido estudio revelo que, en realidad, la mayor parte de las familias no habian sido bien informadas y a causa de esto estaban tornandose hostiles al proyecto. ** En Usulutan (El Salvador) se hallo que muchas familias de bajos ingresos y analfabetas no presentaban solicitudes de adquisicion de las viviendas del proyecto per no haber recibido la informacion necesaria a traves de los medics de comunicacion; la razon era que se habian usado tecnicas publicitarias que utilizaban el cine y la radio o mensajes escritos. - 9 - 5. FUNCIONES DE LA EVALUACION EX POST (Capitulo 4) Mientras que el seguimiento es una actividad interna de los proyectos que tiene por fin mejorar el desempefio de los mismos durante su ejecucion, la finalidad de la evaluacion ex post es ayudar en la seleccion y el diseno de proyectos futuros. Puede dividirse en evaluacion de los efectos y analisis de la eficacia en funcion de los costas. 5.1 Evaluacion de los efectos La finalidad de la evaluacion de los efectos es calcular la repercusion neta de un proyecto en los grupos de poblacion beneficiaries mediante una comparacion de la situacion de dichos grupos despues de haberse ejecutado el proyecto con lo que tal situacion hubiera sido de no realizarse el mismo. Segun la informacion que se requiera para la planificacion de proyectos futuros, los estudios pueden concebirse de modo que proporcionen informacion descriptiva general sabre los efectos del proyecto, o bien para que faciliten estimaciones cuantitativas de la magnitud de tales efectos. Por ejemplo, los efectos de un proyecto en los ingresos familiares pueden estudiarse mediante entrevistas y observaciones cualitativas de un nUffiero reducido de familias o por media de un estudio longitudinal, con entrevistas a una amplia muestra de participantes en el proyecto y a un grupo de control en dos o mas puntas cronologicos. La primera opcion sera mucho mas economica y rapida de realizar, pero mucho menos exacta. El director, no el investigador, es quien debe decidir cual es el metoda con el que se obtendra mejor la informacion necesaria para las decisiones futuras en materia de politicas. (En el Capitulo 4, Seccion 4, se examinan las alternativas a la evaluacion cuantitativa en gran escala. En el Anexo B se describen las tecnicas de recopilacion de datos que pueden usarse con esos metodos.) Mediante las evaluaciones cuantitativas de los efectos se estima el grado en que los cambios observados pueden atribuirse al proyecto (han sido "causados" par el proyecto) y se examinan los factores que contribuyen al grado y direccion de las repercusiones. En el Recuadro 4 se ofrece un ejemplo del usa de un modelo "cuasiexperimental" de evaluacion para calcular el efecto que el mayor gasto en vivienda tenia en los gastos en alimentos entre los participantes en el proyecto. Se selecciono un "grupo de control" con caracteristicas socioeconomicas similares y, antes de iniciarse el proyecto, se realizo una encuesta entre los participantes en este y los integrantes del grupo de control, a fin de determinar cuanto gastaba cada grupo en alimentos. La encuesta se repitio despues de la terminacion del proyecto, hallandose que, durante un periodo de fuerte inflacion, los gastos en alimentos de los participantes habian aumentado mucho menos que los del grupo de control, lo que indica que quizas el proyecto habia tenido un efecto negativo en dichos gastos. Ahara bien, es preciso poner cuidado en la interpretacion de las conclusiones, ya que no se puede asignar al azar a los sujetos al grupo experimental y al de control de la misma manera que en el campo de la psicologia experimental. Esto significa que quizas habia diferencias entre los dos grupos cuando se llevo a cabo la primera encuesta. Par ejemplo, las familias participantes y las del grupo de control pueden - 10 - haber sido diferentes en cuanto a n{unero de miembros, ingresos, empleo o tiempo de residencia en la ciudad. Algunos de esos factores pueden influir en los gastos en alimentos, de modo que las diferencias observadas entre los dos grupos despues de terminarse el proyecto pueden haberse debido a algunas de esas diferencias iniciales, mas bien que a los efectos del propio proyecto. Se han elaborado diversas tecnicas estadisticas para el anal isis y la interpretacion de estes "mode los cuasiexperimentales". (En el Capitulo 4, Secci6n 5, se describen las tecnicas basicas de evalua- ci6n cuantitativa. En los Anexos D, E y F se relatan en mas detalle los procedimientos de muestreo, elaboracion de modelos y analisis estadistico.) RECUADRO 4 EJEMPLO DE UN MODELO CUASIEXPERIMENTAL DE EVALUACION UTILIZADO PARA DETERMINAR LOS EFECTOS QUE LAS INVERSIONES EN VIVIENDA TENIAN EN LOS GASTOS FAMILIARES EN ALIMENTOS EN EL SALVADOR Una preocupacion de los planificadores del sector de la vivienda es que la necesidad de las familias pobres de movilizar recursos para adquirir o mejorar sus viviendas puede dar por resultado una reduccion de los gastos en alimentos y otros articulos de primera necesidad. Esta hip6tesis se comprobo en un proyecto de lotes y servicios en El Salvador comparando los gastos en alimentos de los participantes y de un grupo de control en 1977, antes de iniciarse el proyecto, y de nuevo en 1979, cuando este llevaba en marcha unos 18 meses. Los resultados fueron los siguientes: Gasto mensual medic en alimentos (colones) 1977 1979 Variacion porcentual Participantes 177,4 240,6 + 35,6 Grupe de control 155,2 241,5 + 64,6 El puntaje de la prueba t de 4,63 (con 356 grades de libertad) era estadisticamente significative al nivel de 0,0005, apoyando asi la hipotesis de que la participaci6n en el proyecto influiria negativamente en los gastos en alimentos. El grupo de control era esencial para este modele, a fin de proporcionar informacion sobre tendencias generales de los gastos en alimentos y como punto de referencia para tomar en cuenta los efectos de la inflacion. Un defecto del modele es que no permite determinar en que grade la tasa mas lenta de aumento de los gastos en alimentos se debe a diferencias iniciale'S entre los dos grupos, mas bien que a los efectos de participar en el proyecto. Fuente: Michael Bamberger. 1982. "Statistical Procedures for the Evaluation of Project Impacts." Departamento de Abastecimiento de Agua y Desarrollo Urbano, Banco Mundial, Washington, D.C. - 11 - 5.2 Analisis de la eficacia en funci6n de los costas y_ de costos-beneficios (Capitulo 4, Seccion 6) La finalidad del analisis de la eficacia en funcion de los costas es comparar distintos proyectos en terminos del costa de obtener un producto determinado. En el Recuadro 5 se describe la evaluacion en gran escala de la eficacia en ·funcion de los costas del Programa Experimental de Asignaciones RECUADRO 5 ANALISIS DE LA EFICACIA EN FUNCION DE LOS COSTOS DE UN PROGRAMA EN GRAN ESCALA DE ASIGNACIONES PARA ESTIMULAR MEJORAMIENTOS EN LAS VIVIENDAS Con el Programa Experimental de Asignaciones para Vivienda se trataba de comprobar la eficacia de proporcionar a las familias pobres asignaciones que pudieran usar para mejorar su actual residencia o para encontrar un mejor alojamiento de alquiler. La creencia era que estimular el mercado privado seria mas eficaz que el que el Gobierno proporcionase directamente las viviendas. Una muestra de aproximadamente 1.800 familias de bajos ingresos fue dividida al azar en dos grupos, un grupo experimental que recibiria asignaciones para vivienda y un grupo de control que no las recibiria. Uno de los experimentos consisti6 en un estudio trienal de la demanda para observar el efecto del aumento de los ingresos (asignacion para vivienda) y de los precios reducidos (pago de una proporcion del alquiler) en el consumo de vivienda. Las familias participantes se obligaron a proporcionar informacion mensual y a responder a entrevistas peri6dicas. Las integrantes del grupo de control no recibieron asistencia, pero se les pidi6 que facilitaran una informacion similar, por lo cual recibieron un pequeno emolumento. Se hallo que, de las f amil ias que reunian los requis itos para participar en el proyecto, una proporcion relativamente pequena decidio hacerlo y solicitar los beneficios. Solo el 27% de dichas familias solicito asignaciones para vivienda, y solo entre el 10% y el 25% del ingreso adicional se utilizo en aumentar el consumo ' de vivienda. I . Aunque las tasas de participacion fueron relativamente bajas, este Programa demostro ser una manera eficaz en funcion de los costas de mejorar la calidad de la vivienda en el caso de grupos de beneficiaries especificos. Las mejoras observadas se consiguieron a un costa considerablemente menor que a traves de los programas convencionales, y se ha estimado que la adopci6n de las recomendaciones de esta evaluacion podria ahorrar a los organismos federates de la vivienda hasta US$7.000-8.000 millones al ana. Fuente: Raymond Struyk y Marc Bendick. 1981. Housing for the Poor. Urban Institute, Washington, D.C. - 12 - para Vivienda, en los Estados Unidos, en virtud del cual se proporcionaban donaciones a las familias para mejorar sus residencias. Se hallo que este metodo, segun el cual las propias familias eran las responsables de realizar las mejoras por si mismas o de buscarse contratistas que las hicieran, era mucho mas eficaz en funcion de los costos que los sistemas convencionales en los que los organismos federales o estatales eran directamente responsables de construir o renovar las viviendas. Se calculo que la evaluacion, que cos to unos US$50 millones a lo largo de un periodo de diez anos, podria ahorrar al Gobierno federal basta US$7.000-8.000 millones al ano. En el Recuadro 6 se ofrece un ejemplo del usa del analisis de costos-beneficios para comparar los beneficios y las tasas de rendimiento economico de ocho opciones de vivienda de bajo costa en El Salvador. Se calcularon los costas y los beneficios correspondientes a cada ana de los 20 anos estimados de duracion de cada proyecto, asi como los beneficios netos (la diferencia entre beneficios y costas), tambiEm para cada ana. Despues se descontaron los beneficios netos para obtener la tasa de rendimiento economico y el valor neto actualizado. Cuando este valor neto actualizado se dividio por los costas, se hallo que el coeficiente de eficacia en funcion de los costas de los proyectos de lotes y servicios era por lo menos el doble de alto que el de los programas tradicionales de vivienda del Gobierno. La conclusion de este analisis fue que se puede proporcionar vivienda a los sectores pobres de la poblacion de manera mucho mas econ6mica par media del sistema de lotes y servicios que a traves de los programas convencionales de vivienda. RECUADRO 6 COMPARACION DE LAS RELACIONES DE COSTOS-BENEFICIOS DE DISTINTOS TIPOS DE PROYECTOS DE VIVIENDA URBANA En El Salvador se llevo a cabo una comparaci6n entre ocho opciones de vivienda de bajo costa, en terminos de sus costas y beneficios tanto para la nacion como para las familias participantes. Se demostro que la tasa de rendimiento econ6mico en los sistemas de construccion progresiva (lotes y serv1c1os y mejoramiento de barrios de tugurios) variaba entre 18% y 33%, mientras que en el caso de los programas gubernamentales convencionales de vivienda (unidades multifamiliares y unifamiliares completas) dicha tasa oscilaba entre 91 y 13%. La relaci6n entre valor neto actualizado y costos era par lo menos cinco veces mayor en el caso de los proyectos de lotes y serv1c1os que en los de vivienda convencional. Estas conclusiones indicaban que la adopci6n en gran escala del sistema de construcci6n progresiva seria muy eficaz en funci6n de los costas y haria los proyectos mas accesibles para las familias de bajos ingresos. Fuente: Marisa Fernandez-Palacios y Michael Bamberger. 1984. "An Economic Evaluation of Low-Cost Housing Options in El Salvador", Departamento de Abas tee imien to de Agua y Desarrollo Urbano, Documento para discus ion No. 55, Banco Mundial, Washington, D.C. - 13 - 6. INTEGRACION DE LOS ESTUDIOS DE SEGUIMIENTO Y LA EVALUACION EX POST EN UN SISTEMA DE INFORMACION PARA LA ADMINISTRACION Aunque cada uno de los cuatro tipos de estudios descritos en las Secciones 4 y 5 del presente docwnento tiene diferentes finalidades, se complementan entre si y deben usarse conjuntamente en un programa integrado de seguimiento y evaluacion ex post. Supongamos, por ejemplo, que en la· evaluacion de un proyecto de abastecimiento de agua y saneamiento se descubre que los progresos esperados en la altura y el peso de los niiios no han tenido lugar. La evaluacion de los efectos por si sola no puede explicar si esta conclusion significa que los supuestos fundamentales del proyecto no son validos, 0 si el problema se debe al modo en que.el proyecto se ejecuto. En este caso, mediante el seguimiento del proceso de ejecucion se podrian identificar los problemas que hubo durante la realizacion del proyecto y determinarse en que grado esos problemas han contribuido a la ausencia de los efectos previstos. Si se produjeron problemas graves durante la ejecucion, evidentemente sera dificil interpretar la falta de efectos como prueba de que unos servicios mejores de agua y saneamiento no afectaran posiblemente a la salud de los nifios. En casos como este, los estudios de seguimiento pueden aumentar en gran medida la utilidad operacional del estudio de los efectos. En otros casos, tal estudio puede usarse para complementar los hallazgos de los estudios de seguimiento, mediante la determinacion de si un proyecto que se ejecuta con un alto grado de eficiencia esta produciendo los efectos deseados. Por ejemplo, si un programa de capacitacion que funciona eficientemente no tiene ningun efecto en los ingresos o el empleo, quizas no se justifique que continue. - 14 - 7. PLANIFICACION DE UN SISTEMA DE SEGUIMIENTO Y EVALUACION EX POST (En el Anexo C se ofrece una guia sistematica de las decisiones que deben tomarse para formular y poner en practica un sistema de seguimiento y evaluacion ex post.) En esta seccion se describen las principales decisiones y medidas que un director debe tomar para seleccionar y planificar los tipos de estudios de seguimiento y evaluacion apropiados para un proyecto determinado. En el Cuadro 1 se resumen las fases principales de la planificacion y administracion de los sistemas. 7.1 Definicion de los aspectos que se han de estudiar Cada estudio supone gasto de dinero y tiempo del personal, por lo que es esencial que la administracion seleccione cuidadosamente los aspectos que deberan abarcar los estudios de seguimiento y evaluacion. Cualquier topico puede estudiarse normalmente de diferentes maneras y, dado que los distintos enfoques varian considerablemente en terminos de detalle, complejidad, tiempo y cos to, es importante que el director defina con cuidado exactamente que clase de informacion se necesita. Los directores deben decidir acerca de la importancia relativa de cada uno de los cuatro tipos de estudios de seguimiento y evaluacion descritos en las Secciones 4 y 5 y como se repartiran los recursos entre ellos. 7.2 Definicion de la organizacion de los estudios de seguimiento y evaluacion ex post (Capitulo 5) Es precise decidir si los estudios de seguimiento y evaluacion los llevaran a cabo los organismos de ejecucion, o si una parte o la totalidad de los mismos se subcontrataran con otras organizaciones. En los casas en que el seguimiento y la evaluacion vayan a ser actividades internas, hay que decidir la ubicacion de las unidades de seguimiento y/o evaluacion en el organigrama. Tambien hay que tomar la decision de como y cuando emplear consultores. 7.3 Definicion de la amplitude intensidad de los estudios (Anexo C, Secci6n 1.3) En el caso de proyectos grandes con muchos componentes y que quizas abarquen muchas zonas geograficas diferentes, deben establecerse prioridades en materia de investigacion. Seria excesivamente costoso y consumiria demasiado tiempo estudiar de forma intensiva cada componente en cada zona; por consiguiente, la administracion debe decidir cuales son los componentes o zonas cuyo estudio es mas importante. Como se examine antes, tambien reviste importancia definir si se requieren estimaciones cuantitativas exactas de los efectos o si sera suficiente realizar estudios descriptivos. 15 - Cuadro 1: ALGUNOS ASPECTOS FUNDAMENTALES DE LA PLANIFICACION Y ADMINISTRACION DE UN SISTEMA DE SEGUIMIENTO Y EVALUACION EX POST PLANIFICACION 1. Definicion de los aspectos fundamentales que se han de estudiar y su importancia relativa * Seguimiento del desempeno * Seguimiento del proceso de ejecucion * Evaluacion de los efectos * Evaluacion de la eficacia en funcion de los costos 2. Definicion de la organizacion de los estudios de seguimiento y evaluacion ex post * Realizacion por el organismo de ejecucion o subcontratacion * Ubicacion de las unidades de seguimiento y evaluacion en el organigrama * Funciones que deberan encomendarse a consultores (de ser necesario contratarlos) 3. Definicion de la amplitud e intensidad de los estudios * Cobertura geografica * Nivel requerido de detalle y exactitud 4. Obtencion de seguridades de que los estudios se orienten "a los usuaries" 5. Definicion de las necesidades de recursos * Personal * Financiamiento * Equipo, locales para oficinas, etc. ADMIN I STRAC ION 1. Definicion de la funcion del director del proyecto 2. Definicion de los principales usuaries de los estudios de seguimiento y evaluaci6n ex post y sus necesidades de informacion * Directores de proyectos * Planificadores del desarrollo urbane * Ministerios nacionales de finanzas y planificacion * Organismos internacionales donantes 3. Definicion de los productos del seguimiento y la evolucion ex post, asegurandose de que sean de utilidad practica en las operaciones * Estudios de planificacion para la seleccion y el diseno de nuevos proyectos * Informes mensuales o trimestrales de seguimiento * Estudios de grupos de expertos con caracter continuo * Estudios especiales para proporcionar informacion sobre problemas o cuestiones identificados por la administracion * Informe de evaluacion a mitad del periodo de ejecucion * Estudios de los efectos y la eficacia en funcion de los costos * Informe de terminaci6n del proyecto 4. Instituci6n de procedimientos para el examen regular de los productos del seguimiento y la evaluaci6n ex post - 16 - 7.4 Obtencion de seguridades de que los estudios se orienten "a los usuaries" y no "a las tecnicas" (Anexo B, Secci6n 1) Muchos investigadores dedicados a realizar estudios de seguimiento y evaluacion se han heche expertos en el usa de determinadas tecnicas de investigaci6n, y algunos se interesan mas par la selecci6n y refinacion de tales tecnicas que por asegurarse de que los estudios satisfagan las necesidades de informacion del director del proyecto. Todos los metodos de investigacion tienen sus ventajas y desventajas, par lo que un buen modelo de evaluaci6n ex post debera incluir siempre varias tecnicas diferentes, a fin de lograr la comprension mas amplia posible del problema y evitar los tipos de sesgos que inevitablemente se producen cuando se usa un solo metoda. Al hablar con los evaluadores, el director del proyecto descubrira enseguida que existe controversia entre los que abogan por los metodos cuantitativos ("objetivos"), con los que se procura obtener estimaciones estadisticas rigurosas de los efectos del proyecto, y los que defienden los metodos cualitativos ("subjetivos")' con los que se trata de comprender los sistemas de valores de los grupos de poblaci6n afectados y sus actitudes respecto del proyecto. Tanto los metodos cuantitativos como los cualitativos tienen ventajas y desventajas, por lo que el sistema de evaluacion debera incluir ambos. 7.5 Definicion de las necesidades de recursos (Capitulo 5, Secci6n F) Las tecnicas de seguimiento y evaluacion varian mucho en cuanto a amplitud, complejidad y costa. Una de las funciones del director es seleccionar los tipos de estudios y la estructura organica que respondan mejor a las necesidades y recursos de los organismos de ejecuci6n y de los responsables de la adopcion de las politicas. Los recursos deberan asignarse a aspectos prioritarios, poniendo cuidado en no invertir recursos en estudios de escasa utilidad operacional. Al abordar la cuestion de si es o no asequible un estudio de evaluacion ex post, sera importante tener presente el concepto de eficacia en funcion de los costos. En un proyecto complejo quizas se justifique la inversion de grandes sumas de dinero para llevar a cabo una evaluaci6n rigurosa de las distintas estrategias de inversion, ya que esto puede permitir grandes ahorros al disenar proyectos futures. - 17 - 8. ADMINISTRACION DE UN SISTEMA DE SEGUIMIENTO Y EVALUACION EX POST 8.1 Definicion de la funcion del director del proyecto (Capitulo 1, Seccion A) El seguimiento y la evaluacion ex post son instrumentos de administracion y, a fin de que sean utiles desde el punto de vista de las operaciones, el director del proyecto debe participar activamente en todas las fases de la estructuracion y el examen de los estudios, asi como en la puesta en practica de las recomendaciones. Aunque los aspectos tecnicos de los estudios son responsabilidad del equipo de investigacion o los consultores, el director del proyecto debe controlar la seleccion de los estudios y asegurarse de que se aborden los aspectos operacionales importantes. Cuando la responsabilidad de la concepcion y ejecucion de los estudios de seguimiento y evaluacion se deja en manos de los investigadores, cabe la posibilidad de que los mismos resulten demasiado academicos y que su utilidad operacional se reduzca. 8.2 Definicion de los principales usuarios de los estudios de seguimiento y evaluacion ex post (Capitulo 5, Seccion A) A fin de asegurar que los estudios de seguimiento y evaluacion ex post sean utiles desde el punta de vista de las operaciones, es necesario en primer lugar definir quienes son los posibles usuarios y cuales son las necesidades de informacion de estos. Por lo general, los principales grupos de usuarios son cuatro: a) Los directores de los proyectos, quienes usan la informacion para controlar la ejecucion de los proyectos de los que son responsables, asegurarse de que los objetivos se alcanzan y los beneficios llegan a los grupos de poblacion elegidos como objetivo y ayudar en el diseno de proyectos futuros o la ampliacion del proyecto de que se trate a otras zonas. b) Los planificadores del desarrollo urbana, quienes utilizan la informacion para evaluar los efectos del proyecto en el desarrollo general de la ciudad, comparar los costas y resultados con los de otras opciones de inversion y planear nuevas proyectos. c) Los ministerios nacionales de finanzas y planificacion, que usan la informacion para acelerar la entrada de los desembolsos de los organismos internacionales donantes, controlar el flujo de fondos interno y evaluar los efectos de generacion de ingresos de los proyectos. d) Los organismos internacionales donantes; en el caso de los proyectos financiados parcialmente mediante un prestamo internacional, el organismo donante exigira informes de seguimiento y evaluacion como parte de sus actividades ordinarias de supervision y planificacion, asi como para elaborar los calendarios de los desembolsos futures. - 18 - Ademas de estes grupos principales de usuaries, la informacion obtenida es de utilidad para una amplia gama de investigadores e instituciones academicas. 8.3 Definicion de los productos del seguimiento y la evaluacion ex post y su utilidad practica Es importante asegurarse de que los estudios de seguimiento y evaluacion ex post se elaboren con oportunidad, sean sencillos de leer y aborden las cuestiones operacionales fundamentales. A continuacion se enumeran algunos de los tipos de estudios utiles para las operaciones y los informes que pueden elaborarse. a) Los estudios de evaluacion ex post pueden ser muy utiles en la planificacion de un nuevo proyecto. Por ejemplo, mediante la observacion por los participantes u otros estudios detallados se pueden calcular las reacciones probables de una comunidad a un proyecto propuesto e identificar los problemas que quizas puedan surgir en ciertas comunidades (vease el Capitulo 3, Secciones 2, 3 y 5). b) Los informes de seguimiento se elaboran normalmente con caracter mensual o trimestral a fin de proporcionar un resumen de los indicadores clave sobre el avance de cada componente del proyecto, junto con una indicacion de los problemas fundamentales y otras cuestiones que requieren atencion. Estos informes deberan proporcionar datos sobre actitudes de la comunidad e interacciones con otras organizaciones, asi como un resumen de la informacion recopilada dentro del propio organismo (vease el Anexo G). c) En el caso de ciertos proyectos, pueden requerirse estudios de grupos de expertos con objeto de obtener informacion continua sobre su ejecucion e identificar posibles problemas. Por ejemplo, una muestra de unidades familiares que esten renovando sus casas puede ser objeto de visitas mensuales para observar el avance de sus trabajos e identificar los tipos de problemas que encuentran (vease el Capitulo 3, Seccion 5). d) Se llevan a cabo estudios especiales siempre que la administracion necesita ayuda para tomar una decision importante. Con frecuencia, estes estudios combinan metodos diferentes y, segun la cuestion que se estudie, pueden terminarse en unas pocas semanas o requerir un tiempo considerablemente mas largo (en los recuadros del Capitulo 3 se ofrecen varies ejemplos). e) El gobierno central o el organismo de financiamiento con frecuencia exigen un informe de evaluacion a mitad del periodo de ejecucion. En dicho informe se examinan los progresos realizados, se identifican cuestiones fundamentales y se hacen recomendaciones acerca de posibles modificaciones en el diseiio - 19 - que debieran considerarse. Este informe es importante, ya que se prepara cuando el proyecto esta lo bastante avanzado como para que haya una base sol ida para su evaluaci6n y, al mismo tiempo, cuando todavia quedan tiempo y recursos suficientes para poder efectuar correcciones si ello es necesario. f) Evaluaci6n de los efectos y analisis de la eficacia en funci6n c:fe los costos de los componentes de los proyectos (vease el Capitulo 4, Secci6n 6). g) Una vez recibido el ultimo desembolso de fondos, normalmente se requiere un informe de terminaci6n del proyecto. En el se evalUan el grado en que se han alcanzado los objetivos del proyecto y la eficiencia con la que se organiz6 el mismo y se hacen recomendaciones respecto del diseno de proyectos futuros. 8.4 Instituci6n de procedimientos para el examen regular de los productos del seguimiento y la evaluaci6n ex post La estructuraci6n de un sistema de seguimiento y evaluaci6n ex post es un proceso iterativo en el que la calidad de los estudios e informes mejorara gradualmente con la experiencia acumulada. La calidad de los primeros estudios e informes con frecuencia sera algo limitada, al ser tanto los investigadores como los directores inexpertos en este campo. A fin de conseguir que la calidad de los estudios mejore, deberan instituirse procedimientos de examen regular en virtud de los cuales se examinen y evaluen todos los estudios y se definan cuestiones fundamentales para estudios futuros. Tal examen normalmente supone que el equipo que realiza la evaluaci6n presenta sus informes en reuniones de la administraci6n, en las que son examinados y se toman decisiones sobre las medidas que hayan de adoptarse. Los informes deberan distribuirse antes de las reuniones y los jefes de division se encargaran de recoger los comentarios de los miembros de su personal. - 20 - 9. RESUMEN DEL MANUAL Capitulo 1: Estructura del seguimiento y la evaluacion ex post En este capitulo se describe la estructura en la que se definen los objetivos • la amplitud y la organizacion de un sistema de seguimiento y evaluacion ex post. Estas dos actividades son instrumentos de administracion y es importante que el director del proyecto participe activamente en la concepcion. el examen y la aplicacion de los estudios. El sistema debera incluir seguimiento del desempeno (para controlar el uso de los insumos y la obtencion de los productos) • seguimiento del proceso de ejecucion (para evaluar la eficiencia y la eficacia con que el proyecto se lleva a cabo), evaluacion de los efectos (para calcular la repercusion cuantitativa del proyecto en las condiciones socioeconomicas del grupo de poblacion escogido como objetivo) y analisis de la eficacia en funcion de los costos (para comparar proyectos alternatives en terminos de los productos obtenidos a un cos to determinado). Se examinan las decisiones fundamentales que la administracion debe tomar con respecto a la planificacion y administracion de los estudios y, por ultimo, se identifican varios problemas comunes en la estructuracion y ejecucion de los estudios de seguimiento y evaluacion, proponiendose algunas soluciones posibles. Capitulo 2: Seguimiento del desempeno En este capitulo se describen la estructuracion y puesta en practica de un sistema destinado a proporcionar informacion periodica acerca del progreso de un proyecto y el grado en que los insumos se usan de conformidad con el presupuesto y el calendario aprobados, y sobre si los productos deseados se obtienen de manera oportuna y eficaz en funcion de los costos. Se describen dos sistemas, uno basico que puede aplicarse sencilla y economicamente a cualquier proyecto, y otro mas complejo, basado en el anal isis de redes' que es mas apropiado para proyectos mas grandes y complicados. Capitulo 3: Seguimiento del proceso de ejecucion seguimiento del sistema de suministro de servicios de los proyectos En este capitulo se examinan cuestiones y modelos fundamentales para el seguimiento de la eficiencia y la eficacia del proceso de ejecucion de un proyecto. Entre las cuestiones examinadas se cuentan las ventajas y desventajas relativas de diferentes indicadores de eficiencia y algunos de los factores relatives a la organizacion que han impedido que muchos proyectos siguieran con eficacia el proceso de ejecuc1on. Esta actividad puede tener por finalidad proporcionar con regularidad informacion sobre el progreso de la ejecucion, o facilitar informacion rapidamente cuando surgen problemas. Se presentan los principales metodos de recopilacion de datos, con la recomendacion de que se adopte siempre un sistema en el que se combinen varios metodos cuantitativos y cualitativos. Se describen tres modelos de estudio: observacion continua durante toda la vida util del proyecto, estudios periodicos y estudios realizados en un solo punto - 21 - cronologico. Tambien se describen tecnicas para el seguimiento de la eficiencia del proceso de ejecucion. Por ultimo, se hacen recomendaciones sobre como definir la estrategia apropiada para el seguimiento del proceso de ejecucion. Capitulo 4: Evaluacion de los efectos En este capitulo se presentan varies modelos de investigacion para la evaluacion de los efectos de un proyecto. Se examinan la evolucion historica de este tipo de evaluacion y las discrepancias entre los que abogan por estudios cualitativos y los que se inclinan por un enfoque cuantitativo. Se analizan cuestiones fundamentales, como el realizar o no evaluaciones de los efectos y cuando hacerlas' y se ofrecen ejemplos de diferentes modelos de investigacion. Se presentan varies ejemplos de estudios de evaluacion sencillos, como opciones a los estudios de gran escala en aquellas situaciones en las que no es necesario obtener estimaciones cuantitativas exactas de los efectos del proyecto. En lo que respecta a la evaluacion cuantitativa, se distingue entre los estudios orientados a estimar la repercusion neta del proyecto (el modele cuasiexperimental) y los que calculan la eficacia en funci6n de los costas (analisis de costos-beneficios, analisis de la eficacia en funcion de los costas y analisis de la utilidad en funcion de los costas). Por ultimo, se dan pautas acerca de como elegir la estrategia apropiada de evaluacion de los efectos. Este capitulo incluye referencias a materias tecnicas incluidas en los anexos sobre muestreo, modelos de investigacion y analisis estadistico. Capitulo 5: Administracion de los sistemas de seguimiento y evaluacion ex post En este capitulo se examinan las principales cuestiones que entran en la definicion de la estructura organica apropiada para los sistemas de seguimiento y evaluacion ex post a nivel de los organismos de ejecucion, el organismo coordinador local, los organismos sectoriales especializados y los ministerios nacionales de finanzas y desarrollo. Entre esas cuestiones se incluyen: la definicion de quien debe realizar los estudios de evaluacion, el papel de los consultores, la ubicacion apropiada de las unidades de seguimiento y evaluacion en los organigramas, la funcion de un comite directive y el reparto de las responsabilidades en materia de evaluacion entre los organismos nacionales, sectoriales y locales. No hay una estructura organica que sea la mejor en todas las circunstancias; la magnitud y complejidad del proyecto y el tamafio relative de los distintos organismos participantes, asi como su experiencia en la esfera de la investigacion, determinaran en cada caso la ubicacion de las unidades de seguimiento y/o evaluacion. Se ofrecen pautas para calcular las necesidades financieras y de recursos humanos de los diferentes tipos de programas de seguimiento y evaluacion. En la ultima seccion se examinan problemas que se presentan comunmente en la organizacion de un programa de evaluacion y se proponen algunas soluciones posibles. - 22 - Capitulo 6: Problemas relativos a la evaluacion de proyectos de desarrollo urbano distintos de los de vivienda y formas de enfocarlos En este capitulo se examinan algunas de las nuevas orientaciones surgidas en los ultimos aiios en el campo del qesarrollo urbano, asi como el grado en que los sistemas de seguimiento y evaluacion ex post expuestos en los capitulos anteriores son aplicables a ellas. Los cuatro tipos de proyectos examinados son: generac1on de ingresos y empleo, salud, transportes y fortalecimiento municipal e institucional. Se llega a la conclusion de que las tecnicas de seguimiento del desempeiio se pueden aplicar facilmente a todos estos nuevos tipos de proyectos, y que las de seguimiento del proceso de ejecucion se pueden aplicar sin ningun problema a los tres primeros y con alguna dificul tad a los de fortalecimiento municipal e institucional. Los problemas principales se plantean en la evaluacion de los efectos de los proyectos, debido a que el tamaiio y la amplitud de estos dificulta la identificacion de un grupo de control, a que es dificil especificar y medir los efectos o a que el proyecto no tiene un conjunto t1nico de resultados y efectos que puedan definirse y medirse claramente. Se recomiendan estrategias para la aplicacion de cada tipo de estudio de seguimiento y evaluacion a cada uno de los cuatro tipos de proyectos mencionados. El Manual contiene diez anexos, en los que se examinan de forma mas detallada y tecnica los temas incluidos en el texto principal: A. Definicion y uso de un modelo del proceso de ejecucion de proyectos B. Metodos de recopilacion de datos para los estudios de seguimiento y evaluaci6n ex post C. Guia del director para la estructuraci6n y puesta en practica de un sistema de seguimiento y evaluacion ex post D. Conceptos basicos de seleccion de muestras E. Modelos experimentales y cuasiexperimentales para la evaluacion de los efectos de los proyectos de desarrollo urbana F. Metodos de analisis de datos G. Ejemplo de informe trimestral sobre la marcha de un proyecto H. Elaboracion de un sistema basado en el analisis de redes para el seguimiento de la ejecuci6n de los proyectos I. Elaboracion de un sistema basado en el analisis de redes para el seguimiento del desempeiio financiero de los proyectos J. Biblioteca basica de la evaluacion ex post K. Glosario de terminos usados en el Manual Se incluye asimismo una extensa bibliografia para orientar a los lectores interesados en un estudio mas detallado de determinados aspectos. DISTRIBUTORS OF WORLD BANK PUBLICATIONS KENYA For subscription on.Jers ARGENTINA FRANCE World Bank Publications Africa Book Scrvt