38251 GRUPO DE EVALUACIÓN INDEPENDIENTE BANCO MUNDIAL IEG D ESARROLLO DE LA CAPACIDAD DE EVALUACI Ó N DCE S ERIE DE DOCUMENTOS DE TRABAJO • N O . 16: M AYO 2006 Experiencia con la institucionalización de sistemas de monitoreo y evaluación en cinco países latinoamericanos: Argentina, Chile, Colombia, Costa Rica y Uruguay Ariel Zaltsman Este documento presenta un análisis comparativo entre las experiencias de cinco países con la institucionalización de sistemas nacionales de Experiencia con la institucionalización de monitoreo y evaluación (MyE). sistemas de monitoreo y evaluación en cinco Entre las lecciones obtenidas se pueden países latinoamericanos: Argentina, Chile, mencionar las grandes ventajas de Colombia, Costa Rica y Uruguay contar con el decidido apoyo de las autoridades más altas, y los beneficios de la coordinación entre los sistemas y sus distintas partes interesadas. También se destaca una serie de aspectos distintivos del principal sistema de MyE de Chile. DCE Serie de documentos de trabajo ♦ 16 Ariel Zaltsman Mayo 2006 www.worldbank.org/ieg/ecd Banco Mundial Washington, D. C. Copyright 2006 Grupo de Evaluación Independiente Programas de conocimiento y desarrollo de la capacidad de evaluación E-mail: eline@worldbank.org Teléfono: 202-473-4497 Fax: 202-522-3125 El desarrollo de la capacidad de evaluación (DCE) ayuda a construir una adecuada gobernanza en los países—aumentando la transparencia y construyendo una “cultura de desempeño” dentro del sector público para sustentar una mejor gestión y formulación de políticas, y fortalecer las relaciones de rendición de cuentas—mediante el apoyo a la creación o fortalecimiento de los sistemas de monitoreo y evaluación a nivel nacional o sectorial. La sociedad civil puede jugar un rol catalítico en este sentido, contribuyendo a la evaluación del desempeño del gobierno. El GEI está orientado a identificar y desarrollar buenas prácticas en los distintos países, y a compartir el creciente cúmulo de experiencia con dicho trabajo. La Serie de Documentos de Trabajo del GEI difunde los hallazgos de trabajos en curso con la intención de fomentar el intercambio de ideas sobre cómo mejorar la efectividad del desarrollo a través de la evaluación. Un objetivo de esta serie es lograr que los hallazgos se difundan rápidamente, aún cuando sean presentados de manera un tanto informal. Los hallazgos, interpretaciones, opiniones, y conclusiones expresadas en este documento son de exclusiva responsabilidad del autor, y no representan necesariamente las opiniones del Grupo de Evaluación Independiente o de cualquier otra dependencia del Banco Mundial, sus Directores Ejecutivos, o los países que representan. INDICE Prefacio……………………………………………………………………………………….... i Lista de Abreviaturas………………………………………………………………………… ii Resumen Ejecutivo…………..……………………………………………….………………. iii 1. INTRODUCCIÓN………………………….………………………….........………… 1 2. CONFIGURACIÓN DE LA FUNCIÓN DE MyE …………………....…………...... 3 3. OBJETIVOS Y ORIGENES DE LOS SISTEMAS DE MyE ……….........……… 4 4. IMPLEMENTACION DE LOS SISTEMAS Y DESARROLLOS POSTERIORES …………………………………………………………………….. 7 5. MARCOS LEGALES DE LOS SISTEMAS…...………….........………………...... 12 6. ARQUITECTURA DE LOS SISTEMAS DE MyE….…………………………….. 15 6.1 Componentes de los Sistemas y Actividades de MyE ……...…………..…. 15 6.2 Marco Organizacional y Distribución de Roles……………...................…. 19 6.3 Flujos de Información y Presentación de Informes ..…………………..... 25 6.4 Relación entre el MyE y el Ciclo Presupuestario…...................................... 29 7. OBSERVACIONES FINALES Y LECCIONES OBTENIDAS….................... 33 Anexo Lista de Personas Entrevistadas o Consultadas.............................................. 39 BIBLIOGRAFÍA……………….……………..………………………………….................... 42 FUENTES DE INTERNET….................................................................................................. 47 PREFACIO El Grupo de Evaluación Independiente (GEI) ― anteriormente conocido como Departamento de Evaluación de Operaciones (OED) ― del Banco Mundial cuenta con un programa de apoyo de largo plazo destinado a fortalecer los sistemas y las capacidades de monitoreo y evaluación (MyE) de los países en desarrollo, y a consolidar, de esta forma, la buena gobernanza. Como parte de este apoyo, el GEI ha preparado una serie de materiales de apoyo que incluye estudios de caso de países que pueden ser vistos como ejemplos de buenas prácticas o prácticas prometedoras. Este material se encuentra disponible en: http://www.worldbank.org/ieg/ecd/ Un número cada vez mayor de gobiernos en América Latina están trabajando para fortalecer sus sistemas de MyE, y se pueden extraer muchas lecciones importantes a partir de estos esfuerzos. El propósito de este documento es presentar una taxonomía y un análisis detallado de los sistemas de MyE de cinco países de la región. En conjunto, estos países poseen ocho sistemas nacionales de monitoreo y/o evaluación. El documento identifica los principales objetivos y los posibles usos de la información que produce cada uno de estos sistemas; la manera en que fueron desarrollados a través del tiempo, su marco legal, y su diseño y organización ― incluyendo la distribución de roles y responsabilidades, el grado de coordinación y los flujos de información. También se presenta evidencia preliminar sobre el grado de utilización de la información de MyE que genera cada sistema. La utilización es el criterio básico para evaluar la efectividad y utilidad de un sistema; pero para medir este aspecto para cada sistema, se necesitaría una serie de estudios específicos y en profundidad sobre cada caso. El Banco Mundial completó recientemente un estudio con estas características sobre el principal sistema de MyE de Chile (Banco Mundial, 2005). El responsable del proyecto en cuyo marco se realizó el análisis comparativo presentado en este documento fue Yasuhiko Matsuda (LCSPS). El editor de éste y los otros documentos de trabajo de esta serie fue Keith Mackay (IEGKE). Las opiniones expresadas en este documento pertenecen exclusivamente al autor, y no representan necesariamente las opiniones del Banco Mundial. Klaus Tilmes Jefe Grupo de Programas de Gestión de Conocimientos y Desarrollo de la Capacidad de Evaluación. i LISTA DE ABREVIATURAS BID Banco Interamericano de Desarrollo BGI Balance de Gestión Integral CCC Carta Compromiso con el Ciudadano CEPRE Comité Ejecutivo para la Reforma del Estado CLAD Centro Latinoamericano de Administración para el Desarrollo CONPES Consejo Nacional de Política Económica y Social DCI División de Coordinación Interministerial DIPRES Dirección de Presupuestos DNP Departamento Nacional de Planeación ECG Evaluación Comprehensiva del Gasto EFS Entidades Fiscalizadoras Superiores EI Evaluación de Impacto EPG Evaluación de Programas Gubernamentales FCRPG Fondo Central de Recursos para Prioridades Gubernamentales FERIE Formato Estándar/Recursos para Innovación y Expansión ID Indicador de Desempeño MIDEPLAN Ministerio de Planificación MyE Monitoreo y Evaluación ONP Oficina Nacional de Presupuesto OPP Oficina de Planeamiento y Presupuesto PAO Plan Anual Operativo PMG Programa de Mejoramiento de Gestión SCG Sistema de Control de Gestión SEGPRES Ministerio Secretaría General de la Presidencia SEV Sistema de Evaluación de la Gestión Pública SGPR Sistema de Gestión por Resultados SIEMPRO Sistema de Información, Monitoreo y Evaluación de Programas Sociales SIG Sistema de Información para la Gestión SIGFE Sistema de Información para la Gestión Financiera del Estado SIGOB Sistema de Información y Seguimiento a Metas de Gobierno SINE Sistema Nacional de Evaluación SINERGIA Sistema Nacional de Evaluación de Resultados de la Gestión Pública SSFF Sistema de Seguimiento Físico-Financiero SSPG Sistema de Seguimiento de la Programación Gubernamental ii RESUMEN EJECUTIVO Este documento presenta un análisis comparativo de la manera en que Argentina, Chile, Colombia, Costa Rica y Uruguay han organizado sus sistemas de monitoreo y evaluación (MyE). El análisis sólo se enfoca en iniciativas de nivel nacional; no abarca sistemas de MyE de ministerios sectoriales o instituciones específicas. Estos cinco países han estructurado sus funciones de MyE de distintas maneras. En Colombia, Costa Rica y Uruguay, las funciones están concentradas en un solo sistema. A estos sistemas se los conoce, respectivamente, como: el “Sistema Nacional de Evaluación de Resultados de la Gestión Pública” (SINERGIA), el “Sistema Nacional de Evaluación” (SINE), y el “Sistema de Evaluación de la Gestión Pública” (SEV) En Chile, las funciones de MyE están organizadas en torno a dos sistemas. Uno de ellos es conocido como el “Sistema de Control de Gestión” (SCG), y el otro como “Sistema de Seguimiento de la Programación Gubernamental” (SSPG). Estos dos sistemas fueron creados y se encuentran bajo la jurisdicción de diferentes instituciones. No obstante, sus actividades de MyE parecen complementarse muy bien entre sí. Finalmente, en Argentina, la función de MyE está estructurada como tres sistemas, conocidos como: el “Sistema de Seguimiento Físico-Financiero” (SSFF) de la Oficina Nacional de Presupuesto; el “Sistema de Información, Monitoreo y Evaluación de Programas Sociales” (SIEMPRO); y el esquema de monitoreo del “Sistema de Gestión por Resultados” (SGPR). Al igual que los dos sistemas de MyE de Chile, estos tres sistemas fueron establecidos y están siendo coordinados por instituciones distintas. Pero, a diferencia de aquellos, funcionan sin ninguna coordinación entre sí. Los objetivos declarados de estos ocho sistemas de MyE pueden agruparse bajo una o más de las siguientes cinco categorías: (a) servir de insumo para la planificación nacional; (b) apoyar la formulación y el mejoramiento de políticas sectoriales y programas; (c) informar el proceso de asignación presupuestaria; (d) inducir el mejoramiento continuo de la gestión; y (e) aumentar la transparencia y fortalecer la rendición de cuentas. Los objetivos particulares de cada sistema están marcados por los intereses primordiales de las iniciativas de reforma más amplias de las que fueron parte y por el contexto político e institucional en el que se desarrollaron. Con excepción del SEV de Uruguay y el SSPG de Chile, que fueron lanzados desde un primer momento en gran escala, la implementación de todos estos sistemas de MyE siguió un enfoque relativamente gradual. En general la implementación comenzó con una serie de experiencias piloto, y sólo se extendió a las demás organizaciones y programas cuando las metodologías y procedimientos de los sistemas alcanzaron un determinado grado de madurez. Al principio, la participación en los sistemas de MyE fue voluntaria. La misma recién se volvió obligatoria al cabo de varios años. En todos los casos, la implementación de los sistemas de MyE implicó un esfuerzo significativo por parte de la unidad coordinadora del sistema para generar capacidades. Estos esfuerzos incluyeron la provisión de capacitación, de manuales y otros materiales de apoyo, y de asistencia técnica y apoyo continuo a los funcionarios de las organizaciones y programas participantes, así como a otras partes interesadas. Los sistemas de MyE y sus diversos componentes fueron creados a través de una variedad de instrumentos legales. En algunos casos, hubo una decisión explícita de valerse, inicialmente, de instrumentos legales relativamente maleables (tales como decretos o protocolos de acuerdo entre el Ejecutivo y el Congreso), y de esperar a que las metodologías y los procedimientos de los sistemas alcanzaran un cierto grado de madurez antes de establecer una base legal más iii sólida. En general, el marco legal de los sistemas define sus objetivos y funciones, las responsabilidades de las diferentes partes involucradas en el proceso, y, en la mayoría de los casos, también indica los tipos de actividades de MyE que deben ser realizados. Pero todos ellos dejan la responsabilidad de definir las metodologías y los procedimientos específicos en manos de las unidades coordinadoras centrales. Sólo tres de los ocho sistemas realizan tanto actividades de monitoreo como de evaluación: el SIEMPRO de Argentina, el SCG de Chile, y SINERGIA de Colombia. Los otros cinco sistemas basan sus evaluaciones sólo en el monitoreo. Además, los sistemas también se diferencian en términos de los niveles de desempeño del sector público que monitorean o evalúan. Es así que el SSFF y el SIEMPRO de Argentina evalúan desempeño a nivel de programas; el SGPR de Argentina y el SEV de Uruguay se enfocan en el desempeño organizacional; y SINERGIA de Colombia evalúa el desempeño a nivel de sector y de programas. Finalmente, el SSPG de Chile monitorea el desempeño tanto a nivel de política sectorial como organizacional; y el SCG de Chile y el SINE de Costa Rica monitorean el desempeño a nivel institucional y de programa. Los ocho sistemas de MyE examinados en este informe han sido creados por instituciones del Poder Ejecutivo y permanecen bajo su control. Aunque todos los sistemas tienen entre sus objetivos declarados el de fortalecer la transparencia y la rendición de cuentas por parte del gobierno, el SINE de Costa Rica es el único donde una entidad fiscalizadora superior (EFS) independiente del Poder Ejecutivo participa en la definición de la agenda de MyE. En Colombia, las autoridades de SINERGIA planean involucrar a las organizaciones de la sociedad civil en el análisis y la difusión de la información que el sistema produce, para de esa manera fortalecer su rol como instrumento de control social. Pero, hasta el momento, no lo han materializado. Los roles que los sistemas asignan a las partes más directamente involucradas siguen un patrón relativamente común. A excepción del SINE de Costa Rica, los elementos básicos de la agenda de MyE se ven completamente determinados por la institución responsable de cada sistema. El desarrollo de las metodologías del sistema está siempre a cargo de las unidades coordinadoras. Además, la definición de las metas e indicadores de desempeño en los que los sistemas basan sus evaluaciones requiere la participación, en mayor o menor grado, de los programas y las instituciones evaluadas así como también de las unidades coordinadoras de los sistemas. En todos los casos, los que proporcionan la información que alimenta el sistema son las mismas instituciones y los programas evaluados. Finalmente, con excepción del SGPR de Argentina, la evaluación final del desempeño de cada institución o programa evaluado está a cargo de unidad coordinadora. Las mayores diferencias entre los sistemas se dan en el nivel de protagonismo y control que les asignan a sus unidades coordinadoras, y en el rol que las instituciones y programas evaluados cumplen en la definición de los indicadores y metas. En el contexto de los componentes de evaluación de los tres sistemas que realizan este tipo de evaluaciones, la decisión respecto a qué políticas, programas u organizaciones serán evaluados, es tomada por la institución patrocinadora del sistema y/o alguna otra entidad independiente de los programas o instituciones a ser evaluados, tales como el Congreso o un comité interministerial. A excepción de SINERGIA, que discute el tipo de evaluación a llevar a cabo con los ministerios responsables por las políticas o programas a evaluar, las instituciones evaluadas no participan de esta decisión crítica. La realización efectiva de las evaluaciones siempre es encargada a consultores externos o instituciones que se seleccionan mediante procesos de licitación pública. En los tres casos, la supervisión del proceso de evaluación recae sobre las unidades coordinadoras de los sistemas, pero en el SCG de Chile, este rol es compartido, en cierta medida, con un comité interministerial y con los propios programas y agencias evaluados. Las agencias y los programas evaluados son invitados a emitir su opinión sobre los informes preliminar y final de la evaluación, y sus observaciones se adjuntan como un anexo al informe final de evaluación. iv Los hallazgos de MyE de los sistemas son siempre transmitidos a través de diferentes tipos de informes. En algunos casos, el contenido de estos informes es elaborado de acuerdo con las necesidades de información específicas del destinatario. Algunos sistemas han comenzado a experimentar con formatos de informes fáciles de leer, que son redactados en un lenguaje muy sencillo y utilizan una gran cantidad de gráficos. Esto se realiza con el fin de contrarrestar las dificultades que muchos de los destinatarios de la información suelen experimentar para comprender los informes, los que les resultan excesivamente largos y técnicos. En los cinco países, el Internet sirve como el principal canal de difusión pública, pero algunos de los sistemas también se valen de otras vías de difusión, tales como las conferencias de prensa y otros medios de comunicación masiva. La información del monitoreo generalmente se encuentra disponible en sistemas de Intranet e Internet, que proporcionan diferentes niveles de acceso a las distintas partes interesadas. La mayoría de los sistemas ha intentado inducir el uso de la información de MyE y alentar mejoras en el desempeño estableciendo mecanismos de incentivos institucionales o presupuestarios, pero pocos de ellos han tenido éxito en este sentido. El sistema que más ha logrado en este terreno es el SCG de Chile, que ha creado una serie de incentivos focalizados hacia los programas y agencias evaluadas y hacia los actores que participan en la formulación del presupuesto en el Ministerio de Hacienda. En los otros sistemas, en general, el principal incentivo que tienen las agencias y los programas evaluados para prestar atención a esta información y hacer uso de ella es el hecho de que su desempeño está siendo medido y monitoreado, y que las evaluaciones están circulando, tanto dentro de las instituciones del gobierno como públicamente. Uno de los obstáculos más comunes que se presentan para la integración de los hallazgos de MyE dentro del proceso de elaboración del presupuesto es la falta de una clasificación presupuestaria que vincule las metas y los objetivos de las políticas y los programas con las asignaciones específicas de presupuesto. En principio, las clasificaciones de presupuesto programáticas – algo que los cinco países han adoptado o pretenden adoptar – deberían poder maximizar los beneficios de la información de MyE para fines de la toma de decisiones presupuestarias. Sin embargo, el solo hecho de contar con una clasificación programática no garantiza la incorporación de consideraciones sobre el desempeño en la definición del presupuesto. Por otro lado, el análisis sugiere que, cuando la determinación de incluir este tipo de consideraciones proviene de los niveles más altos del gobierno, la misma puede llegar a tener éxito independientemente de que se cuente con un presupuesto por programas o no. v 1. INTRODUCCIÓN∗ El objetivo de este documento es examinar la manera en que una serie de países latinoamericanos han organizado sus funciones de Monitoreo y Evaluación (MyE), con el fin extraer lecciones que puedan contribuir para el desarrollo de un sistema nacional de MyE en Brasil. Con este propósito, el documento presenta un análisis comparativo de los sistemas de MyE de Argentina, Chile, Colombia, Costa Rica y Uruguay. En su mayor parte, la selección de casos nacionales se ha basado en la disponibilidad de información; sin embargo, el hecho de que estas cinco experiencias estén entre las más documentadas en la región probablemente sea un indicio de su relativa importancia. El análisis se enfoca solamente en sistemas nacionales de MyE; es decir, no abarca iniciativas de sectores de política pública específicos que, por lo menos en algunos de estos países, coexisten con los sistemas que se examinan aquí. De igual forma, en el contexto de este documento, reservamos la expresión “MyE” para referirnos a una serie de prácticas de evaluación de programas, políticas o procesos organizacionales, finalizados o en curso. El análisis no incluye sistemas de evaluación ex-ante, tales como los que se basan exclusivamente en el análisis costo- beneficio o costo-efectividad, o en otros métodos de evaluación a futuro. Este documento se basa en cuatro fuentes de información. La primera de ellas comprende una cantidad relativamente pequeña de estudios publicados sobre los casos que se analizan aquí. La segunda fuente es la legislación que creó y regula estos sistemas de MyE y sus diversos componentes. Como tercera fuente se utilizó un gran número de documentos disponibles en los sitios web de los sistemas de MyE y otros que se obtuvieron directamente de sus unidades coordinadoras. Y la cuarta y última fuente consiste en un número de entrevistas telefónicas o personales y consultas a través de correo electrónico con funcionarios, ex-funcionarios, y otras partes interesadas relacionadas con los sistemas de MyE de los cinco países. La mayor parte de las entrevistas se llevó a cabo entre enero del 2003 y octubre del 2004 en el contexto de otros proyectos.1 Estas entrevistas fueron complementadas con una nueva ronda de consultas telefónicas y correos electrónicos que se realizaron entre mayo del 2005 y marzo del 2006, con el fin de actualizar la información ya recolectada y atender algunas de las necesidades de información específicas para este documento.2 El cuerpo principal de este trabajo consta de esta introducción y otras seis secciones. La sección siguiente describe la configuración de la función de MyE en cada uno de los cinco países. La sección 3 describe los orígenes y los objetivos de los sistemas de MyE. La sección 4 presenta las estrategias de implementación que siguieron los distintos sistemas y sus respectivos desarrollos posteriores. La sección 5 proporciona una breve visión general de sus marcos legales. La sección 6 contiene una caracterización comparativa de los abordajes de MyE de los cinco países; y la ∗ El autor desea agradecer a Keith Mackay (Coordinador de Desarrollo de la Capacidad de Evaluación, del Banco Mundial) y a Yasuhiko Matsuda (Especialista Principal del Sector Público, del Banco Mundial) por sus valiosos comentarios a una versión anterior a este documento. 1 Estas entrevistas y consultas se realizaron como parte de una investigación preliminar para la tesis doctoral del autor, y de un proyecto para el “Sistema Integrado y Analítico de Información sobre Reforma del Estado, Gestión y Políticas Públicas” (SIARE) del Centro Latinoamericano de Administración para el Desarrollo (CLAD) - web site: www.clad.org.ve/siare/ 2 El borrador final de este documento fue compartido con las unidades coordinadoras de los ocho sistemas, de las cuales todas menos el Sistema de Seguimiento de la Programación Gubernamental de Chile respondieron con comentarios. Sus reacciones y observaciones han ayudado a mejorar la versión final. 1 sección 7 plantea un conjunto de observaciones finales y sugiere una serie de lecciones extraídas de las experiencias de estos países. Los estudios de caso correspondientes a cada país en particular no se incluyen aquí, pero pueden ser obtenidos solicitándolos al autor.3 3 ariel.zaltsman@nyu.edu 2 2. CONFIGURACIÓN DE LA FUNCIÓN DE MyE Los países comprendidos en el presente informe han estructurado sus funciones de MyE de diferentes maneras (Cuadro 1). En tres de estos países – Colombia, Costa Rica y Uruguay – la función se concentra en un solo sistema. Estos sistemas se conocen como el “Sistema de Evaluación de Resultados de la Gestión Pública” (SINERGIA) en Colombia; el “Sistema Nacional de Evaluación” (SINE) en Costa Rica; y el “Sistema de Evaluación de la Gestión Pública” (SEV) en Uruguay En Chile, la función de MyE está organizada en dos sistemas. Uno de ellos es conocido como el “Sistema de Control de Gestión” (SCG), y el otro como el “Sistema de Seguimiento de la Programación Gubernamental” (SSPG). A diferencia del SCG y sus distintos componentes, que fueron creados por la Dirección de Presupuestos (DIPRES) del Ministerio de Hacienda, el SSPG fue establecido por el Ministerio Secretaría General de la Presidencia (SEGPRES). A pesar de su relativo buen grado de coordinación con el SCG, sigue siendo un sistema aparte. Finalmente, en Argentina, la función de MyE está estructurada en torno a tres sistemas independientes entre sí, conocidos como el “Sistema de Seguimiento Físico-Financiero” (SSFF) de la Oficina Nacional de Presupuesto; el “Sistema de Información, Monitoreo y Evaluación de Programas Sociales” (SIEMPRO)4, y el esquema de monitoreo del “Sistemas de Gestión por Resultados” (SGPR). Estos tres sistemas fueron creados y se encuentran bajo el control de diferentes instituciones, y operan sin coordinación entre sí. Cuadro 1: Sistemas de MyE a nivel de Gobierno en Argentina, Chile, Colombia, Costa Rica, y Uruguay Argentina Chile Colombia Costa Rica Uruguay Sistema de Seguimiento Sistema de Sistema de Sistema Nacional Sistema de Físico-Financiero de la Seguimiento de la Evaluación de de Evaluación Evaluación de Oficina Nacional de Programación Resultados de la (SINE) Gestión Pública Presupuesto (SSFF) Gubernamental Gestión Pública (SEV) (SSPG) (SINERGIA) Sistema de Información, Monitoreo y Evaluación de Programas Sociales Sistema de (SIEMPRO) Control de Gestión (SCG) Esquema de monitoreo del Sistema de Gestión por Resultados (SGPR) 4 A diferencia de los otros sistemas de MyE, el SIEMPRO sólo se enfoca en el monitoreo y la evaluación de programas sociales. La razón para incluirlo en este estudio es que dichos programas pertenecen a diversas áreas de política pública y reportan a seis ministerios diferentes (Ministerios de Desarrollo Social, Educación, Salud, Trabajo, Economía, y Planificación) que, en conjunto, representan una gran parte del gasto público total. 3 3. OBJETIVOS Y ORÍGENES DE LOS SISTEMAS DE MyE Los ocho sistemas de MyE examinados en este informe fueron creados con una variedad de objetivos (Cuadro 2). Estos objetivos pueden ser agrupados bajo una o más de las siguientes cinco categorías: (a) servir de insumo para la planificación nacional; (b) apoyar la formulación y el mejoramiento de políticas sectoriales y programas; (c) informar el proceso de asignación presupuestaria; (d) inducir el mejoramiento continuo de la gestión; y (e) aumentar la transparencia y fortalecer la rendición de cuentas. Cuadro 2: Objetivos Establecidos de los Sistemas de MyE Objetivos del Sistema Argentina Chile Colombia Costa Uruguay Rica SSFF SIEMPRO SGPR SSPG SCG SINERGIA SINE SEV Planificación nacional 9 9 9 Formulación y 9 9 9 9 9 mejoramiento de políticas y programas Asignación 9 9 9 9 9 presupuestaria Inducir mejoramiento 9 9 9 9 9 9 de la gestión Rendición de cuentas y 9 9 9 9 9 9 9 transparencia Sin embargo, como se verá reflejado en las siguientes secciones de este documento, es común que los sistemas pongan más énfasis en algunos de sus objetivos declarados que en otros. En algunos casos, las diferencias de énfasis han cambiado a través del tiempo. En general, los distintos grados de atención que los sistemas han otorgado a sus diferentes objetivos guardan relación con los intereses básicos de las iniciativas de reforma más amplias de las que formaron parte, y con el entorno político e institucional en el que se desarrollaron. Así, el SSFF de Argentina fue creado en 1992 con el fin de informar proceso de asignación presupuestaria, fomentar el mejoramiento de la gestión de las agencias y promover la transparencia y la rendición de cuentas. Sin embargo, la manera en que fue concebido y establecido ha puesto más énfasis en el objetivo relacionado con la asignación del presupuesto que en los otros dos. Esto guarda cierta coherencia con la naturaleza de la reforma de la administración financiera que le dio origen. Desde una perspectiva general, tanto la creación del SSFF como la reforma de la administración financiera fueron parte de “la Primera Reforma del Estado” del gobierno del Presidente Menem, la cual, como todo programa de reforma de “primera generación”, estaba mucho más preocupada por alcanzar el equilibrio macroeconómico, liberalizar la economía, y reducir el tamaño del sector público, que por mejorar la capacidad de gestión y de elaboración de políticas del Estado. Por otra parte, la creación del SIEMPRO en 1995, también en Argentina, fue parte de una iniciativa más amplia, destinada a mejorar la capacidad del gobierno para desarrollar e implementar políticas efectivas – en este caso particular, en el campo de las políticas de lucha 4 contra la pobreza. En el contexto de esta reforma, se le encomendó al SIEMPRO la misión de colaborar con el diseño y perfeccionamiento de los programas sociales. Es importante señalar, sin embargo, que ni el surgimiento del SIEMPRO, ni la iniciativa más amplia que inspiró su creación, fueron parte de un programa de reformas de segunda generación comparable con los que dieron origen a los sistemas de MyE de otros países. Luego de un frustrado intento en la segunda mitad de la década del 90, el primer programa de reformas de segunda generación que llegó a implementarse en un espectro más amplio de instituciones del sector público en Argentina se lanzó en 2000.5 Otros sistemas de MyE, como el SSPG de Chile, SINERGIA de Colombia, y el SINE de Costa Rica, surgieron en el contexto de iniciativas de reforma que se preocuparon especialmente por fortalecer la capacidad del gobierno para emprender una planificación nacional efectiva y alinear las políticas públicas con las prioridades estratégicas del gobierno. Concretamente, el SSPG de Chile surgió en 1990 como el sistema de “Metas Ministeriales”, y con los objetivos de evaluar el cumplimiento de las prioridades de la política Presidencial por parte de los ministerios y las agencias, y de servir como una herramienta de rendición de cuentas. Su creación se llevó a cabo poco después de que el primer gobierno democrático en casi dos décadas asumiera el poder, y fue parte de una serie de ambiciosas reformas destinadas a fortalecer la capacidad del sector público para atender las necesidades de la sociedad. SINERGIA de Colombia y el SINE de Costa Rica fueron creados en 1994. En un primer momento, a SINERGIA se le encomendaron los cinco tipos de objetivos antes mencionados, y al SINE todos menos el asociado con la asignación presupuestaria. Sin embargo, en línea con las iniciativas de reforma más amplias que impulsaron su creación, durante varios años los dos sistemas enfatizaron los objetivos de planificación nacional y rendición de cuentas por sobre los otros. Por un período de tiempo relativamente corto y debido a razones más bien pragmáticas, SINERGIA también puso énfasis en la inducción de mejoras en la gestión organizacional de las entidades públicas pero, finalmente, reorientó su atención a algunos de sus otros objetivos. En lo que se refiere a su objetivo de asignación presupuestaria, SINERGIA sólo empezó a atenderlo en los hechos a comienzos de esta década. Este rezago parece haber sido más el resultado de una falta de coordinación entre la unidad institucional a la que se reportaba y las unidades a cargo de elaborar el presupuesto que de una elección consciente.6 Otra muestra de esta falta de coordinación fue el uso de una clasificación presupuestaria que no realiza una conexión explícita entre los objetivos de las políticas del gobierno y sus asignaciones presupuestarias. El SINE adoptó el objetivo de informar la asignación del presupuesto en el 2002, más o menos al mismo tiempo en que SINERGIA reorientaba su atención hacia el mismo. En ambos casos, este desarrollo ocurrió en el contexto de nuevos gobiernos que adoptaron la elaboración del presupuesto basado en resultados como uno de sus objetivos de política centrales. Finalmente, los diversos mecanismos de MyE que componen el SCG de Chile se crearon entre 1995 y 2002; el SEV de Uruguay se estableció en 1995, y el SGPR de Argentina entre 1999 y 2004. Los tres sistemas surgieron en el contexto de reformas del sector público preocupadas por mejorar la asignación presupuestaria y modernizar las prácticas de gestión del Estado. En el caso 5 Esto fue en el contexto del Plan Nacional de Modernización del Estado del Presidente De la Rúa (1999- 2001). 6 En el caso del SINERGIA, tanto las funciones de planificación nacional, como las de MyE y la formulación del presupuesto de inversión estaban concentradas en el mismo ministerio (es decir, en el Departamento Nacional de Planeación). Sin embargo, el grado de coordinación entre las divisiones responsables por cada una de ellas era bastante pobre. 5 del SCG de Chile, los objetivos declarados del sistema son: informar el proceso de asignación de presupuesto, apoyar el perfeccionamiento de los programas gubernamentales, fomentar mejoras en la gestión organizacional, y fortalecer la transparencia y la rendición de cuentas. En el caso del SEV de Uruguay y, en el momento de su creación, del SGPR de Argentina (conocido originalmente como “Programa de Evaluación de la Calidad del Gasto”), sus objetivos declarados fueron los mismos que los del SCG, excepto por el de servir de base al perfeccionamiento de programas. En los últimos dos o tres años, el SGPR parece haber dejado de lado el objetivo de apoyar los procesos de asignación de presupuesto. Este cambio se produjo luego de que se debilitara la iniciativa de reforma que inspiró su creación, la Secretaría de Hacienda dejara de participar en el desarrollo del sistema y la Subsecretaría de la Gestión Pública pasara a ser su único patrocinador institucional. Una última cosa a considerar es que, en la mayoría de los casos, el desarrollo de los sistemas recibió asistencia técnica y financiera de parte de agencias multilaterales de desarrollo. Muy probablemente, esto haya afectado la orientación que finalmente tomaron los sistemas; sin embargo, resulta difícil establecer de qué manera. Así, SINERGIA y el SGPR fueron apoyados por el Banco Mundial; el SSFF y el SEV recibieron asistencia del Banco Interamericano de Desarrollo (BID); el SIEMPRO obtuvo ayuda financiera de ambas fuentes; y el SINE se benefició de la asistencia del BID, del Programa de Desarrollo de las Naciones Unidas y del Banco Mundial. 6 4. IMPLEMENTACIÓN DE LOS SISTEMAS Y DESARROLLOS POSTERIORES A diferencia del SEV de Uruguay y del SSPG de Chile, en cuyos casos las autoridades decidieron lanzarlos de una vez a gran escala, la implementación de las otras iniciativas siguió un abordaje relativamente gradual (Cuadro 3). Generalmente, la implementación comenzó con una serie de experiencias piloto en pocas agencias, y sólo se extendió a las agencias y a los programas restantes una vez que las metodologías y los procedimientos del sistema alcanzaron un cierto grado de madurez. En un principio, la participación en los sistemas de MyE fue voluntaria, y sólo se volvió obligatoria después de varios años. En todos los casos, la implementación de los sistemas implicó un significativo esfuerzo por parte de sus unidades coordinadoras para desarrollar las capacidades necesarias. Dichos esfuerzos incluyeron la realización de actividades de capacitación, la elaboración y distribución de manuales y otros materiales de apoyo, y la prestación de asistencia técnica y apoyo continuo a los funcionarios de las agencias y los programas participantes y a otras partes interesadas. En algunos de los casos (por ejemplo, el SSFF y el SIEMPRO de Argentina, y el SEV de Uruguay), el proceso de implementación resultó ser relativamente lineal, salvo por ajustes más bien menores que se necesitó hacer sobre la marcha. En otras palabras, la configuración actual de estos sistemas se asemeja bastante a su diseño original. Pero, en otros casos, la forma que los sistemas terminaron adoptando al cabo de varios años tiene mucho menos en común con el plan original. Es así que, por ejemplo, en Chile, los instrumentos de MyE que se pusieron en funcionamiento antes de 2000 surgieron como iniciativas independientes entre sí. El primer mecanismo de MyE en crearse fueron las Metas Ministeriales de SEGPRES, en 1990. En 1994, la DIPRES lanzó sus Indicadores de Desempeño (ID), y los llamados Acuerdos de Modernización. En 1997, comenzó a llevar a cabo sus evaluaciones “de escritorio”, conocidas como Evaluaciones de Programas Gubernamentales (EPG), y en 1998, reemplazó los Acuerdos de Modernización por los Programas de Mejoramiento de Gestión (PMG) y fusionó a los ID con estos últimos. En gran medida, cada nuevo mecanismo de MyE que se creó vino a complementar funciones que los mecanismos existentes ya estaban cumpliendo. Sin embargo, no eran considerados ni administrados como si fueran parte de un sistema propiamente dicho. El primer paso efectivo en esa dirección ocurrió después de que el gobierno del Presidente Lagos asumiera el poder en 2000. Ese año, los mecanismos de MyE de la DIPRES se fusionaron bajo el recientemente establecido Sistema de Control de Gestión (SCG), que fue puesto bajo la dirección de una unidad creada específicamente para ese fin, conocida como la División de Control de Gestión (DCG). Desde entonces, el SCG incorporó otros tres mecanismos de MyE. En 2001, el sistema estableció el Fondo Central de Recursos para Prioridades Gubernamentales (FCRPG) y comenzó a llevar a cabo evaluaciones de impacto; y en 2002, realizó sus primeras Evaluaciones Comprehensivas del Gasto (ECGs). Además, algunos de estos mecanismos de MyE experimentaron distintos grados de refinamiento. Específicamente, en el año 2000, la División de Control de Gestión redefinió los PMGs y volvió a tratar a los IDs como un mecanismo aparte. Y en el año 2004, debido a una menor disponibilidad de recursos fiscales para financiar nuevos proyectos, reemplazó el FCRPG con un procedimiento similar, pero más simple y menos costoso, basado en la presentación de unos formularios conocidos como “Formatos Estándar/Recursos para Innovación y Expansión” 7 Cuadro 3: Cronograma de Implementación de los Sistemas de MyE País Sistema 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 Componente Argentina SSFF SIEMPRO SGPR Acuerdos Programa Compromisos de Resultados de Gestión Carta Compromiso con el Ciudadano Sistema de Información para la Gestión Chile Metas Ministeriales SSPG SCG Indicadores de Desempeño Acuerdos de Modernización PMGs EPGs Evaluaciones de Impacto ECGs FCRPG FERIEs Colombia SINERGIA Seguimiento a Resultados Evaluaciones Focalizadas Costa Rica SINE Evaluaciones Estratégicas Autoevaluación Institucional (no implementado) Monitoreo basado en PAOs Uruguay SEV Referencias: Argentina: SSFF: Sistema de Seguimiento Físico-Financiero; SIEMPRO: Sistema de Información, Monitoreo y Evaluación de Programas Sociales; SGPR: Sistemas de Gestión por Resultados; Chile: SSPG: Sistema de Seguimiento de la Programación Gubernamental; SCG: Sistema de Control de Gestión; PMG: Programas de Mejoramiento de Gestión; ECGs: Evaluaciones Comprehensivas del Gasto; EPGs: Evaluaciones de Programas Gubernamentales; FCRPG: Fondo Central de Recursos para Prioridades Gubernamentales; FERIEs: Formatos Estándar/Recursos para la Innovación y Expansión de Programas; Colombia: SINERGIA: Sistema de Evaluación de Resultados de la Gestión Pública; Costa Rica: SINE: Sistema Nacional de Evaluación; PAO: Plan Anual Operativo; Uruguay: SEV: Sistema de Evaluación de la Gestión Pública. 8 de programas (FERIEs). Por otra parte, en el año 2000, las Metas Ministeriales de SEGPRES experimentaron varias mejoras metodológicas y se convirtieron en el Sistema de Seguimiento de la Programación Gubernamental (SSPG). Sin embargo, a diferencia de los demás mecanismos de MyE, que habían sido creados por la DIPRES, el SSPG siguió funcionando como un sistema aparte, y dependiendo de la SEGPRES. En el caso de SINERGIA, el diseño original del sistema incluía tanto un esquema de monitoreo basado en indicadores como un componente de evaluación de programas. Sin embargo, el componente de evaluación recién se puso en funcionamiento en el año 2002. Por otra parte, el sistema se concibió originalmente como una herramienta de seguimiento y evaluación de las políticas estratégicas del Plan Nacional de Desarrollo y no cómo un instrumento de apoyo a la gestión organizacional. No obstante, frente a la falta de recursos financieros y humanos que se hubieran necesitado para montar un sistema de MyE basado en evaluaciones externas, los diseñadores del sistema optaron, en un primer momento, por basar su funcionamiento en la realización de autoevaluaciones por las mismas entidades que el sistema se proponía evaluar. La expectativa era que estas autoevaluaciones proporcionaran la información necesaria para evaluar las políticas sectoriales del Plan Nacional de Desarrollo. Pero, dada la afinidad de la autoevaluación con la gestión estratégica organizacional, el sistema no tardó en adoptar el apoyo al mejoramiento de la gestión organizacional como uno de sus principales objetivos. Con el tiempo, por razones no del todo claras, la unidad coordinadora del sistema comenzó a ejercer un mayor control del proceso de seguimiento y, a principios de la década del 2000, dejó de monitorear el desempeño a nivel organizacional, para pasar a centrarse exclusivamente en el desempeño de las políticas sectoriales y programas seleccionados. Desde entonces, el sistema ha realizado importantes avances en sus intentos de establecer una clara conexión entre sus evaluaciones de desempeño y el presupuesto. Entre los principales logros de este esfuerzo, se destaca la elaboración de un proyecto de ley de presupuesto de inversión con base en resultados, que se ha venido adosando como anexo al proyecto de presupuesto que el Ejecutivo presenta anualmente al Congreso. En Costa Rica, el diseño original del SINE incluía tanto un componente de monitoreo externo (conocido como el componente de “Evaluación Estratégica”) como uno de autoevaluación. Sin embargo, este último no llegó a implementarse. En el año 2002, estos dos componentes que figuraban en el plan original fueron fusionados en uno solo, que combina el seguimiento externo con el auto-diagnóstico institucional. Este nuevo desarrollo se produjo en el contexto de una creciente coordinación de acciones entre el Ministerio de Planificación (que es el patrocinador institucional del sistema), el Ministerio de Hacienda y la Contraloría General de la República. La nueva configuración del sistema permite que estas tres instituciones centralicen sus pedidos de información a las agencias evaluadas a través de un mismo instrumento, y compartan información con mayor facilidad. La cooperación entre las tres instituciones también ha hecho posible la adopción de una clasificación presupuestaria basada en resultados, que ha permitido establecer una conexión mucho más directa entre las evaluaciones de desempeño del SINE y el proceso presupuestario. En Argentina, el SGPR surgió originalmente como el “Programa de Evaluación de la Calidad del Gasto” y, en un comienzo, gozó del significativo apoyo político de la Vicepresidencia de la Nación. Por entonces, el desarrollo del sistema estaba basado en un esfuerzo conjunto entre la Secretaría Nacional de Modernización (que se creó en el 2000 y dependía directamente de la Vicepresidencia), la Secretaría de Hacienda del Ministerio de Economía, y la Jefatura de Gabinete de Ministros. En su plan original, el sistema incluía tres componentes: el componente de 9 “Acuerdos Programa”, que tenía por fin establecer un vínculo claro entre las evaluaciones de desempeño que habría de realizar el sistema y el ciclo presupuestario; y los componentes de “Compromisos de Resultados de Gestión” y “Carta Compromiso con el Ciudadano” (CCC), los que habrían de enfocarse en el mejoramiento de la gestión organizacional. Si el esfuerzo conjunto entre esas tres instituciones hubiera continuado, el sistema habría podido lograr algún grado de articulación entre sus componentes y el SSFF de la Oficina Nacional de Presupuesto (ONP).7 Esto, a su vez, podría haber contribuido a reducir la profunda desconexión que todavía existe entre los esfuerzos de MyE en Argentina. Sin embargo, tras la renuncia del Vicepresidente a fines del 2000, la Secretaría Nacional de Modernización y el Programa de Evaluación de Calidad del Gasto fueron trasferidos a la Jefatura de Gabinete de Ministros y, poco después, la cooperación entre esta última institución y la Secretaría de Hacienda se vio interrumpida. El Programa de Evaluación de Calidad del Gasto se convirtió en el SGPR de la Jefatura de Gabinete y, en 2003, después un periodo de profunda crisis política, los componentes de “Acuerdos Programa” y “Compromiso de Resultados de Gestión” dejaron de operar. En consecuencia, hasta 2004, todas las actividades de evaluación del desempeño del sistema se desarrollaron en torno al programa CCC. En el 2004, el SGPR comenzó a implementar su segundo instrumento de monitoreo conocido como el Sistema de Información para la Gestión (SIG). El SIG está organizado como un tablero de comando de gestión que funciona con base en Internet. Como quedó reflejado de alguna manera en los párrafos anteriores, uno de los factores que más afectaron el desarrollo de los sistemas de estos cinco países fue la evolución del contexto político y del grado de compromiso del gobierno con los mismos a lo largo del tiempo. Los ocho sistemas se mantuvieron en operación a pesar de los diversos cambios de gobierno. Sin embargo, el nivel de apoyo político con el que contaron estuvo lejos de ser uniforme. Algunos sistemas ― como los tres sistemas de Argentina y el SEV de Uruguay ― parecen haber recibido su mayor impulso en las etapas iniciales de su desarrollo. SINERGIA de Colombia gozó de un importante apoyo político enseguida después de su creación pero, posteriormente, con la profunda inestabilidad política de los años siguientes y la relativa falta de interés que evidenciaron las autoridades de la nueva gestión, lo perdió. Esta situación recién se vio revertida a partir de 2002, cuando una nueva administración asumió la Presidencia y se propuso revitalizar el sistema. Según se informa, en Costa Rica, el apoyo al sistema se habría mantenido constante desde su creación. Pero, incluso en Chile, donde el SCG se ha visto beneficiado por uno de los mayores niveles de compromiso gubernamental, el grado de apoyo al sistema experimentó algunas fluctuaciones. Un segundo factor que probablemente afectó el desarrollo de algunos de estos sistemas fue la realización de estudios de diagnóstico de su funcionamiento. Los siguientes son algunos ejemplos: (a) los estudios de evaluación interna que la unidad coordinadora del SGPR de Argentina realizó de su propio funcionamiento y resultados; (b) la frecuente realización de estudios ad-hoc y de diferentes tipos de análisis que la unidad coordinadora del SCG de Chile desarrolla por sí misma o encomienda externamente para evaluar el funcionamiento de sus diversos componentes;8 y (c) un estudio basado en grupos focales, y un estudio que SINERGIA de Colombia encomendó al Banco Mundial en los primeros años después de su creación. Finalmente, además de las frecuentes dificultades para obtener el apoyo político necesario después de su creación, el desarrollo de los sistemas de MyE debió enfrentar otros desafíos, algunos de los cuales, todavía están tratando de superar. 7 La ONP depende de la Secretaría de Hacienda del Ministerio de Economía. 8 Se encargó al Banco Mundial llevar a cabo al menos uno de estos estudios. 10 Uno de los primeros retos que varias de estas iniciativas necesitaron abordar, desde el inicio del proceso de implementación, se originó en la falta de claridad con respecto a las misiones, objetivos y metas de las agencias y los programas que deberían evaluar. Esto hizo que resultara extremadamente difícil establecer si las agencias y los programas evaluados estaban logrando sus efectos esperados. Por ello, la implementación de la mayoría de estos sistemas comenzó con diferentes tipos de procesos de planificación estratégica que no sólo brindaron claridad en cuanto a los objetivos de cada agencia o programa específico, sino también con respecto a cómo esos objetivos se relacionaban con objetivos de más alto o más bajo nivel (por ejemplo, cuál era la conexión entre los objetivos y la misión de una agencia determinada y los objetivos de los programas que administra o los de las políticas sectoriales del ministerio del que depende). En el caso de Uruguay, este proceso dio como resultado el rediseño de muchas de las estructuras organizacionales del Estado. Otro problema frecuente fue la limitada receptividad (o, hasta incluso, resistencia abierta) que los sistemas encontraron en las agencias y programas que iban a ser monitoreados o evaluados. Esta falta de voluntad para cooperar se debió principalmente a la aprehensión que despertaban las posibles consecuencias de una evaluación desfavorable. Este temor fue menor cuando las prácticas de los sistemas involucraron un nivel importante de trabajo en conjunto entre la unidad coordinadora y las agencias, como ocurre en el SGPR de Argentina. Un tercer problema común fue la falta de información o líneas de base. Este problema se fue superando progresivamente, a medida que los distintos ciclos de monitoreo y evaluación comenzaron a generar el tipo de información que hasta entonces no había estado disponible. Un cuarto desafío se originó en las dificultades propias de la coordinación de acciones entre diferentes instituciones. Algunos de estos sistemas procuraron superar este problema estableciendo comités interinstitucionales, pero los mismos no siempre resultaron exitosos. Un buen ejemplo de ello es la frustrada experiencia del Gabinete Social de Argentina, a mediados de los años noventa. Las actividades de este Gabinete fueron coordinadas por la Secretaría de Desarrollo Social (la institución que se encontraba a cargo del SIEMPRO). Pero la misma era mucho menos influyente que otras instituciones integrantes del Gabinete y no logró conseguir el apoyo político que hubiera necesitado para facilitar la plena incorporación de los programas de aquéllas al sistema. Por contraste, la experiencia de los comités interministeriales del SCG de Chile parece haber tenido bastante más éxito: en el contexto de estos comités, la poderosa DIPRES ejerce el papel principal y los demás miembros ayudan a asegurar un grado apropiado de articulación con otras instituciones gubernamentales. El quinto y último problema por señalar aquí fue la limitada participación de los funcionarios más altos de las agencias involucradas, lo que por lo general se vio traducido en un muy limitado conocimiento de los objetivos y las actividades de los sistemas en las mismas. Algunos de los sistemas, como SINERGIA de Colombia y el SGPR de Argentina, están abordando este problema requiriendo la participación directa de la alta dirección de las agencias evaluadas en las negociaciones que dan inicio a cada ciclo de monitoreo. Una vez que en el contexto de esas negociaciones se alcanzan ciertos acuerdos básicos, el personal técnico de ambas partes se ocupa de traducirlos en metas mensurables. En el caso del SCG de Chile, lo que terminó captando la atención de los altos funcionarios de las agencias hacia los requerimientos y las actividades del sistema fue el fuerte respaldo de la DIPRES, así como los incentivos materiales e institucionales que acompañan la participación y el cumplimiento con el sistema. 11 5. MARCOS LEGALES DE LOS SISTEMAS Los sistemas de MyE y sus diferentes componentes fueron creados a través de una variedad de instrumentos legales (Cuadro 4). Los Indicadores de Desempeño y el FCRPG de Chile, y el SEV de Uruguay fueron introducidos a través de leyes de presupuesto nacional. El SSFF de Argentina y los Programas de Mejoramiento de Gestión (PMGs) del SCG de Chile se crearon a través de otras leyes, mientras que el SINE de Costa Rica se estableció mediante una serie de decretos ejecutivos. En el caso de Colombia, el mandato para establecer un sistema nacional de evaluación fue incluido en la Constitución de 1991. Para implementar este mandato, el gobierno colombiano recurrió a una combinación de leyes, un decreto y una resolución ministerial. El otro sistema de MyE creado a través de una combinación de leyes y decretos fue el SGPR de Argentina. El resto de los instrumentos de MyE fueron establecidos a través de protocolos de acuerdo entre el Poder Ejecutivo y el Congreso (las Evaluaciones de Programas Gubernamentales, las Evaluaciones del Impacto y las Evaluaciones Comprehensivas del Gasto del SCG de Chile) o a través de una resolución ministerial (SIEMPRO de Argentina). La implementación de algunos sistemas involucró la opción explícita de valerse inicialmente de instrumentos legales relativamente maleables (decretos, protocolos de acuerdo entre el Ejecutivo y el Congreso; algunos mecanismos fueron sancionados anualmente a través de la ley de presupuesto nacional). En algunos países, la adopción de una base legal más sólida para los sistemas de MyE y sus instrumentos se postergó hasta que sus metodologías y procedimientos alcanzaran un cierto grado de madurez. Por ejemplo, tanto el SINE de Costa Rica como los tres componentes de evaluación del SCG de Chile no se convirtieron en ley sino hasta el 2003. En general, los marcos legales de los sistemas definen los objetivos de los sistemas, sus funciones, las responsabilidades de las diversas partes involucradas en el proceso (por ejemplo, la institución a cargo de la creación y/o funcionamiento del sistema, las agencias y programas evaluados, etc.) y, en la mayoría de casos, también indican los tipos de actividad de MyE a realizarse. En todos los casos, la responsabilidad de definir los procedimientos y metodologías específicas de los sistemas se dejó en manos de las unidades coordinadoras. 12 Cuadro 4: Marcos Legales de los Sistemas de MyE Argentina Chile Colombia Costa Rica Uruguay SSFF SIEMPRO SGPR SSPG SCG SINERGIA SINE SEV Ley de Resolución de la Ley 25.152 (1999) Ley 18.993 Ley de Presupuesto Constitución Ley de Planificación Constitución Administración Secretaría de Creó el Programa (1990) de 1995 y posteriores reformada de 1991 Nacional (No.5.525), reformada de 1967 Financiera (1992) Desarrollo Social de Evaluación de Creó el Dispuso el uso de los Dispuso que el (1974) Creó la Oficina de Dispuso la No.2.851 (1995) la Calidad del Ministerio IDs. En un anexo de Departamento Asignó al Ministerio de Planeamiento y creación del Estableció la Gasto, estableció SEGPRES y le estas leyes se Nacional de Planificación Presupuesto (OPP), sistema, definió creación del los Acuerdos encomendó a la incluyen Planeación (DNP) (MIDEPLAN) la introdujo el las sistema y definió Programa y División de instrucciones estableciera un responsabilidad de presupuesto por responsabilidades las funciones y autorizó al Jefe de Coordinación específicas. sistema de evaluación evaluar las políticas programas, y dispuso de las distintas las Gabinete de Interministerial para evaluar la económicas y de que el Ejecutivo partes interesadas, responsabilidades Ministros a (DCI) la función Protocolos de gestión del sector desarrollo social de la presente ante el e indicó los tipos de su unidad celebrar su firma de monitorear la Acuerdo anuales público y sus Nación. Congreso informes de actividades de coordinadora. con las agencias. implementación entre el Ministerio de resultados. de Rendición de MyE que deberían del programa de Hacienda y el Decretos 23.720-PLAN Cuentas y de realizarse Decreto 229 gobierno. Congreso (1997, Resolución No.63 (1994) y 24.175-PLAN Ejecución del (2000) 2001 y 2002) (1994) (1995) Presupuesto. Creó el programa Decreto 7 Introdujeron las Creó SINERGIA, y Definieron los objetivos CCC, y definió sus (1991) EPGs, las EIs, y las definió sus objetivos del SINE, su estructura Decreto 104 (1968) características Especificó las ECGs, y procedimientos organizativa y sus Encomendó a la OPP básicas, funciones de la respectivamente, con básicos. Fijó un procedimientos básicos. la evaluación del incluyendo la DCI con mayor una breve descripción período de 12 meses Dispusieron la grado en que las necesidad de detalle e incluyó de cada una de ellas. para que todas las integración de las agencias públicas evaluar el la primera A partir de allí, los agencias actividades de MyE en cumplen con sus cumplimiento de mención a las Protocolos de establecieran el ciclo presupuestario. objetivos y metas las metas Metas Acuerdo de cada año mecanismos de auto- presupuestarias. previamente Ministeriales. han definido qué evaluación. Art. 11 de la acordadas por las agencias y programas Constitución Nacional Decreto 140 (1995) agencias. habrían de ser Ley 152 (1994) (modificado en el Creó el Comité evaluados. 2000) Ejecutivo para la Estableció los Decreto 103 procedimientos de Estableció la evaluación Reforma del Estado (2001) Ley 19.553 (1998) preparación, de resultados y la (CEPRE), al cual se Autoriza al Jefe de Creó el PMG, aprobación, rendición de cuentas le encomendó la Gabinete a premiar dispuso que las ejecución, monitoreo como principios elaboración de la 13 a las agencias que agencias definieran y evaluación de los fundamentales de la conceptualización y cumplan sus metas anuales e Planes Nacionales de democracia el diseño del SEV. exitosamente con introdujo incentivos Desarrollo. También costarricense. las metas de sus monetarios. sancionó las Decreto 255 (1995) Ley de Administración Acuerdos responsabilidades del Estableció que el Financiera y Programa a través Ley 19.618 (1999) DNP con relación al presupuesto debe Presupuesto Público de diferentes tipos desarrollo de especificar el vínculo Completó el marco (2001) de incentivos. SINERGIA. entre las asignaciones legal de los PMGs. Cambió la clasificación presupuestaria. de recursos y los Decreto 992 Ley 819 (2003) Dispuso una mayor objetivos y resultados Ley del Presupuesto (2001) Estableció que el coordinación entre el esperados de los del 2001 Estableció que las presupuesto nacional MIDEPLAN, el programas Introdujo los involucrados. metas de los debe incluir detalles Ministerio de Hacienda Compromisos También dispuso la Compromisos de sobre los objetivos de y la Contraloría General Institucionales. introducción de la Resultados de los programas, sus de la República. Gestión deberían resultados esperados gestión con base en estar en línea con Introdujo el FCRPG. e indicadores de resultados. Al igual que las Decretos 31165-H- las que forman gestión. posteriores Leyes de PLAN (2003) y 31780- parte del SSFF de Ley de Presupuesto Presupuesto, reguló H-PLAN (2004) la Oficina Nacional de 1995- el funcionamiento del Decreto 195 (2004) Proporcionaron las Nacional de 1999 Presupuesto. Fondo. Redefinió la directrices estructura metodológicas y Dispuso que el organizativa del DNP técnicas para la CEPRE establezca un Ley 19.896 (2003) sistema de evaluación y las funciones de la formulación de los Estableció la Dirección de Planes Anuales presupuestaria y que obligatoriedad de Evaluación de las Operativos. las agencias realizar evaluaciones, Políticas Públicas, la proporcionen a la y definió el rol del cual administra OPP la información Ministerio de SINERGIA. que la misma Hacienda. requiera. 14 6. ARQUITECTURA DE LOS SISTEMAS DE MyE 6.1 Componentes de los Sistemas y Actividades de MyE El funcionamiento de los sistemas de MyE se basa en una combinación de monitoreo y evaluación, o sólo en el monitoreo (Cuadro 5). El monitoreo consiste en la realización de mediciones periódicas o continuas del desempeño en base a indicadores seleccionados. Por el otro lado, la evaluación suele valerse de una variedad de métodos más amplia para examinar los programas o las actividades específicas en mayor profundidad, de manera tal de lograr una mejor comprensión de los procesos bajo estudio y sus consecuencias, y alcanzar conclusiones más rigurosas (Rossi y Freeman, 1993). Dado los relativamente bajos costos que implica, el monitoreo ofrece la posibilidad de evaluar el desempeño con bastante frecuencia, y abarcando un gran número de programas u organizaciones a la vez. Sin embargo, no suele proporcionar elementos suficientes para entender la complejidad de los procesos involucrados o distinguir entre los efectos de los programas o los procesos evaluados y los de factores externos a los mismos. Por otro lado, la evaluación de programas se encuentra mucho mejor equipada para establecer esto último pero, dado el mayor tiempo que su realización requiere y los altos costos que involucra, suele aplicarse sólo a un pequeño número de programas a la vez. El costo y la duración de las evaluaciones pueden variar de acuerdo con su nivel de profundidad, rigurosidad y cobertura. Pero, en todo caso, los niveles de cobertura, prontitud y economía del monitoreo son siempre mayores que los de la evaluación. Debido a que sus respectivas fortalezas y debilidades los hacen complementarios entre sí, estos dos enfoques se vuelven más efectivos cuando se los utiliza conjuntamente (Rossi y Freeman, 1993). De los ocho sistemas de MyE analizados aquí, sólo tres se valen tanto del monitoreo como de la evaluación: se trata del SIEMPRO de Argentina, el SCG de Chile y SINERGIA de Colombia. Los otros cinco sistemas basan sus evaluaciones sólo en el monitoreo del desempeño. Cuadro 5: Actividades de MyE de los Sistemas Objetivos del Argentina Chile Colombia Costa Uruguay Sistema Rica SSFF SIEMPRO SGPR SSPG SCG SINERGIA SINE SEV Monitoreo basado en indicadores 9 9 9 9 9 9 9 9 Evaluación institucional, de 9 9 9 programas o políticas Actividades de Monitoreo de los Sistemas Los esquemas de monitoreo de los sistemas se valen de una variedad de indicadores para realizar el seguimiento del grado en que las agencias y los programas evaluados cumplen con sus metas. En la mayoría de los casos, lo que estos indicadores procuran medir es la eficiencia, la efectividad, la economía y/o la calidad del servicio. A tal efecto, incluyen una serie de indicadores de insumos físicos y financieros, costo unitario, producto, cobertura y resultados. 15 Dada la relativa dificultad de medir resultados finales e impactos, todos los sistemas tienden a utilizar indicadores de insumo, proceso y producto en mucho mayor medida. Algunos de estos sistemas (especialmente el SCG de Chile) han venido avanzando lentamente hacia una mayor inclusión de los indicadores de resultados intermedios y finales. En casos específicos como el del componente del Programa de Mejoramiento de Gestión del SCG de Chile y el del programa Carta Compromiso con el Ciudadano del SGPR de Argentina, los esquemas de monitoreo están orientados a evaluar el grado de avance de las agencias respecto de una agenda estandarizada de mejoras de los procesos de gestión. Los sistemas difieren, en cierta medida, en términos del nivel de desempeño del sector público que monitorean. Como se muestra en el Cuadro 6, el SSFF y el SIEMPRO de Argentina realizan actividades de seguimiento a nivel de programa; el SGPR de Argentina, el SCG de Chile y el SEV de Uruguay se centran en el desempeño organizacional; y SINERGIA de Colombia evalúa tanto a nivel de programa como de sector. Finalmente, el SSPG de Chile monitorea el desempeño tanto a nivel de política sectorial como a nivel de agencia, y el SINE de Costa Rica se centra en los niveles institucional y de programa. Cuadro 6: Niveles de Desempeño Evaluados por los Componentes de Monitoreo de los Sistemas Nivel de Argentina Chile Colombia Costa Uruguay Desempeño Rica SSFF SIEMPRO SGPR SSPG SCG SINERGIA SINE SEV Política 9 9 sectorial Organizacional 9 9 9 9 9 Programa 9 9 9 9 Con excepción del sistema de monitoreo del SGPR de Argentina, que aún está en una etapa relativamente temprana de implementación, los sistemas de monitoreo han alcanzado un nivel de cobertura relativamente alto, si no total. Sin embargo, existen al menos dos desafíos importantes que, en mayor o menor medida, todos estos esquemas de monitoreo siguen enfrentando. El primero de estos desafíos consiste en asegurar que los indicadores cubran todas las actividades esenciales de las agencias y los programas evaluados. El problema en este sentido es que es mucho más fácil medir el desempeño de algunas actividades que el de otras y, por lo tanto, aquéllas que son más difíciles de medir tienden a ser dejadas de lado. Además, suele existir una tensión entre la intención de asegurar que las mediciones abarquen todos los aspectos relevantes del desempeño y la necesidad de mantener el número de indicadores dentro de niveles manejables. El segundo desafío importante consiste en mejorar la calidad de los indicadores utilizados – entendiendo por esto su relevancia y mensurabilidad, su adecuación a los tiempos de la toma de decisiones, etc. Actividades de Evaluación de los Sistemas Los tres sistemas de MyE que cuentan con componentes de evaluación de programas realizan evaluaciones de distintos tipos: evaluaciones ex-ante (por ejemplo, análisis de costo-beneficio y de costo-efectividad), evaluaciones “de escritorio”, evaluaciones de implementación y 16 evaluaciones de impacto. Las evaluaciones de impacto que realizan los sistemas se basan generalmente en diseños cuasi-experimentales y en técnicas de análisis estadístico sofisticadas. Además, el SIEMPRO de Argentina y SINERGIA de Colombia complementan sus actividades de MyE con la periódica realización de encuestas y estudios de diagnóstico. En todos los casos, las evaluaciones son encargadas a instituciones o consultores externos seleccionados a través de licitación pública, en base a términos de referencia definidos por las unidades coordinadoras de los sistemas. Las evaluaciones del SIEMPRO se concentran en el desempeño a nivel de programa. El SCG tiene tres componentes de evaluación, dos de los cuales están enfocados en el nivel de programas, mientras que el tercero evalúa desempeño y diseño a nivel institucional. Finalmente, SINERGIA realiza sus evaluaciones tanto a nivel de política sectorial como de programas específicos. Cuadro 7: Niveles de Desempeño Evaluados por los Componentes de Evaluación de los Sistemas Nivel de Desempeño SIEMPRO SCG SINERGIA (Argentina) (Chile) (Colombia) Política sectorial 9 Organizacional 9 Programa 9 9 9 En el caso de SINERGIA y del SCG, los programas, políticas o agencias a ser evaluadas se seleccionan generalmente sobre la base de uno o más de los siguientes criterios: volumen de recursos públicos involucrados; tamaño y características de la población objetivo de la política o programa; la importancia relativa del programa para una determinada política sectorial; y la posibilidad de replicar el programa en un contexto diferente o de ampliar su escala. Además, en el caso específico del SCG, otro criterio importante es el desempeño de las agencias de acuerdo con las mediciones de sus Indicadores de Desempeño y las evaluaciones “de escritorio” (es decir, las Evaluaciones de Programas Gubernamentales). En el caso del SIEMPRO, los criterios de selección no están explicitados. De acuerdo con sus propias estimaciones, el SCG de Chile ha evaluado aproximadamente el 61 por ciento de lo que define como “gasto evaluable”. SINERGIA de Colombia, que comenzó a llevar a cabo evaluaciones más recientemente, ha evaluado el 18 por ciento del presupuesto nacional de inversión, y espera elevar este porcentaje al 20 ó 25 por ciento en los próximos años. Finalmente, en el caso del SIEMPRO de Argentina, la última estimación disponible data de 1999 y representaba, en aquél momento, el 9 por ciento del presupuesto total de los ministerios responsables por los programas evaluados. Es muy probable que, desde entonces, este porcentaje haya aumentado. Coordinación entre las Actividades de MyE Un último aspecto importante a considerar se refiere al grado de coordinación existente entre las diversas actividades de MyE que desarrolla cada sistema. En este sentido, el SCG de Chile parece 17 ser el sistema que está abordando este tema del modo más efectivo. Sus diversos componentes (Indicadores de Desempeño, esquema de monitoreo del Programa de Mejoramiento de Gestión, las Evaluaciones de Programas Gubernamentales, las de Impacto y las Comprehensivas del Gasto, y las evaluaciones ex-ante que se realizan a través de los “Formatos Estándar”) han sido concebidos con la intención explícita de abordar necesidades de información distintas y de complementarse entre sí. Además, las mediciones del desempeño de las agencias que la DIPRES realiza a través de sus mecanismos de monitoreo y sus evaluaciones “de escritorio” son también tomadas en cuenta a la hora de decidir qué programas o instituciones evaluar en profundidad. La evidencia disponible parece sugerir que los distintos componentes del SCG están funcionando de manera cada vez más complementaria. En el caso del SIEMPRO de Argentina, ese tipo de complementariedad entre las distintas actividades de MyE parece haber estado ausente, al menos, hasta bastante recientemente. En Colombia, donde el componente de evaluación entró en funcionamiento en 2002, resulta demasiado pronto para hacer este tipo de evaluación. La intención de lograr una buena coordinación entre las diferentes actividades de MyE se convierte en un desafío aun mayor cuando las mismas son desarrolladas bajo la órbita de actores institucionales distintos. De los cinco países, sólo Argentina y Chile presentan esta situación. Es interesante hacer notar que existe un fuerte contraste entre las experiencias de estos dos países en este sentido. Por un lado, en Chile, las funciones de MyE están organizadas en torno a dos sistemas: el SCG, que fue creado y es administrado por la DIPRES, y el SSPG, que fue establecido y se encuentra bajo la jurisdicción de SEGPRES. Como se indicó anteriormente, al momento de su creación, los tres mecanismos de MyE que se fusionaron en el SCG en el 2000 surgieron como iniciativas independientes.9 Los mismos estaban enfocados en aspectos del desempeño bastante bien diferenciados, pero no eran administrados en forma coordinada. Al inicio de esta década, la DIPRES decidió convertir esos tres mecanismos en un sistema y, poco después, les añadió otros tres componentes. La coordinación entre el SCG de la DIPRES y el SSPG de SEGPRES también ha ido mejorando con el tiempo. Un ejemplo de esta coordinación es el hecho de que, para definir los indicadores y las metas en que basan sus mediciones del desempeño de los ministerios y las agencias, el SSPG se vale del esquema de misiones, objetivos y productos institucionales del SCG, conocidos como “Definiciones Estratégicas”.10 Al mismo tiempo, el SSPG utiliza los Balances de Gestión Integral (BGIs) de la DIPRES como principal canal de diseminación pública para sus evaluaciones de desempeño. Uno de los factores que pueden haber contribuido más a esta progresiva articulación entre ciertos aspectos de los dos sistemas es el alto nivel de compromiso institucional que las autoridades de la influyente DIPRES han puesto en estas reformas. En términos más generales, puede decirse que tanto las iniciativas que conforman el SCG de la DIPRES como el SSPG parecen ser parte de una visión global común, en cuyo contexto la toma de decisiones con base en información empírica es vista como una práctica deseable. 9 Los tres mecanismos son: los Indicadores de Desempeño, las Evaluaciones de Programas Gubernamentales y los Programas de Mejoramiento de Gestión. 10 Las denominadas “Definiciones Estratégicas” son declaraciones formales a través de las cuales las agencias establecen su misión, objetivos y productos estratégicos, beneficiarios, clientes y usuarios, y especifican la forma en la que los mismos se relacionan con los objetivos estratégicos de la política sectorial de los ministerios a los que se encuentran ascriptas. 18 Por contraste, en Argentina, las actividades de MyE de nivel nacional están organizadas como tres sistemas diferentes que funcionan en forma totalmente independiente entre sí. Como ya se indicó, los tres sistemas son: el SSFF, que depende de la ONP de la Secretaría de Hacienda; el SIEMPRO, que fue creado originalmente por la ex-Secretaría de Desarrollo Social y ahora depende del Consejo Nacional de Coordinación de Políticas Sociales; y el SGPR, que se desarrolló inicialmente a través de un esfuerzo conjunto entre la entonces Secretaría Nacional de Modernización, la Jefatura de Gabinete de Ministros y la Secretaría de Hacienda y, desde 2001, está siendo administrado por la Jefatura de Gabinete. La falta de coordinación entre los tres sistemas se ve reflejada, cuanto menos, de dos formas. Primero, si bien tanto el SSFF como el SIEMPRO se centran en la medición del desempeño a nivel de programas, se basan muchas veces en definiciones diferentes de lo que constituye un ‘programa’. Esto lleva a que, a menudo, resulte muy difícil combinar la información que cada uno de ellos produce. Segundo, no ha habido un intento sistemático, ni por parte de las autoridades de los programas ni por la de los evaluadores, de vincular los objetivos de los programas con las metas y objetivos organizacionales que el SGPR ha ayudado a identificar en algunas de las agencias responsables por esos programas. Esta gran falta de conexión entre los tres sistemas hace que sus costos de operación sean más altos que lo necesario, y pone un límite a sus potenciales beneficios. Esto es así debido a que, a través de sus múltiples requerimientos de información, los sistemas imponen una carga excesiva a las agencias, y esto muy probablemente termine conspirando contra la calidad de la información proporcionada y la receptividad de las agencias a las evaluaciones que producen los sistemas. Cabe argumentar que la profunda fragmentación que existe entre los distintos esfuerzos de MyE en Argentina tuvo origen en el hecho de que las mismas se desarrollaron bajo condiciones muy diferentes que los sistemas de Chile. En Argentina, los esfuerzos por mejorar la capacidad institucional y las prácticas de gestión del sector público, y por fortalecer la formulación de políticas y la toma de decisiones a través del uso del MyE y la información empírica en general no han sido objeto del mismo grado de prioridad gubernamental que en Chile. Además, en el marco de un contexto político donde, a menos que las iniciativas cuenten con el apoyo explícito del Presidente, las rivalidades entre ministerios suelen sobreponerse a los méritos propios de las mismas, es muy probable que el hecho de que los tres sistemas tuvieran patrocinadores institucionales diferentes haya representado una traba adicional. Los efectos de todos estos factores pueden haberse visto agudizados, a su vez, por los diversos períodos de inestabilidad política y la consecuentemente alta rotación de funcionarios de alto rango, incluyendo a varios de los que concibieron o apoyaron a estas iniciativas. 6.2 Marco Organizacional y Distribución de Roles Para resultar efectivos, los sistemas de MyE necesitan estar organizados de manera tal de asegurar tanto la relevancia como la credibilidad de la información que producen. Una de las mejores formas de asegurar la relevancia de las evaluaciones y las mediciones de desempeño que desarrollan los sistemas es involucrando a los principales destinatarios de la información en la definición de qué políticas, programas o aspectos de la gestión evaluar (Mokate, 2000). Por otro lado, para obtener un nivel aceptable de credibilidad, resulta aconsejable mantener un relativo grado de independencia entre quienes controlan o administran el desarrollo de las evaluaciones y los actores que se encuentran más directamente asociados a las actividades y los programas evaluados. Esta segunda condición es especialmente importante cuando los principales 19 destinatarios de la información son externos a la política, programa o agencia evaluada. Cuando los hallazgos de MyE están principalmente destinados a los agentes responsables de los mismos procesos que se están evaluando, es más importante asegurar un alto nivel de participación y receptividad de su parte que garantizar la credibilidad externa de la información (Ala-Harja y Helgason, 1999). Uno de los mayores desafíos que enfrentan los diseñadores de sistemas de MyE es el hecho de que estos sistemas suelen crearse con el objetivo de abordar las necesidades de información de distintos actores. Y, como se mencionó recién, las condiciones necesarias para asegurar la relevancia y la credibilidad de la información tienden a ser relativamente específicas para cada tipo de destinatario. Por ejemplo, cuando las actividades de MyE de un sistema tienen por objeto atender tanto las necesidades de información de determinados ministerios sectoriales o agencias como las de uno o más ministerios centrales, existen por lo menos dos alternativas. Por un lado, el control de los procesos de MyE puede dejarse en manos de un ministerio central, en cuyo caso la credibilidad de la información podría verse relativamente asegurada para todas las partes interesadas. Sin embargo, esta opción podría terminar conspirando contra la relevancia, la utilidad y la aceptabilidad de la misma para las agencias y los ministerios sectoriales directamente afectados. Por otro lado, cuanto mayor sea el nivel de control que los ministerios o agencias cuyas actividades o programas están siendo evaluados ejercen sobre los procesos de evaluación, más probable será que la información generada les resulte relevante. Sin embargo, su condición de “juez y parte” en el proceso de evaluación puede terminar dañando la credibilidad externa de los hallazgos del MyE. En pocas palabras, existe una tensión latente entre las condiciones necesarias para asegurar niveles adecuados de relevancia y credibilidad de la información para las distintas partes interesadas en los procesos de MyE (Zaltsman, 2006). Como se verá en los párrafos siguientes, existen distintas formas de conciliar estos requerimientos potencialmente conflictivos. Pero, generalmente, implican priorizar en cierta medida a algunos de ellos por sobre los otros. Los ocho sistemas de MyE examinados en este informe han sido establecidos y permanecen bajo el control de instituciones del Poder Ejecutivo. En el caso del SSFF de Argentina, el SCG de Chile y el SEV de Uruguay, las unidades coordinadoras dependen de instituciones que se encuentran directamente a cargo de la formulación del presupuesto nacional (como la ONP de Argentina y la DIPRES de Chile) o, al menos, juegan un papel importante en la misma (como la OPP de Uruguay).11 En el caso de Costa Rica, el SINE depende del ministerio responsable por la planificación nacional (es decir, el Ministerio de Planificación o MIDEPLAN) mientras que, en Colombia, la institución que controla SINERGIA (el Departamento Nacional de Planeación o DNP) es responsable tanto por la planificación nacional como por la formulación del presupuesto nacional de inversión.12 La unidad de coordinación del SIEMPRO de Argentina depende de un comité interinstitucional (el Consejo Nacional de Coordinación de Políticas Sociales), formado por todos los ministerios que ejecutan programas de lucha contra la pobreza. Finalmente, en el caso del SGPR de Argentina y del SSPG de Chile, las unidades que administran a los sistemas 11 En Uruguay, la formulación del presupuesto nacional se encuentra a cargo de la Contaduría General de la Nación. Sin embargo, el proceso también involucra la participación activa de la OPP en distintas etapas del proceso. Una de las funciones fundamentales de la OPP consiste en asistir a la Contaduría General de la Nación en el análisis de las solicitudes de presupuesto de las agencias y, en los casos en que resulta necesario, en su adaptación al plan general de gobierno y a la disponibilidad de recursos. 12 Sin desmedro de ello, es importante hacer notar que, por muchos años, la coordinación entre la división que dirige SINERGIA y la unidad responsable por la formulación del presupuesto de inversión fue sumamente pobre. 20 responden a instituciones del gobierno central con funciones de coordinación interministerial (la Jefatura de Gabinete de Ministros y SEGPRES, respectivamente). Si bien, en base a sus objetivos declarados, todos los sistemas apuntan a fortalecer la rendición de cuentas por parte del gobierno a la sociedad, el único en el que la institución de la que depende comparte la definición de la agenda de MyE con una entidad independiente del gobierno es el SINE, de Costa Rica (ver sección siguiente). En Colombia, las autoridades de SINERGIA tienen planes de fomentar el control social del gobierno a través del involucramiento de organizaciones de la sociedad civil en el análisis y la divulgación de la información que produce el sistema. Pero, hasta el momento, no se han visto materializados. Debido a que la operación de los componentes de monitoreo y evaluación involucra pasos y procesos muy distintos, el resto de esta sección los tratará por separado. Actividades de Monitoreo de los Sistemas Como muestra el Cuadro 8, los roles que las actividades de monitoreo de los sistemas asignan a los actores involucrados más directamente parecen seguir algunos patrones comunes. Concretamente, con excepción del SINE de Costa Rica, en cuyo caso esta función es ejercida por un comité interministerial, la definición de los lineamientos básicos de la agenda de MyE recae siempre en la institución responsable por cada sistema. El desarrollo de las metodologías de los sistemas se encuentra en todos los casos en manos de su unidad coordinadora. La definición de los indicadores y metas en las que los sistemas basan sus evaluaciones involucra, en mayor o menor medida, tanto la participación de las instituciones y los programas evaluados como la de las unidades coordinadoras, y la información que alimenta los sistemas es siempre proporcionada por las mismas instituciones y/o programas evaluados. Finalmente, salvo por el SGPR de Argentina, donde las agencias participantes juegan un papel mucho más destacado en este sentido, es siempre la unidad coordinadora del sistema la que emite el juicio final sobre el desempeño evaluado. Las mayores diferencias que se observan entre los sistemas giran en torno al nivel de protagonismo y control que les otorgan a sus unidades coordinadoras y a las instituciones y los programas evaluados en la definición de los indicadores y metas. Por un lado, algunos sistemas parecen estar más preocupados por asegurar la estandarización y la imparcialidad del proceso y, por lo tanto, le asignan a la unidad coordinadora un rol mucho más decisivo en este sentido. El SCG de Chile representa un buen ejemplo, ya que es probablemente el sistema donde la relación entre la unidad coordinadora y las agencias evaluadas sigue un enfoque más “vertical”. Más específicamente, además de definir la agenda general de monitoreo del desempeño, la unidad coordinadora del sistema ejerce un grado de control mucho más marcado sobre todo el proceso que cualquier otro de los sistemas de MyE considerados aquí. Por contraste, otros sistemas parecen priorizar la intención de asegurar un buen grado de receptividad y “apropiación” de los hallazgos del monitoreo por parte de las autoridades de las instituciones y los programas evaluados, por sobre los requerimientos asociados con la credibilidad externa. En consecuencia, les proporcionan a dichos funcionarios un nivel mayor de participación en esta parte del proceso. Entre los ocho sistemas analizados en este documento, el SGPR de Argentina es el que otorga el mayor grado de protagonismo a las agencias evaluadas. En efecto, uno de sus componentes de monitoreo deja la definición de los aspectos del desempeño a evaluar completamente en manos de las propias agencias, mientras que en el otro, salvo por la definición de las metodologías básicas y la verificación de la información (que, en ambos casos, se encuentran a cargo de la unidad coordinadora) y la propuesta de metas de desempeño (que 21 realizan las propias agencias), todos los demás pasos del proceso se desarrollan de manera conjunta entre la agencia involucrada y los expertos de la unidad coordinadora. Esto incluye la evaluación del desempeño de la agencia y la preparación de los informes finales de monitoreo, y puede involucrar también la preparación conjunta de un plan de acción. Cuadro 8: Distribución de Roles Asociados con las Actividades de Monitoreo Funciones Argentina Chile Colombia Costa Uruguay Rica SSFF SIEMPRO SGPR SSPG SCG SINERGIA SINE SEV Define UC UC UC UC UC UC UC UC metodologías Brinda UC UC UC UC UC UC COM UC capacitación y asistencia técnica Identifica UC UC UC & UC & UC UC & MIN COM AGE aspectos a AGE AGE evaluar (CCC) AGE (SIG) Propone PRO PROG UC & AGE AGE MIN AGE AGE indicadores G& AGE (ID) AGE (CCC) UC AGE (PMG) (SIG) Decide sobre UC UC & UC & UC & UC UC & MIN UC AGE indicadores PROG AGE AGE (CCC) AGE (SIG) Propone metas PRO PROG AGE AGE AGE MIN AGE AGE G Decide sobre PRO PROG UC & UC, & UC UC & MIN UC AGE metas G AGE AGE (ID) (CCC) UC & AGE Otr (SIG) (PMG) Suministra la PRO PROG AGE AGE AGE MIN AGE AGE información G& AGE Audita la --- UC (…) UC n/d UC UC (…) --- UC (…) información (CCC) Analiza UC UC UC & UC UC UC UC UC información y AGE prepara informes (CCC) AGE (SIG) Negocia acciones --- --- UC UC UC --- --- --- a seguir (CCC) (PMG) Leyenda: UC = unidad coordinadora del sistema; PROG = programa; AGE = agencia; MIN = ministerio; ID = componente de Indicadores de Desempeño; PMG = Programa de Mejoramiento de la Gestión; COM = comité interinstitucional; Otr = otras instituciones; (…) = realizado de manera bastante rudimentaria; n/d = no disponible. 22 En el resto de los sistemas de MyE, la distribución de roles entre la unidad coordinadora y las agencias y los programas evaluados parece ubicarse en algún punto intermedio entre el fuerte control del proceso que ejerce el SCG de Chile y la relación más relajada y horizontal que existe entre la unidad coordinadora del SGPR de Argentina y los organismos participantes. En todos los casos, son los programas y los organismos evaluados los que proponen tanto los indicadores como las metas. No obstante, en el SSPG de Chile, SINERGIA de Colombia y el SEV de Uruguay, las instituciones y los programas afectados parecen gozar de un mayor margen para definir los indicadores a utilizar que en los otros sistemas. Por otro lado, en el SSPG de Chile, SINERGIA de Colombia y el SINE de Costa Rica, las unidades coordinadoras parecen tener un mayor grado de intervención en la definición de las metas de desempeño de los programas y las agencias que en los tres sistemas restantes. La información disponible sobre el grado de utilización y la receptividad que encuentran los hallazgos del monitoreo en las distintas instituciones es más bien escasa y, por lo general, meramente anecdótica. Sin embargo, vale la pena hacer notar que el sistema donde el uso de esta información se encuentra más claramente documentado es el SCG de Chile – es decir, el sistema en el que la relación entre la unidad coordinadora y las instituciones evaluadas presenta el mayor grado de “verticalidad”. Al parecer, el mayor obstáculo para la asimilación y el eventual uso de los hallazgos de monitoreo por parte de las instituciones y los programas evaluados radica en la falta de compromiso e involucramiento por parte de sus autoridades. En términos generales, resulta común que todas las actividades asociadas con el proceso de monitoreo se encuentren concentradas en la unidad organizacional que actúa como nexo entre la institución evaluada y la unidad coordinadora del sistema. Consecuentemente, el nivel de difusión que las metas y las evaluaciones de desempeño tienen dentro de los programas y las instituciones suele ser extremadamente bajo. Esto parece ser así independientemente de si la unidad institucional que actúa como contraparte del sistema dentro de la agencia o el programa evaluado fue creada específicamente para cumplir con esta función o existía desde antes y se ocupa a la vez de otras funciones (por ejemplo: planificación, elaboración del presupuesto, etc.). En un intento por lograr un mayor grado de compromiso por parte de los ministerios sectoriales y las instituciones evaluadas con las metas de desempeño acordadas con sus unidades coordinadoras, algunos sistemas, como el SGPR de Argentina y SINERGIA de Colombia, requieren que la definición de esas metas comience con negociaciones de alto nivel entre ambas partes. Por otro lado, en el SCG de Chile, lo que parece atraer la atención de las autoridades de las instituciones evaluadas hacia las mediciones que realiza el sistema es el alto grado de importancia que la DIPRES les asigna , y la posibilidad de que las mismas terminen impactando sobre sus asignaciones presupuestarias. Actividades de Evaluación de los Sistemas En el contexto de los componentes de evaluación de los tres sistemas que desarrollan este tipo de evaluaciones, la división de roles entre las distintas partes involucradas es relativamente uniforme (Cuadro 9). En todos los casos, la institución patrocinadora del sistema y/o alguna otra entidad independiente de las instituciones o los programas evaluados es la que decide qué políticas, programas u organizaciones serán objeto de evaluación y el tipo de enfoque de evaluación a utilizar. En los tres sistemas, estas decisiones críticas están a cargo de más de un actor. Específicamente, en el caso del SIEMPRO de Argentina, el que decide es el Consejo Nacional de Coordinación de Políticas Sociales, que está integrado por todos los ministerios responsables por programas de lucha contra la pobreza. En el caso del SCG de Chile, la decisión sobre qué 23 programas e instituciones evaluar es compartida entre la DIPRES y el Congreso, mientras que en Colombia, el que decide es un Comité Intersectorial de Evaluación que está formado por varios ministerios centrales.13 Con excepción de SINERGIA, que incluye a los ministerios responsables por las políticas y los programas a evaluar en la definición del tipo de evaluación a realizarse, las instituciones evaluadas no participan de estas dos primeras decisiones críticas. Cuadro 9: Distribución de los Roles Asociados con las Actividades de Evaluación Funciones Argentina Chile Colombia SIEMPRO SCG SINERGIA Selección de programas Consejo Nacional de DIPRES y Congreso Comité Intersectorial de u organismos a evaluar Coordinación de Políticas Evaluación y Gestión por Sociales Resultados Definición del enfoque Unidad coordinadora Unidad coordinadora Unidad coordinadora y y tipo de evaluación ministerio afectado Financiamiento de las Consejo Nacional de DIPRES Programas evaluados, evaluaciones Coordinación de Políticas ministerios que los Sociales ejecutan y DNP Realización de las Evaluadores externos Evaluadores externos Evaluadores externos evaluaciones Supervisión del proceso Unidad coordinadora Unidad coordinadora, Unidad coordinadora de evaluación comité interministerial, organismos evaluados (*) Negociación de las n/d Unidad coordinadora y n/d acciones a seguir organismos evaluados (*): El rol de los organismos evaluados consiste en brindar retroalimentación a los informes intermedios y finales de evaluación. Referencia: n/d: No disponible. Aunque la que define los enfoques metodológicos básicos de las evaluaciones es la unidad coordinadora de cada sistema, para garantizar la independencia de las evaluaciones, la realización de las mismas se encomienda siempre a instituciones externas o expertos seleccionados a través de procesos abiertos de licitación pública. El SIEMPRO y el SCG financian estas evaluaciones con sus propios recursos, mientras que SINERGIA comparte sus costos con los programas evaluados y los ministerios responsables por los mismos. En el contexto del SIEMPRO y de SINERGIA, la supervisión del proceso de evaluación se encuentra a cargo de las unidades coordinadoras. En el caso del SCG, la que supervisa el proceso es también la unidad coordinadora pero existen, además, otros dos actores involucrados. Uno de ellos es un comité interministerial que incluye a la Presidencia y a los Ministerios de Hacienda y de Planificación. Este comité es responsable por garantizar que el desarrollo de las evaluaciones sea consistente con las políticas del gobierno, que las mismas cuenten con el soporte técnico y la coordinación necesarios, y que las conclusiones de las evaluaciones se envíen a los organismos afectados. El segundo actor involucrado son las propias instituciones y programas evaluados, los 13 De hecho, el Comité Intersectorial también incluye a representantes de los ministerios cuyas políticas o programas van a ser evaluados. Sin embargo, esos ministerios sólo se suman al Comité una vez que la decisión sobre qué politicas y programas evaluar ya haya sido tomada. 24 que tienen la posibilidad de realizar observaciones a los informes intermedios y finales de evaluación. Estas observaciones se adjuntan a los informes finales de evaluación como anexo. Finalmente, el SCG requiere que, al final de cada proceso de evaluación, la unidad coordinadora y las agencias evaluadas definan de manera conjunta el plan de acciones y el cronograma que regirán la implementación de las recomendaciones de cada evaluación. 6.3 Flujos de Información y Presentación de Informes Los sistemas han organizado sus flujos de información de diversos modos. Para caracterizarlos, esta sección se centra en tres aspectos. El primero de ellos es la forma en que cada sistema ha estructurado los diferentes pasos que preceden a la preparación de sus informes de MyE. Dadas las especificidades propias de los distintos tipos de actividad de MyE, esta parte de la discusión se enfocará en los procesos de monitoreo y evaluación por separado. El segundo aspecto se centra en los canales a través de los que los sistemas emiten sus pronunciamientos sobre el desempeño de las instituciones y los programas que evalúan y las estrategias generales de divulgación que emplean para asegurar que la información que producen alcance a sus destinatarios. El tercer aspecto gira en torno a los incentivos que existen, en cada caso, para que los usuarios esperados de la información de MyE hagan uso de la misma, y al grado de uso que esta información recibe en la práctica. Proceso que Precede a la Preparación de los Informes de Monitoreo El proceso que precede a la preparación de los informes de monitoreo de los sistemas puede conceptualizarse como una secuencia que consta de cuatro pasos. El primer paso incluye la identificación de los indicadores y metas de desempeño que sirven de base para la medición del desempeño de las agencias, políticas y programas evaluados. Sin desmedro de las diferencias en el grado de control que la unidad coordinadora y las instituciones evaluadas ejercen en esta parte del proceso, la misma representa en todos los casos el primer intercambio importante de información entre estas dos partes, y prepara el terreno para las etapas subsiguientes. El segundo paso consiste en la divulgación de estas metas de desempeño. El tercer paso gira en torno a la obtención de la información que los sistemas necesitan para poder producir sus evaluaciones, y el cuarto, se relaciona con los procedimientos destinados a garantizar la calidad y la credibilidad de esta información. Proposición de indicadores y metas de desempeño: El SSFF de Argentina, el SCG de Chile, el SINE de Costa Rica y el SEV de Uruguay requieren que las agencias y los programas sujetos al monitoreo envíen sus propuestas de indicadores y metas como parte de (o adjuntas a) sus solicitudes de presupuesto. En la mayoría de los sistemas, estas propuestas son enviadas a través de formularios estandarizados que, en el caso del SINE, del SEV y del SIG del SGPR, solicitan también detalles sobre la misión, los objetivos estratégicos y los planes operativos de las instituciones. En el contexto del SINE, estos formularios también requieren un diagnóstico organizacional de las fortalezas y debilidades de las instituciones. En el SIG de Argentina, los dos sistemas de Chile, y el SEV de Uruguay, las agencias evaluadas envían toda esta información electrónicamente. El SINE tiene planes de adoptar un procedimiento similar próximamente. Como se ha indicado anteriormente, por lo menos en algunos sistemas (como el SSFF de Argentina, el SEV de Uruguay, y probablemente también el SIEMPRO de Argentina), la identificación de indicadores y metas se lleva generalmente a cabo con muy poca o sin ninguna 25 participación de las autoridades más altas de las agencias o programas evaluados, lo que a menudo limita su relevancia. SINERGIA de Colombia y el SGPR de Argentina procuran evitar este problema planteando como condición que los estándares que sirven de base para la realización de cada ciclo anual de monitoreo se definan en el marco de una negociación de alto nivel entre las instituciones evaluadas y las autoridades del sistema de MyE. Naturalmente, para que este tipo de requerimiento pueda verse materializado en la práctica, los sistemas de MyE necesitan contar con el ascendiente necesario, y esto a su vez depende de la cuota de poder de sus patrocinadores institucionales y de su grado de compromiso con los sistemas. Divulgación de las metas de desempeño: En la mayoría de los casos, una vez que los indicadores y las metas que sirven de base para la evaluación del desempeño de las instituciones y los programas monitoreados en un ciclo dado quedan definidos, se publican. El medio de divulgación pública más común suele ser la página web de la unidad coordinadora del sistema. Suministro de información de monitoreo: Como ya se indicó, la información que alimenta el sistema de MyE es proporcionada, en todos los casos, por las mismas agencias o programas monitoreados. En los dos sistemas de Chile, en SINERGIA de Colombia, en el SEV de Uruguay y, hasta cierto punto, en el SGPR de Argentina, la información llega a la unidad coordinadora a través de sistemas de Intranet o Internet. El SINE de Costa Rica tiene planes de reorganizar esta parte del proceso en torno a un sistema similar. En el caso del SSFF de Argentina, la información sobre el cumplimiento con las metas físicas se entrega bajo la forma de informes impresos, mientras que la información sobre el cumplimiento con las metas financieras se proporciona a través de un sistema electrónico de Intranet. Control de calidad y credibilidad de la información: En la mayoría de los casos, la información que sirve de base a los procesos de monitoreo no se verifica de un modo sistemático y, en algunos sistemas, este tipo de controles no es siquiera una práctica común. El SCG de Chile y el programa CCC de Argentina realizan controles de calidad al azar. En el caso específico del SCG, cuando la agencia o programa en cuestión se considera de alto impacto público, estos controles de consistencia se extienden a toda la información que los mismos proporcionan al sistema. En otros sistemas, como el SIEMPRO de Argentina y SINERGIA de Colombia, los controles de calidad de la información son algo menos metódicos, mientras que en el SSFF de Argentina, el SINE de Costa Rica y el SEV de Uruguay no se realizan regularmente. Proceso que Precede a la Preparación de los Informes de Evaluación En el contexto de los componentes de evaluación de los sistemas de MyE, el ciclo de flujo de información es algo diferente. Además de la información que obtienen de las agencias y los programas evaluados, los estudios de evaluación se valen frecuentemente de entrevistas y encuestas ad-hoc y de otras fuentes para obtener los datos que necesitan. En el caso específico de los componentes de EPG y ECG del SCG de Chile, el proceso de evaluación comienza solicitando al programa o agencia evaluada que suministre información básica siguiendo un formato estándar. El componente EPG requiere que el programa prepare su propia matriz de marco lógico. Esta matriz contiene detalles sobre el fin y el propósito del programa, los objetivos específicos de cada componente, sus actividades principales, indicadores de desempeño y supuestos. Como parte del componente de ECG, se pide a los organismos evaluados que preparen matrices de evaluación con detalles sobre: las prioridades gubernamentales a ser abordadas; su misión institucional, objetivos estratégicos y estructura organizacional; productos y resultados estratégicos asociados a cada objetivo específico; etc. En 26 ambos casos, las matrices son evaluadas y, de ser necesario, ajustadas por los evaluadores, quienes las usan como base para todo el proceso de evaluación. En el caso de las evaluaciones de impacto (el tercer componente de evaluación del SCG), la información que requieren los evaluadores de los programas es más compleja y mucho más difícil de resumir en un formato estándar. Por lo tanto, se la obtiene a través de una serie de métodos que varían de acuerdo con la naturaleza de cada evaluación. Aun así, la información que las agencias y los programas evaluados proporcionan sigue siendo un insumo fundamental para el proceso de evaluación. Una vez que los evaluadores completan sus estudios, envían un informe final a la unidad coordinadora del sistema. En el caso del SCG de Chile, los evaluadores envían primero una versión preliminar de sus informes de evaluación a la unidad coordinadora y a la institución o programa evaluado, los que los revisan detalladamente y brindan comentarios a los evaluadores. En base a esta retroalimentación, los evaluadores elaboran y presentan la versión final de sus informes de evaluación, los que se envían también a las instituciones o programas evaluados con el fin de darles la oportunidad de expresar su opinión. Finalmente, las observaciones que realizan las instituciones y los programas evaluados se adjuntan al informe final de evaluación como anexo. Presentación de Informes y Estrategias de Divulgación Los hallazgos de MyE de los sistemas se difunden a través de distintos tipos de informes. Al menos en algunos casos, el nivel de detalle y el contenido de estos informes varía de acuerdo con las necesidades específicas del destinatario. Por ejemplo, el SSFF de Argentina produce informes trimestrales sobre cada programa monitoreado para ser enviados a los administradores de los programas y los organismos y los ministerios responsables por ellos, las autoridades de la ONP y otras divisiones de la Secretaría de Hacienda. A la Contaduría General de la Nación le hace llegar un informe anual que contiene información mucho más condensada sobre el desempeño de todos los programas. Esta información se usa a su vez como insumo para la preparación de los informes de “Cuentas de Inversión”, a través de los cuales el Poder Ejecutivo informa al Congreso sobre el desempeño de sus programas. En todos los casos, los documentos se encuentran disponibles al público. De igual forma, el SSPG de Chile produce informes trimestrales y anuales para el Presidente que contienen información sobre el desempeño global del gobierno, e informes más detallados destinados a las autoridades de cada ministerio y agencia evaluada en particular. Al mismo tiempo, una versión resumida de toda esta información se publica a través de los Balances de Gestión Integral del SCG (ver más abajo). En algunos de estos sistemas, la información sobre el grado de cumplimiento de las instituciones evaluadas con sus metas de desempeño puede ser consultada a través de sistemas de Intranet o Internet, que brindan diferentes niveles de acceso a las diversas partes interesadas. Tal es el caso en el SIG del SGPR de Argentina, los dos sistemas de Chile, SINERGIA de Colombia, y el SEV de Uruguay. El sistema Intranet que el SINE de Costa Rica planea lanzar en un futuro cercano también cumplirá esta función. El sistema de Internet que SINERGIA utiliza (conocido como SIGOB)14 brinda a los ciudadanos un acceso parcial. Por el momento, el acceso al SIG del SGPR está reservado a los funcionarios de las agencias evaluadas y de distintas reparticiones del gobierno, pero existen planes de hacerlo parcialmente accesible al público en general. 14 SIGOB significa “Sistema de Información y Seguimiento a Metas de Gobierno”. 27 Algunos de los sistemas han empezado a experimentar con formatos de informes más “amigables”, con el fin de contribuir a superar las dificultades que muchos de los destinatarios de la información (ciudadanos, legisladores, formuladores de políticas, administradores públicos) suelen tener para comprender y asimilar los informes originales. Es común que estos informes les resulten extremadamente extensos y poco accesibles debido al lenguaje técnico en el que están escritos. De esta manera, en los últimos dos o tres años, SINERGIA de Colombia y el SEV de Uruguay han estado utilizando diferentes tipos de boletines y folletos redactados en un lenguaje sencillo y matizados con numerosos gráficos. Igualmente, desde hace ya varios años, el SCG de Chile ha concentrado gran parte de su información de MyE en sus Balances de Gestión Integral (BGI), que son mucho más fáciles de leer que los informes individuales que el sistema produce con relación al desempeño de cada agencia o programa evaluado. Además, el SCG adjunta resúmenes ejecutivos a todos sus informes de evaluación final, cuyas versiones completas también se encuentran disponibles al público. Finalmente, en los cinco países, el Internet sirve como el principal canal de divulgación pública de los resultados del MyE. Algunos de los sistemas se valen también de otros medios de diseminación. Por ejemplo, en Argentina, el programa CCC del SGPR requiere que las mismas agencias participantes publiciten sus propias metas y evaluaciones de desempeño, y al momento de evaluarlas, toma los esfuerzos que las mismas realizan en este sentido como uno de los aspectos a considerar. En Colombia, el Presidente y los miembros de su gabinete toman parte en un programa anual de televisión conocido como “Consejo Televisado de Ministros” y en reuniones semanales que se desarrollan en distintos puntos del país, en cuyo contexto hacen uso de esta información para responder a preguntas de los ciudadanos con relación a los resultados de las políticas del gobierno. Finalmente, en Colombia y en Costa Rica los hallazgos de MyE también se hacen públicos a través de conferencias de prensa. Utilización de la Información del MyE En general, el grado de utilización que la información de MyE recibe en la práctica se encuentra bastante poco documentado. Un estudio sobre los sistemas de MyE de Chile, Colombia, Costa Rica y Uruguay que se llevó a cabo entre 2001 y 2002 (Cunill Grau y Ospina Bozzi, 2003) encontró que la mayoría de las partes interesadas de los sistemas de MyE de estos países estaba haciendo un uso muy limitado de esta información. En 2004, un estudio de caso de los tres sistemas de MyE de Argentina reportó hallazgos similares (Zaltsman, 2004). Sin embargo, desde que se realizaron estos estudios, ha habido indicios de que, en algunos de estos países, los hallazgos del MyE podrían estar influyendo en la toma de decisiones. La evidencia más sólida proviene de Chile, donde un estudio del Banco Mundial (2005) sobre los componentes de evaluación del SCG encontró que la mayoría de las partes interesadas consultadas (analistas y jefes de los sectores presupuestarios de la DIPRES; funcionarios de presupuesto de los ministerios sectoriales y las agencias; autoridades de los programas evaluados, etc.) coincidió en que la información estaba siendo utilizada como insumo para la toma de decisiones. Este hallazgo coincide con lo que indican las encuestas anónimas que la DIPRES desarrolla, a través de Internet, entre las distintas partes interesadas del sistema.15 La mayoría de los sistemas han intentado fomentar el uso de la información de MyE y la mejora del desempeño a través de la creación de mecanismos de incentivo presupuestario o institucional, pero pocos de ellos han tenido éxito en ponerlos en práctica. El sistema que ha avanzado más en 15 Ver, por ejemplo, DIPRES (2004). 28 este sentido es el SCG de Chile, el cual ha establecido una variedad de incentivos dirigidos tanto a las agencias y a los programas evaluados como a los funcionarios que intervienen en la formulación del presupuesto dentro del propio Ministerio de Hacienda. Estos incentivos incluyen: (a) la introducción de los llamados “Compromisos Institucionales”, que son acuerdos formales a través de los cuales las agencias evaluadas se comprometen a implementar las recomendaciones que surgen de las evaluaciones en un plazo determinado; (b) el monitoreo regular del cumplimiento con estos Compromisos Institucionales, y con las metas de los ID y PMGs; (c) el requerimiento explícito de que las agencias y los ministerios justifiquen sus solicitudes de presupuesto con información sobre desempeño pasado y esperado; y (d) el requerimiento explícito de que la información sobre MyE sea utilizada como parte de las discusiones internas y externas que ocurren durante el proceso de formulación del presupuesto16. En este sentido, al menos parte del éxito del SCG puede atribuirse al fuerte respaldo que ha tenido de parte de su poderoso patrocinador institucional, la DIPRES, a lo largo de los años. La mayoría de los otros sistemas no han logrado alcanzar un nivel de apoyo comparable. Los pocos de ellos que consiguieron instituir incentivos al uso de la información y al buen desempeño, no lograron reunir el respaldo político necesario para ponerlos en práctica. Tal fue el caso del componente “Acuerdo Programa” del SGPR de Argentina, donde una ley de 1999 y un decreto de 2001 autorizaron al Jefe de Gabinete a utilizar incentivos financieros e institucionales con el fin de alentar el buen desempeño organizacional. No obstante, una vez que los funcionarios que auspiciaron la creación del sistema dejaron el gobierno, la iniciativa en su totalidad perdió impulso y los incentivos asociados con este componente no llegaron a aplicarse. Por otra parte, en el término de dos años, el componente mismo cesó sus operaciones. Un segundo ejemplo puede encontrarse en el SEV de Uruguay donde, luego de un primer intento frustrado en 1995, la Ley de Presupuesto de 2000-2004 instituyó una serie de incentivos financieros al buen desempeño institucional. Pero, debido a restricciones fiscales y a la falta del respaldo político necesario, estos incentivos nunca llegaron a implementarse. En síntesis, en la mayoría de los casos, el incentivo principal para que los organismos y programas evaluados presten atención y hagan uso de esta información es el hecho de que, en la actualidad, su desempeño está siendo medido y monitoreado, y las evaluaciones resultantes circulan tanto dentro del gobierno como públicamente. Sin embargo, vale la pena destacar que la eficacia de este tipo de incentivos es altamente sensible al grado de divulgación y de visibilidad de las evaluaciones de desempeño que realiza el sistema. 6.4 Relación entre el MyE y el Ciclo Presupuestario Con frecuencia, la integración de la información de MyE en el proceso de toma de decisiones presupuestarias se ve obstaculizada por la falta de una clasificación presupuestaria adecuada (Joyce y Sieg, 2000). Tal es el caso cuando el presupuesto se encuentra completamente organizado en torno a objetos de gasto y no especifica los objetivos o resultados esperados que cada asignación presupuestaria procura financiar. Pero, como reflejan algunos de los casos 16 Las reuniones internas tienen lugar antes de que la DIPRES defina y comunique sus marcos presupuestarios a los ministerios y agencias. En dichas reuniones participan el director nacional de presupuesto, los jefes de sección de los sectores presupuestarios de la DIPRES y los funcionarios de la unidad coordinadora del SCG. El foco de estas reuniones se centra en el análisis de la información financiera y de desempeño disponible para cada agencia y programa. Las reuniones externas involucran a funcionarios de la DIPRES y de las agencias y los ministerios cuyos presupuestos están siendo determinados. Estas reuniones bilaterales se llevan a cabo luego de que los ministerios hayan recibido sus marcos presupuestarios y presentado sus propuestas de presupuesto a la DIPRES. 29 considerados a continuación, el hecho de contar con una clasificación de presupuesto por programas, por sí solo, no garantiza una conexión apropiada entre los dos tipos de información. Argentina es uno de los tres países incluidos en este informe con una clasificación de presupuesto por programas. Sin embargo, la vinculación entre los hallazgos de MyE y las asignaciones presupuestarias sigue resultando difícil, al menos, por dos motivos. En primer lugar, es común que la estructura del presupuesto no refleje los procesos de producción reales de los programas de manera fiel: muchos programas aparecen incluidos como subprogramas o como actividades de otros programas, o directamente fusionados dentro de programas más grandes. En segundo lugar, la mayor parte de las actividades de MyE se enfocan en programas federales, y el funcionamiento de muchos de ellos involucra el uso de recursos humanos y materiales financiados por gobiernos provinciales y locales. Como los gastos de los gobiernos sub-nacionales no están incluidos en el presupuesto nacional, la información que este último proporciona sobre los gastos de estos programas tiende a ser incompleta. Por otra parte, las agencias tienen plazos muy cortos para preparar sus solicitudes de presupuesto, lo que representa un obstáculo para sus intentos de lograr una conexión apropiada entre su programación financiera y sus planes de producción física. Esto, a su vez, se ve agravado por la poca coordinación que existe entre las autoridades de los programas (que son las encargadas de formular los planes de producción física) y las divisiones de presupuesto de las agencias que ejecutan los programas (que son las responsables por la programación financiera). Por contraste, en los otros dos países que cuentan con clasificaciones presupuestarias por programa (Uruguay y Costa Rica), el vínculo entre las evaluaciones de desempeño del sistema de MyE y las asignaciones de presupuesto es mucho más claro. Antes de implementar el SEV, el gobierno de Uruguay redefinió las estructuras organizacionales del sector público, de manera tal que cada programa quedara bajo la jurisdicción de una sola agencia. Esto permite que el presupuesto identifique los gastos asociados con los diferentes objetivos de los programas sin por ello dejar de individualizar a las instituciones responsables por cada partida de gasto. Asimismo, desde comienzos de la presente década, las solicitudes de presupuesto de las agencias deben especificar el monto de recursos que las mismas planean asignar a la consecución de cada meta de desempeño específica, lo que facilita aun más la conexión entre la información que produce el SEV y el presupuesto. Costa Rica adoptó una clasificación de presupuesto programática después de 2001. Desde entonces, la cooperación entre el ministerio responsable de la planificación (MIDEPLAN) y las instituciones encargadas de formular el presupuesto (Ministerio de Hacienda y la Contraloría General de la República) ha permitido mejorar la coordinación entre ambos procesos. Al igual que en Uruguay, las solicitudes de presupuesto de los organismos toman la forma de planes estratégicos y operativos que especifican la cantidad de recursos que las instituciones planean destinar al cumplimiento de cada meta y objetivo. Esto permite que quienes analizan y evalúan estas solicitudes ponderen los posibles resultados asociados a distintas opciones de asignación de recursos. A su vez, los hallazgos de las actividades de MyE que desarrolla el SINE les proporcionan información acerca de la medida en que las metas que las agencias propusieron en sus planes estratégicos y operativos en periodos pasados se cumplieron en la práctica. Tanto para el SEV de Uruguay como para el SINE de Costa Rica, el mayor desafío que enfrenta la relación entre el sistema de MyE y el presupuesto nacional radica en garantizar que los indicadores que sirven de base para las actividades de monitoreo representen eficazmente el 30 desempeño de las instituciones evaluadas, y que las estimaciones de costos que utilizan sean lo suficientemente precisas. El presupuesto nacional de Colombia sigue una clasificación por objeto de gasto, lo que limita la posibilidad de establecer un vínculo claro entre las asignaciones presupuestarias y la información de MyE que SINERGIA produce. Como ya se mencionó, las evaluaciones de SINERGIA se enfocan en el desempeño a nivel de políticas y programas específicos. En 2004, el DNP envió al Congreso un anteproyecto de ley proponiendo la modificación del Estatuto Orgánico de Presupuesto a los fines de que, además de las clasificaciones funcional, económica y contable que utiliza en la actualidad, el presupuesto nacional adoptara una clasificación por programa. Pero el cambio no ha sido aprobado por el Congreso. A pesar de ello, el DNP ha comenzado a hacer avances en esa dirección. Desde 2004, el DNP ha preparado el anteproyecto del presupuesto nacional de inversión utilizando dos clasificaciones de presupuesto paralelas: la que rige legalmente y una “basada en resultados”. Para esta segunda, la mayor parte de las asignaciones presupuestarias tiene uno o dos indicadores de desempeño asociados y, en todos los casos, está vinculada al cumplimiento de uno o más objetivos estratégicos del Plan de Desarrollo Nacional. Por el otro lado, el presupuesto de gastos corrientes, que es preparado por el Ministerio de Hacienda y representa una gran proporción del presupuesto nacional, sigue siendo formulado de acuerdo con la clasificación por objeto de gasto tradicional. Al igual que Colombia, el presupuesto de Chile está organizado en base a una clasificación por objeto de gasto y por institución, que sólo incluye detalles sobre las asignaciones de algunos de los programas que ejecutan las agencias. Un cambio que se realizó recientemente en la clasificación del presupuesto elevó el número de programas identificados en el mismo, y la implementación del Sistema Integrado de Información para la Gestión Financiera del Estado, conocido como SIGFE, pronto permitirá vincular los productos estratégicos de las agencias y asignaciones específicas de una manera mucho más clara. Pero, por el momento, la relación entre productos esperados y asignaciones presupuestarias sigue siendo difícil de individualizar. No obstante, los hallazgos de MyE del SCG están mejor integrados en el proceso de presupuesto que los de los otros sistemas examinado en este documento. Hasta cierto punto, esto se ve facilitado por el hecho de que la mayor parte de la información sobre desempeño que produce el SCG se concentra en el mismo nivel de agregación que el presupuesto. Más concretamente, los PMGs, las ECGs y los IDs se centran en el desempeño a nivel de institución y, en el caso específico de los IDs, muchas de las mediciones de desempeño pueden vincularse también a partidas de gasto específicas. Por otro lado, resulta común que los programas que el sistema evalúa con sus EPGs y EIs no se encuentren individualizados como tales en el presupuesto. Pero los evaluadores y los sectorialistas presupuestarios de la DIPRES suplen esta falta a través de la realización de cuidadosas estimaciones ad-hoc. Otro factor que parece estar resultando crítico para el éxito del SCG en la integración de la información de MyE dentro del proceso de formulación del presupuesto es el decidido respaldo que las actividades del sistema reciben de parte su poderoso patrocinador institucional, la DIPRES. En resumen, la experiencia de estos cinco países sugiere que si bien, en principio, las clasificaciones de presupuesto por programas deberían poder maximizar los beneficios de la información del MyE para la toma de decisiones presupuestarias, el solo hecho de contar con una clasificación presupuestaria de este tipo no garantiza que las asignaciones terminen tomando en 31 consideración la información sobre desempeño. Por el otro lado, la experiencia de Chile sugiere que, cuando la determinación de integrar consideraciones de desempeño dentro del proceso de presupuesto proviene de los niveles más altos del gobierno, es posible lograrlo incluso en ausencia de una clasificación por programa. 32 7. OBSERVACIONES FINALES Y LECCIONES OBTENIDAS Las similitudes y contrastes que surgen del análisis comparativo de estos ocho sistemas gubernamentales de MyE sugieren una serie de valiosas lecciones, que se presentan a continuación. Configuración Institucional de la Función de MyE En Colombia, Costa Rica, y Uruguay, la función de MyE está organizada en torno a un sistema único lo que, al menos en principio, parece dejarla en buena posición para asegurar la consistencia entre los diferentes procesos que involucra. Por el otro lado, en Chile y en Argentina, la función está estructurada como dos y tres sistemas diferentes, respectivamente. Esta configuración organizacional parece tener implicancias bastante diferentes para estos dos países, lo que lleva a que la comparación entre sus respectivas experiencias resulte especialmente reveladora. En Argentina, a pesar que los tres sistemas se enfocan en aspectos del desempeño del sector público bastante distintos (y por lo tanto, potencialmente complementarios), los sistemas operan de un modo totalmente descoordinado y prácticamente sin puntos de contacto entre sí. En la medida en que este enfoque tan fragmentado dificulta la utilización de la información que cada sistema produce de manera complementaria y sinérgica, el mismo representa una oportunidad perdida. Al mismo tiempo, a través de sus múltiples requerimientos de información, los sistemas imponen una carga excesiva a las agencias, y esto muy probablemente termine conspirando contra la calidad de la información que las mismas proporcionan y su receptividad a las evaluaciones que producen los sistemas. Por contraste, los dos sistemas que existen en Chile han estado funcionando de una manera cada vez más armónica. Esto sugiere que el hecho de que la función de MyE se encuentre estructurada en más de un sistema, de por sí, no constituye un impedimento para que funcione de manera efectiva. El origen de esta diferencia entre las experiencias de Argentina y Chile aparenta ser que, en este último, las dos iniciativas están fundadas en una visión global que cuenta con el decidido apoyo de poderosos patrocinadores institucionales. En Argentina, el único momento en que dos de las iniciativas estuvieron cerca de comenzar a operar de manera coordinada fue durante un breve periodo en el cual la Vicepresidencia de la Nación abogó por la cooperación entre sus respectivos patrocinadores institucionales. Sin embargo, poco después de que el Vicepresidente renunciara a su cargo, esa cooperación incipiente se vio interrumpida, y el desarrollo de las dos iniciativas acabó siguiendo caminos diferentes. Actividades de MyE El tipo de actividad de MyE más común es el monitoreo basado en indicadores, el cual es llevado a cabo en los ocho sistemas. Sólo el SIEMPRO de Argentina, el SCG de Chile, y SINERGIA de Colombia cuentan también con componentes de evaluación. Esto les brinda a estos tres sistemas una gama de opciones más amplia que la de los otros cinco sistemas, que les permite adecuar el nivel de profundidad de sus evaluaciones de desempeño las necesidades específicas de información que procuren abordar. El monitoreo del desempeño, en sí mismo, constituye una herramienta relativamente cruda para informar la toma de decisiones. En muchos casos, se necesita una comprensión mucho más exhaustiva y matizada de los procesos asociados a los 33 programas o políticas a evaluar, que la evaluación se encuentra en mucho mejores condiciones de proporcionar. Dado que las fortalezas y debilidades especificas del monitoreo y la evaluación son potencialmente complementarias entre sí, el abordaje de MyE ideal se basa en un adecuado equilibrio entre el uso de los dos tipos de actividades. El SCG de Chile proporciona un buen ejemplo de cómo esto se puede ver materializado en la práctica. En efecto, el sistema incluye dos componentes de monitoreo del desempeño, y tres de evaluación ― y cada uno de ellos se centra en diferentes aspectos del desempeño de las instituciones o programas. Los resultados del monitoreo se utilizan como uno de los factores a considerar al momento de decidir en qué agencias y programas se enfocarán las evaluaciones. Asimismo, uno de los componentes de evaluación se basa en la realización de estudios relativamente más cortos, menos costosos y menos sofisticados que, además de proporcionar valiosa información sobre el desempeño, son tomados como insumo para determinar la posible necesidad de realizar evaluaciones más rigurosas, de impacto y/o de mayor escala. Relevancia de la Información del MyE para las Distintas Partes Interesadas de los Sistemas Una de las mejores maneras de garantizar la relevancia de la información de MyE para las necesidades de sus destinatarios es involucrándolos en la definición de qué políticas, programas y aspectos del desempeño someter al monitoreo y las evaluaciones. Al mismo tiempo, resulta probable que, cuanto mayor sea su nivel de participación en esa primera y esencial etapa del proceso y en las que le siguen, mayor sea también su receptividad y grado de “apropiación” de los hallazgos del MyE. Pero el logro de un alto nivel de involucramiento por parte de todos los principales destinatarios de la información constituye uno de los desafíos más grandes de los sistemas de MyE. La manera en que los mismos han procurado darle respuesta a este desafío varia de un caso a otro pero, en general, termina priorizando en cierta medida las necesidades de algunos de ellos por sobre las de los otros. Por ejemplo, SINERGIA de Colombia se propone atender las necesidades de información de: (a) el Departamento Nacional de Planeación, que requiere los resultados del MyE a los efectos de sus actividades de planificación nacional y la formulación del presupuesto de inversión; (b) los ministerios sectoriales, que necesitan esta información para dar apoyo al diseño y la gestión de sus programas; y (c) la Presidencia de la Nación, el Congreso, las entidades fiscalizadoras, y la sociedad en general, cuyo acceso a esta información constituye una condición básica para la transparencia de la gestión pública y la rendición de cuentas. Con el fin de asegurar que las evaluaciones que desarrolla el sistema resulten relevantes a las necesidades de distintos actores, la decisión sobre qué programas y políticas evaluar se ha dejado en manos de un comité interinstitucional que incluye representantes de la Presidencia, el Departamento Nacional de Planeación, y el Ministerio de Hacienda. Sin embargo, el comité deja a varias partes interesadas fuera de esta decisión tan crítica: no incluye representantes del Congreso, de las instituciones de fiscalización, u organizaciones de la sociedad civil. En el caso de los ministerios responsables por los programas a ser evaluados, el comité los involucra en la definición del tipo de evaluación a realizar. Sin embargo, los mismos no tienen participación en la selección de los programas y políticas que serán evaluados ni en las etapas posteriores del proceso. El SGPR de Argentina se basa en un enfoque diferente. Uno de sus componentes deja la definición de los aspectos del desempeño, los indicadores y las metas a monitorear completamente en manos de las propias agencias evaluadas, mientras que el segundo componente 34 requiere un alto nivel de participación por parte de los dos destinatarios principales de la información que produce: la Jefatura de Gabinete de Ministros, representada por la unidad coordinadora del sistema, y las propias agencias evaluadas. De este modo, el ciclo de monitoreo involucra a ambas partes en la definición de los aspectos del desempeño a evaluar, la identificación de los indicadores, la propia evaluación del desempeño de las agencias, y la preparación de los informes finales de evaluación. La expectativa es que cada uno de estos pasos del proceso se desarrolle de manera consensuada. El sistema requiere que los estándares básicos de las metas anuales de desempeño se definan a través de negociaciones de alto nivel entre las agencias y la Jefatura de Gabinete. Credibilidad e Imparcialidad de los Sistemas Para asegurar la credibilidad de la información que producen, se considera generalmente necesario asegurar que las actividades de los sistemas de MyE se desarrollen con cierto grado de independencia respecto de las agencias y los programas que evalúan. Esto es particularmente importante cuando los destinatarios de esta información son externos a la agencia, política, o programa a evaluar. Sin embargo, cuando los hallazgos de MyE están principalmente destinados a los agentes responsables por las actividades evaluadas, garantizar un alto nivel de participación y receptividad de su parte cobra prioridad por sobre la necesidad de garantizar la credibilidad externa de la información. Los sistemas considerados aquí se han valido de distintas estrategias para garantizar la imparcialidad de sus evaluaciones. Una estrategia utilizada por los tres sistemas de MyE que cuentan con componentes de evaluación consiste en encomendar la realización de los estudios de evaluación a instituciones o consultores externos, seleccionados a través de procesos abiertos de licitación pública. En el caso de las actividades de monitoreo, todos los sistemas han reservado al menos algunos de los pasos más sensibles del proceso para sus unidades coordinadoras, las que, en todos los casos, son independientes de las agencias y los programas cuyo desempeño se somete a evaluación. Estos pasos incluyen, en todos los casos: la decisión sobre qué actividades evaluar, las metodologías básicas de los sistemas y, a excepción del SGPR de Argentina, también el análisis de la información recabada y el veredicto final sobre el desempeño evaluado. Como se señaló anteriormente, en el caso del programa CCC del SGPR, el último paso del ciclo de monitoreo se desarrolla de forma conjunta entre la unidad coordinadora del sistema y las organizaciones evaluadas, mientras que en el caso de su componente SIG, se deja totalmente en manos de las propias agencias. A pesar de que las autoridades de todos los sistemas reconocen la importancia de auditar la información que reciben de las agencias y programas evaluados, no todos lo hacen de una manera sistemática. Por lo menos tres de ellos ― el SSFF de Argentina, el SINE de Costa Rica y el SEV de Uruguay ― no realizan este tipo de control de forma regular, mientras que aquellos que los desarrollan de manera más metódica ― por ejemplo, el SCG de Chile y el programa CCC del SGPR de Argentina ― lo hacen de un modo aleatorio. Uno de los objetivos declarados de la mayoría de estos sistemas de MyE es aumentar la transparencia y posibilitar una mejor la rendición de cuentas en el sector público. Sin embargo, en los ocho casos, el control de los sistemas se encuentra en manos de instituciones dependientes del Poder Ejecutivo. Del mismo modo, con excepción del SINE de Costa Rica, ninguno de ellos les otorga un rol a las Entidades Fiscalizadoras Superiores (EFS) independientes del Poder Ejecutivo 35 en alguna parte del proceso de MyE. La unidad coordinadora de SINERGIA, en Colombia, tiene planes de involucrar a organizaciones de la sociedad civil en el análisis y la difusión de los hallazgos del sistema. Uno de los objetivos de este plan es precisamente fortalecer la credibilidad del sistema. Presentación de la Información y Estrategias de Difusión La mera existencia y disponibilidad de información de MyE no garantiza que sus destinatarios la utilicen. Los sistemas considerados en este documento han tratado de facilitar y fomentar su uso de distintas maneras. Un enfoque consiste en adecuar el formato y el contenido de los informes de MyE a las necesidades específicas de cada tipo de usuario. Esto incluye la preparación de diferentes tipos de informes para diferentes públicos. Algunos de estos informes se centran en cada una de las agencias o los programas evaluados de manera individualizada, mientras que otros presentan la información en un solo documento con un nivel de detalle mucho menor. Otros aspectos de los informes de MyE que suelen ajustarse al tipo de destinatario son: la frecuencia con la que son emitidos, la complejidad del lenguaje con el que se redactan, y el formato. Es igualmente importante que las principales partes interesadas tengan conocimiento de la disponibilidad de esta información y puedan acceder a la misma con facilidad. Por ejemplo, en muchas agencias hay una falta de conocimiento generalizada de las metas y las evaluaciones de desempeño de la organización. Esto aparenta ser generalmente el resultado de fallas en la comunicación interna. Comúnmente, que este problema se vea agudizado por la concentración de todas las funciones relacionadas con el MyE en una sola unidad organizativa con poca llegada a las autoridades de la agencia. A fin de que los sistemas de MyE sirvan como un instrumento público de transparencia y rendición de cuentas, es importante que la información que producen tenga alta visibilidad pública y sea fácil de acceder. Los sistemas de MyE considerados en este documento utilizan el Internet como uno de sus canales de difusión primarios. El Internet ofrece la ventaja de facilitar el acceso a la información pero, como medio para lograr que el público tenga conocimiento de la existencia de esta información, es mucho menos efectivo. Por lo tanto, varios sistemas se valen también de otras estrategias de difusión. Por ejemplo, el programa CCC del SGPR de Argentina requiere que, además de la difusión de una versión abreviada de la información a través de su sitio web, las mismas agencias participantes publiciten sus metas y evaluaciones de desempeño, y considera los esfuerzos que las organizaciones realizan en este sentido como una de las dimensiones de su desempeño a evaluar. En Colombia, el Presidente y los miembros de su gabinete toman parte en un programa anual de televisión y en reuniones semanales desarrolladas en distintos puntos del país, en las que utilizan información de SINERGIA para responden a preguntas de los ciudadanos sobre los resultados de las políticas gubernamentales. Finalmente, tanto en Colombia como en Costa Rica, los hallazgos de MyE son también difundidos a través de conferencias de prensa. La mayoría de los sistemas ha tratado de fomentar el uso de la información de MyE y de lograr mejoras en su desempeño estableciendo mecanismos de incentivos institucionales o presupuestarios, pero pocos lo han logrado. En la mayoría de los casos, el incentivo principal para que las diferentes partes interesadas consideren y hagan uso de esta información es el hecho de que, en la actualidad, su desempeño está siendo medido y monitoreado, y los resultados de esas evaluaciones se difunden tanto dentro del gobierno como públicamente. 36 El sistema que ha logrado avanzar más en este aspecto es el SCG de Chile. Este sistema ha establecido una variedad de incentivos. Los mismos incluyen: el requerimiento de que las agencias responsables por los programas evaluados asuman un compromiso formal de implementar las recomendaciones que surgen de las evaluaciones; el seguimiento directo de su grado de cumplimiento con dichos compromisos y con las metas de desempeño previamente acordadas; y la institucionalización del uso de los hallazgos de MyE durante la preparación y la negociación del presupuesto. El contraste entre la experiencia del SCG de Chile y las de otros sistemas de MyE sugiere que el apoyo decidido de un patrocinador institucional poderoso ―como el que el SCG tiene en la DIPRES― puede ser fundamental no solamente para diseñar estos incentivos, sino también para poder ponerlos en práctica. Relación entre el MyE y el Ciclo Presupuestario Uno de los obstáculos más comunes para integrar los hallazgos del MyE en el proceso presupuestario es la falta de correspondencia entre la información sobre los resultados esperados de las agencias y sus programas, y la clasificación presupuestaria (la que se encuentra generalmente organizada por institución y objeto de gasto). Una forma de abordar esta falta de conexión es adoptando una clasificación presupuestaria basada en objetivos o programas, cosa que algunos de los países incluidos en esta muestra han hecho. En contraste, el presupuesto de Chile está mayormente organizado en base a una clasificación por objeto de gasto y por agencia. No obstante, los hallazgos del MyE del SCG parecen estar mucho más integrados al proceso presupuestario que los de los otros sistemas analizados en este documento. En alguna medida, esto ha sido posible gracias a que la mayor parte de la información sobre desempeño que produce el SCG se centra en el mismo nivel de agregación que el presupuesto (o sea, las agencias). Para los programas específicos que son evaluados, los evaluadores y los sectorialistas presupuestarios de la DIPRES realizan estimaciones ad-hoc. Otro factor importante ha sido el decidido apoyo que el SCG goza de parte de su poderoso patrocinador institucional, la DIPRES. Además de haber apoyado el desarrollo del sistema de manera continua, las autoridades de la DIPRES han dado señas, en forma clara y consistente, de su determinación por incorporar las consideraciones del MyE en la preparación del presupuesto. Estrategias de Implementación y Desarrollos Posteriores Con excepción del SSPG de Chile y el SEV de Uruguay, la implementación de los sistemas de MyE ha seguido un enfoque relativamente gradual. En general, la implementación se inició con una serie de experiencias piloto en un pequeño número de agencias, y sólo se extendió al resto de las agencias y los programas una vez que los procedimientos y las metodologías de MyE se consideraron lo suficientemente sólidos. Inicialmente, la participación en los sistemas de MyE fue voluntaria, y recién pasó a ser obligatoria al cabo de varios años. En todos los casos, la implementación de los sistemas de MyE contó con un importante esfuerzo de desarrollo de capacidades por parte de las unidades coordinadoras, que involucró la realización de actividades de capacitación, la prestación de asistencia técnica, y otras formas de apoyo continuo. En algunos casos, la conformación actual de los sistemas se parece mucho a su diseño original. Sin embargo, en otros casos, tiene muy poco en común con el plan original. Estas diferencias pueden haber sido producto de dos factores. Uno fue la evolución del contexto político de los sistemas, que generalmente involucró cambios en las prioridades del gobierno y en su nivel de apoyo político. El segundo factor fue la progresiva identificación de los aspectos del sistema que 37 funcionaban de la manera esperada y los que no. En algunos de los sistemas (por ejemplo, el SCG de Chile, SINERGIA de Colombia, y el SGPR de Argentina), este proceso de aprendizaje se vio apoyado por la realización periódica de estudios de diagnóstico, encomendados a expertos externos o desarrollados internamente. Marco legal Los sistemas de MyE y sus diversos componentes fueron establecidos a través de una variedad de instrumentos legales. En algunos de ellos, hubo una decisión explicita de valerse, en una primera instancia, de instrumentos legales relativamente maleables (decretos, protocolos de acuerdos entre el Ejecutivo y el Congreso, aprobación anual a través de la ley nacional de presupuesto). Su institucionalización a través de leyes se dejó para más adelante, de manera tal de dar tiempo para que sus metodologías y procedimientos alcanzaran antes un cierto grado de madurez. En general, los marcos legales de los sistemas definen sus objetivos y funciones, las responsabilidades de las diversas partes involucradas en el proceso y, en muchos casos, también los tipos de actividades de MyE que deben ser llevados a cabo. Pero todos dejan la definición de los procedimientos y las metodologías específicas de los sistemas en manos de las instituciones centrales del gobierno responsables por cada sistema. 38 Anexo Lista de Personas Entrevistadas o Consultadas Argentina Sistema de Seguimiento Físico-Financiero (SSFF) de la Oficina Nacional de Presupuesto Nombre Cargo Medio de Comunicación Fecha Diana Boeykens Directora, Dirección de Entrevista personal Agosto 2004 Evaluación Presupuestaria, ONP Por correo electrónico Junio 2005 y Feb 2006 Marcos Makón Ex Subsecretario de Presupuesto Entrevista personal Dic 2003 y Ene (en funciones al momento de la 2004 creación del SSFF) Roberto Martirene Ex Director Nacional de Entrevista personal Ago 2004 y Set Presupuesto 2004 Miguel Ángel Ex Director Nacional de Entrevista personal Set 2004 Bolívar Presupuesto Juan Pablo Becerra Ex consultor, SSFF, Dirección de Entrevista personal Set 2004 Evaluación Presupuestaria, ONP Por correo electrónico Set 2005 Sistema de Información, Monitoreo y Evaluación de Programas Sociales (SIEMPRO) Nombre Cargo Medio de Comunicación Fecha Beatriz Coordinadora general, SIEMPRO Por correo electrónico Junio 2005 Toutoundjian Nerio Neirotti Ex Gerente de Monitoreo y Entrevista personal Ene 2003 Evaluación, SIEMPRO Mabel Ariño Investigadora Senior, SIEMPRO Entrevista personal Ene 2003 Miriam Sebban Miembro del staff, SIEMPRO Entrevista telefónica Ene 2004 Gabriel Martínez Consultor, SIEMPRO Entrevista personal Set 2004 Por correo electrónico Feb 2006 Sistema de Gestión por Resultados (SGPR) Nombre Cargo Medio de Comunicación Fecha Marcos Makón Ex secretario de Modernización Entrevista personal Dic 2003 y Ene (en funciones en el momento en 2004 que los componentes del SGPR fueron lanzados) Carmen Sycz Directora, Oficina Nacional de Entrevista personal Ene 2003 y Set Innovación de la Gestión Pública, 2004 Subsecretaría de la Gestión Por correo electrónico Set 2005 y Feb Pública, Jefatura de Gabinete de 2006 Ministros Eduardo Halliburton Coordinador General, programa Entrevista personal Dic 2003 CCC 39 Chile Sistema de Control de Gestión (SCG) Nombre Cargo Medio de Comunicación Fecha Marcela Guzmán Directora, División de Control Entrevista telefónica Dic 2004 y de Gestión, DIPRES Feb 2005 Entrevista personal Junio 2005 Entrevista telefónica Feb 2006 Luna Israel Miembro del staff, División de Por correo electrónico (*) Oct 2004 Control de Gestión, DIPRES (*) Consulta realizada en el marco de un proyecto para el sitio web del “Sistema Integrado y Analítico de Información sobre Reforma del Estado, Gestión y Políticas Públicas” (SIARE) del Centro Latinoamericano de Administración para el Desarrollo (CLAD) (www.clad.org.ve/siare/) Sistema de Seguimiento de la Programación Gubernamental (SSPG) Nombre Cargo Medio de Comunicación Fecha Francisco Morales Miembro del staff, División de Por correo electrónico (*) Oct 2004 Coordinación Interministerial, SEGPRES (*) Consulta realizada en el marco de un proyecto para el sitio web del “Sistema Integrado y Analítico de Información sobre Reforma del Estado, Gestión y Políticas Públicas” (SIARE) del Centro Latinoamericano de Administración para el Desarrollo (CLAD) (www.clad.org.ve/siare/) Colombia Sistema Nacional de Evaluación de Resultados de la Gestión Pública (SINERGIA) Nombre Cargo Medio de Comunicación Fecha Manuel Fernando Director, Dirección de Entrevista telefónica Oct 2004(*) y Castro Evaluación de Políticas May 2005 Públicas, Departamento de Nacional Planeación Ana María Fernández Consultora, Dirección de Entrevista telefónica Mar 2006 Evaluación de Políticas Públicas, Departamento de Nacional Planeación (*) Consulta realizada en el marco de un proyecto para el sitio web del “Sistema Integrado y Analítico de Información sobre Reforma del Estado, Gestión y Políticas Públicas” (SIARE) del Centro Latinoamericano de Administración para el Desarrollo (CLAD) (www.clad.org.ve/siare/) Costa Rica Sistema Nacional de Evaluación (SINE) Nombre Cargo Medio de Comunicación Fecha Florita Azofeifa Coordinadora, Area Evaluación Por correo electrónico (*) Oct 2004 Monge y Seguimiento, MIDEPLAN José A. Calvo Coordinador, Area Evaluación Por correo electrónico Junio 2005 y y Seguimiento, MIDEPLAN Feb 2006 (*) Consulta realizada en el marco de un proyecto para el sitio web del “Sistema Integrado y Analítico de Información sobre Reforma del Estado, Gestión y Políticas Públicas” (SIARE) del Centro Latinoamericano de Administración para el Desarrollo (CLAD) (www.clad.org.ve/siare/) 40 Uruguay Sistema de Evaluación de la Gestión Pública (SEV) Nombre Cargo Medio de Comunicación Fecha Elizabeth Nuesch Coordinadora, Area de Gestión Por correo electrónico Oct 2004(*), Pública, CEPRE, OPP Mayo 2005 y Feb 2006 (*) Consulta realizada en el marco de un proyecto para el sitio web del “Sistema Integrado y Analítico de Información sobre Reforma del Estado, Gestión y Políticas Públicas” (SIARE) del Centro Latinoamericano de Administración para el Desarrollo (CLAD) (www.clad.org.ve/siare/) . 41 BIBLIOGRAFIA Armijo, M. (2003): ‘La Evaluación de la Gestión Pública en Chile’. En Cunill Grau, N. y Ospina Bozzi, S. (eds.) Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas. Babino, L. G. y Sotelo, A. J. (2003): ‘A Diez Años de la Reforma de la Administración Financiera Gubernamental en la Argentina. Análisis y Reflexiones’. En Revista Internacional de Presupuesto Público, No.53 (Noviembre - Diciembre). Asociación Internacional de Presupuesto Público (ASIP). Banco Mundial (1997): Colombia: Paving the Way for a Results-Oriented Public Sector. Report No. 15300-CO, Country Operations Division I, Country Department III, Latin America and Caribbean Region. Washington D.C. _____ (2005): Chile: Study of Evaluation Program. Impact Evaluations and Evaluations of Government Programs. Final Report, Executive Summary. The World Bank: Washington, D.C. _____ y Banco Interamericano de Desarrollo (2006): Hacia la Institucionalización de los Sistemas de Monitoreo y Evaluación en América Latina y el Caribe. Actas de una Conferencia del Banco Mundial /Banco Interamericano de Desarrollo: Washington DC. Becerra, J. P. (2003): ‘Mecanismos de Seguimiento y Evaluación Presupuestaria’. Municipalidad de Florencio Varela - Fundación Capital (mimeo). Braceli, O. (1998): Los Límites a la Evaluación de Políticas Públicas. El Presupuesto y la Cuenta de Inversión Nacional. Serie Cuadernos 260, Facultad de Ciencias Económicas de la Universidad Nacional de Cuyo, Mendoza. Chelimsky, E. (1985): ‘Old Patterns and New Directions in Program Evaluation’. En Chelimsky, E. (ed.) Program Evaluation: Patterns and Directions. The American Society of Public Administration, Washington, D.C. _____ (1997): ‘The Coming Transformations in Evaluation’. En Chelimsky, E. and Shadish, W.R. (eds.): Evaluation for the 21st Century: A Handbook. Sage Publications, Thousand Oaks. Consejo Nacional de Política Económica y Social (2004): Renovación de la Administración Pública: Gestión por Resultados y Reforma del Sistema Nacional de Evaluación. Documento CONPES 3294. Presidencia de la República: Alta Consejería Presidencial. Versión aprobada. Bogotá. Contaduría General de la Nación (2002): Cuenta de Inversión 2002. Subsecretaría de Presupuesto, Secretaría de Hacienda, Ministerio de Economía, Buenos Aires. Cunill Grau, N. y Ospina Bozzi, S. (eds.) (2003): Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas. Departamento Nacional de Planeación - DEE (1997): ‘Grupos Focales: Evaluación Herramienta Plan Indicativo. Informe Global’. Santa Fe de Bogotá. 42 Dirección de Calidad de Servicios y Evaluación de Gestión (2002a): Aportes para una Gestión por Resultados. Estándares e Indicadores de Servicios. Programa Carta Compromiso con el Ciudadano, Subsecretaría de la Gestión Pública, Jefatura de Gabinete de Ministros, Buenos Aires. _____ (2002b): Participación Ciudadana en la Administración Pública. Oficina Nacional de Innovación de Gestión, Subsecretaría de la Gestión Pública, Jefatura de Gabinete de Ministros, Buenos Aires. Dirección de Planeamiento y Reingeniería Organizacional (2002): ‘El Sistema de Gestión por Resultados: Documento conceptual’. Oficina Nacional de Innovación de Gestión, Subsecretaría de Gestión Pública, Buenos Aires (documento interno). Dirección de Presupuestos (2004): ‘Encuesta Resultados Intermedios/Finales ― Evaluación de Programas’. Ministerio de Hacienda (mimeo). Santiago _____ (2005): Aplicación de Instrumentos de Evaluación de Desempeño: La Experiencia Chilena. Ministerio de Hacienda, Santiago. División de Control de Gestión (2004): ‘Programa de Evaluación. Cálculo de Indicador “Porcentaje de Presupuesto Evaluado en Relación al Presupuesto Evaluable”’. Dirección de Presupuestos, Ministerio de Hacienda, Santiago. _____ (2005): ‘Implicancias de las Evaluaciones y sus Efectos Presupuestarios, Años 2000 - 2004’. Documento de Trabajo. Dirección de Presupuestos, Ministerio de Hacienda, Santiago. Estévez, A. M. y Blutman, G. E. (2004): ‘El Modelo Burocrático Inacabado Después de las Reformas de los 90: ¿Funcionarios, Gerentes o Sobrevivientes?’ En Revista Venezolana de Gerencia, Vol.9 No.25, Maracaibo. Fonseca Sibaja, A. (2001): ‘El Sistema Nacional de Evaluación: Un Instrumento para la Toma de Decisiones del Gobierno de Costa Rica’. XV Concurso de Ensayos del CLAD “Seguimiento y Evaluación del Desempeño Gubernamental”, Tercer Premio. Caracas, Venezuela. Freijido, E. (2003): ‘El Sistema de Evaluación de la Gestión Pública por Resultados en Uruguay’. En Cunill Grau, N. y Ospina Bozzi, S. (eds.) Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas. Grupo de Trabajo Interministerial (1998): ‘Institucionalidad para un Sistema Integrado de Evaluación de Intervenciones Públicas’. Ministerio de Hacienda, Segpres, Mideplan. Informe Final (mimeo), Santiago. Guerrero, R.P. (1999): Comparative Insights from Colombia, China and Indonesia. Operations Evaluation Department ECD working paper no.5. Operations Evaluation Department, The World Bank, Washington, D.C. Guzmán, M. (2003): Systems of Management Control and Results-Based Budgeting: The Chilean Experience. División de Control de Gestión, Dirección de Presupuestos, Ministerio de Hacienda, Santiago. _____ (2005): Sistema de Control de Gestión y Presupuestos por Resultados: La Experiencia Chilena. División de Seguimiento de Gestión, Dirección de Presupuestos, Ministerio de Hacienda, Santiago. 43 Halliburton, E. y Baxendale, P. (2001): Programa Carta Compromiso con el Ciudadano: Guía para su Implementación. Subsecretaría de la Función Pública. Oficina Nacional de Innovación de la Gestión, Buenos Aires. _____, R.; Fiszelew, R., Alfaro, M. I.; y Petrizza, E. (2002): Participación Ciudadana en la Administración Pública. Dirección de Calidad de Servicios y Evaluación de Gestión. Oficina Nacional de Innovación de Gestión, Buenos Aires. _____ y Guerrero, G. (2002): Aportes para una Gestión por Resultados. Estándares e Indicadores de Servicios. Programa Carta Compromiso con el Ciudadano. Dirección Nacional de Calidad de Servicios y Evaluación de Gestión. Subsecretaría de la Gestión Pública, Buenos Aires. Hardy, C. (2000): Redefinición de las Políticas Sociales y su Relación con la Gestión de los Programas. Proyecto de Reforma del Estado: Experiencias y Desafíos en América Latina. Estudio de Caso No.11 (Informe Final). Centro de Análisis de Políticas Públicas, Universidad de Chile ― Banco Interamericano de Desarrollo. Hatry, H.P. (1997): ‘Where the Rubber Meets the Road: Performance Measurement for State and Local Public Agencies’. En Newcomer, K.E. (ed.): Using Performance Measurement to Improve Public and Non-profit Programs. Jossey-Bass Publishers, San Francisco. Joyce, P.G. and Sieg, S. (2000): ‘Using Performance Information for Budgeting: Clarifying the Framework and Investigating Recent State Experience’. Preparado para el Simposio 2000 del Center for Accountability and Performance of the American Society for Public Administration, realizado en George Washington University, Washington, D.C. Llosas, H. y Oliver, H. (2003): ‘La Cultura de la Evaluación en la Ley Argentina de Administración Financiera. El Caso de la Prefectura Naval Argentina’. Departamento de Economía, Universidad Católica Argentina, Buenos Aires. Mackay, K. (2006): Institutionalization of Monitoring and Evaluation Systems to Improve Public Sector Management. Independent Evaluation Group ECD. Working Paper no.15. The World Bank, Washington, D.C. Makón, M.P. (2000): ‘El Modelo de Gestión por Resultados en los Organismos de la Administración Nacional’. Documento presentado en el V Congreso Internacional sobre la Reforma del Estado y de la Administración Pública, Santo Domingo. Mokate, K. (2000): ‘El Seguimiento y la Evaluación: Herramientas Indispensables de la Gerencia Social’. Diseño y Gerencia de Políticas Sociales. Banco Interamericano de Desarrollo. Instituto Interamericano para el Desarrollo Social (mimeo). Mora Quirós, M. (2003): ‘El Sistema Nacional de Evaluación de Costa Rica’. En Cunill Grau, N. y Ospina Bozzi, S. (eds.) Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas. Muñoz G., M. (2005): ‘Evaluación de Resultados en Chile: El Sistema de Seguimiento de la Programación Gubernamental’ [http://www.clad.org.ve/siare/innotend/evaluacion/chile/chile.pdf (accedido el 4 de octubre de 2005)]. 44 Neirotti, N. (2000): ‘Reflexiones sobre la Práctica de la Evaluación de Programas Sociales en Argentina (1995 - 1999)’. Documento presentado en el V Congreso Internacional sobre la Reforma del Estado y de la Administración Pública, Santo Domingo. _____ (2001): ‘La Función de Evaluación de Programas Sociales en Chile, Brasil y Argentina’. Documento presentado en el VI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Buenos Aires. Newcomer, K.E. (1997): ‘Using Performance Measurement to Improve Programs’. En Newcomer, K.E. (ed.) Using Performance Measurement to Improve Public and Nonprofit Programs. Jossey-Bass Publishers, San Francisco. Organisation for Economic Co-operation and Development (1998): Best Practice Guidelines for Evaluation. PUMA Policy Brief no. 5. OECD, Paris. _____ (2004): Budgeting in Chile. GOV/PGC/SBO (2004)7. 25th Annual Meeting of Senior Budget Officials, Madrid. Oficina Nacional de Innovación de Gestión (2001): Programa Carta Compromiso con el Ciudadano: Guía para su Implementación. Secretaría para la Modernización del Estado, Buenos Aires. Ospina Bozzi, S. (2001): ‘Evaluación de la Gestión Pública: Conceptos y Aplicaciones en el Caso Latinoamericano’. En Revista del CLAD Reforma y Democracia. No. 19 (Febrero), Caracas. _____, Cunill Grau, N. and Zaltsman, A. (2004): ‘Performance Evaluation, Public Management Reform and Democratic Accountability: Some Lessons from Latin America’. En Public Management Review, Vol. 6 No. 2. ____ y Ochoa, D. (2003): “El Sistema Nacional de Evaluación de Resultados de la Gestión Pública (SINERGIA) de Colombia”. En Cunill Grau, N. y Ospina Bozzi, S. (eds.) Evaluación de Resultados para una Gestión Pública Moderna y Democrática: Experiencias Latinoamericanas. CLAD, AECI/MAP/FIIAPP, Caracas. Petrei, H. (1998): Budget and Monitoring: Reforming the Public Sector in Latin America. Banco Interamericano de Desarrollo, Washington, D.C. Ramírez Alujas, A. (2001): Modernización de la Gestión Pública: El Caso Chileno (1994 - 2000). Universidad de Chile, Facultad de Ciencias Físicas y Matemáticas, Departamento de Ingeniería Industrial. Estudio de Caso Nº 58. Santiago. _____ (2002): ‘Innovación en la Gestión Pública: Lecciones, Aprendizajes y Reflexiones a Partir de la Experiencia Chilena’. Documento presentado en el VII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Lisboa. Razzotti, A. (2003): Estudio de Caso: El Proyecto Cristal (Argentina). Documento Escrito para PREM Grupo del Sector Público, Banco Mundial, en el contexto del Proyecto “Aplicaciones por Internet (E-Applications): Retos que supera el Gobierno" (mimeo). Rinne, J. (2003): ‘The Politics of Administrative Reform in Menem’s Argentina: The Illusion of Isolation’. En Ross Schneider, B. and Heredia, B. (eds.) Reinventing Leviathan: The Politics of Administrative Reform in Developing Countries. North-South Center Press, University of Miami. 45 Rodríguez Larreta, H. y Repetto, F. (2000): Herramientas para una Administración Pública más Eficiente: Gestión por Resultados y Seguimiento Social. Fundación Gobierno y Sociedad, Documento 39, Buenos Aires. Rossi, P.H. and Freeman, H.E. (1993): Evaluation: A Systemic Approach. Sage Publications, Newbury Park, California. SIEMPRO (sin fecha): ‘El Seguimiento Estratégico de los Programas Sociales Nacionales ― SIM. Propuesta Metodológica’. Buenos Aires. SINERGIA (2004a): Programa Familias en Acción: Condiciones Iniciales de los Beneficiarios e Impactos Preliminares. Evaluación de Políticas Públicas No.1, Departamento Nacional de Evaluación, Colombia. _____ (2004b): Programa Empleo en Acción: Condiciones Iniciales de los Beneficiarios e Impactos de Corto Plazo. Evaluación de Políticas Públicas No.2, Departamento Nacional de Evaluación, Colombia. _____ (2004c): Red de Apoyo Social: Conceptualización y Evaluación de Impacto. Evaluación de Políticas Públicas No.3, Departamento Nacional de Evaluación, Colombia. Subsecretaría de la Gestión Pública (2003a): Informe de Gestión 2002-2003. Jefatura de Gabinete de Ministros, Buenos Aires. _____ (2003b): ‘Síntesis de la Evaluación del Programa Carta Compromiso con el Ciudadano’. Unidad Coordinadora del Programa, Dirección de Calidad de Servicios y Evaluación de Gestión, Oficina Nacional de Innovación de Gestión, Subsecretaría de la Gestión Pública, Buenos Aires. Subsecretaría de Presupuesto (sin fecha): El Sistema Presupuestario Público en la Argentina. Secretaría de Hacienda, Ministerio de Economía y Obras y Servicios Públicos, Buenos Aires. U.S. General Accounting Office (1998): Performance Measurement and Evaluation. Definitions and Relationships. GAO/GGD-98-26, Washington, D.C. Wholey, J.S. and Newcomer, K.E. (1997): ‘Clarifying Goals, Reporting Results’. En Newcomer, K.E. (ed.): Using Performance Measurement to Improve Public and Nonprofit Programs. Jossey- Bass Publishers: San Francisco. Zaltsman, A. (2004):‘La Evaluación de Resultados en el Sector Público Argentino: Un Análisis a la Luz de Otras Experiencias en América Latina’. En Revista del CLAD Reforma y Democracia, No.29. _____ (2006): ‘Credibilidad y Utilidad de los Sistemas de Seguimiento y Evaluación para la Toma de Decisiones: Reflexiones en Base a Experiencias Latinoamericanas.’ En Vera, M. (ed.): Evaluación para el Desarrollo Social: Aportes para un Debate Abierto en América Latina. Instituto Interamericano para el Desarrollo Social, Banco Interamericano de Desarrollo. Magnaterra Editores, Ciudad de Guatemala. 46 FUENTES DE INTERNET Todos los países: http://www.clad.org.ve/siare/innotend/innotend.html Argentina: http://www.mecon.gov.ar/hacienda/ http://www.sgp.gov.ar/CartaCom.htm http://www.siempro.gov.ar/ Chile: http://www.dipres.cl/monitoring http://www.segpres.cl/temas/coordinacion/fchCompromiso3.asp Colombia: http://www.dnp.gov.co http://www.presidencia.gov.co Costa Rica: http://www.mideplan.go.cr Uruguay: http://www.cepre.opp.gub.uy 47 48 Otros Documentos de esta Serie #1: Keith Mackay. 1998. Lessons from National Experience. #2: Stephen Brushett. 1998. Zimbabwe: Issues and Opportunities. #3: Alain Barberie. 1998. Indonesia’s National Evaluation System. #4: Keith Mackay. 1998. The Development of Australia’s Evaluation System. #5: R. Pablo Guerrero O. 1999. Comparative Insights from Colombia, China and Indonesia. #6: Keith Mackay. 1999. Evaluation Capacity Development: A Diagnostic Guide and Action Framework. (Fortalecimiento de la Capacidad de Evaluación: Guía para el Diagnóstico y Marco para la Acción.) #7: Mark Schacter. 2000. Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance. #8: Arild Hauge. 2001. Strengthening Capacity for Monitoring and Evaluation in Uganda: A Results Based Management Perspective. (Fortalecimiento de las Capacidades de Seguimiento y Evaluación en Uganda: Una Perspectiva de Gestión Basada en los Resultados.) #9: Marie-Hélène Adrien. 2003. Guide to Conducting Reviews of Organizations Supplying M&E Training. #10: Arild Hauge. 2003. The Development of Monitoring and Evaluation Capacities to Improve Government Performance in Uganda. (Desarrollo de la Capacidad de Seguimiento y Evaluación para Mejorar el Desempeño del Estado en Uganda.) #11: Keith Mackay. 2004. Two Generations of Performance Evaluation and Management System in Australia. #12: Adikeshavalu Ravindra. 2004. An Assessment of the Impact of Bangalore Citizen Report Cards on the Performance of Public Agencies. #13: Salvatore Schiavo-Campo. 2005. Building Country Capacity for Monitoring and Evaluation in the Public Sector: Selected Lessons of International Experience. #14: Richard Boyle. 2005. Evaluation Capacity Development in the Republic of Ireland. #15: Keith Mackay. 2006. Institutionalization of Monitoring and Evaluation Systems to Improve Public Sector Management. (Institucionalización de los Sistemas de Seguimiento y Evaluación para Mejorar la Gestión del Sector Público.) 49 Otras Lecturas Recomendadas Operations Evaluation Department (OED). 2004. Evaluation Capacity Development: OED Self-Evaluation. OED. 2002. Annual Report on Evaluation Capacity Development. OED. 2004. Influential Evaluations: Evaluations that Improved Performance and Impacts of Development Programs. (Evaluaciones Influyentes: Evaluaciones que Mejoraron el Desempeño y los Impactos de los Programas de Desarrollo.) OED. 2005. Influential Evaluations: Detailed Case Studies. OED. 2004. Monitoring and Evaluation: Some Tools, Methods and Approaches. (Seguimiento y Evaluación: Algunas Herramientas, Métodos y Enfoques.) 2da Edición. Independent Evaluation Group (Grupo de Evaluación Independiente). 2006. Conducting Quality Impact Evaluations Under Budget, Time and Data Constraints. (Realización de Evaluaciones de Impacto de Calidad con Limitaciones de Presupuesto, Tiempo y Información.) Development Bank of Southern Africa, African Development Bank and The World Bank. 2000. Developing African Capacity for Monitoring and Evaluation. K. Mackay and S. Gariba (eds.) 2000. The Role of Civil Society in Assessing Public Sector Performance in Ghana. OED. Other relevant publications can be downloaded from IEG’s ECD Website (Otras publicaciones relevantes pueden ser descargadas de la web DCE IEG): >http://www.worldbank.org/ieg/ecd/< 50