¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación de la política en México | 2001-2016 Francisco Cabrera Juan Bedoya Marcela Silveyra Mónica Yáñez Agradecimientos Los autores agradecen enormemente al Mtro. Pedro Velasco Sodi, Secretario Técnico del Consejo Directivo Nacional La Escuela al Centro, al equipo técnico de la Dirección General de Desarrollo de la Gestión Educativa, y a Rafael de Hoyos, Economista Principal en Educación del Banco Mundial para América Latina, por su apoyo para realizar la evaluación de impacto del Programa Escuelas de Calidad. La preparación de esta síntesis no habría sido posible sin el acceso a los datos que nos facilitaron y los valiosos insumos técnicos que nos proporcionaron que enriquecieron significativamente el contenido de esta evaluación. AUTORES: Francisco Cabrera Consultor en la Práctica Global de Educación del Banco Mundial en la Unidad para América Latina. fcabrerahz@gmail.com Juan Bedoya Consultor del Banco Mundial, Universidad de Los Andes de Colombia, jg.bedoya10@uniandes.edu.co Marcela Silveyra Analista en la Práctica Global de Educación del Banco Mundial en la Unidad para América Latina; msilveyra@worldbank.org Mónica Yáñez Economista en la Práctica Global de Educación del Banco Mundial en la Unidad para América Latina, myanezpagans@worldbank.org © 2018 Banco Internacional de Reconstrucción y Fomento/Banco Mundial 1818 H Street NW, Washington, DC 20433, U.S.A. www.worldbank.org Algunos derechos reservados. Traducciones—En caso de traducirse la presente obra, la cita de la fuente deberá ir 1 2 3 4 21 20 19 18 acompañada de la siguiente nota de exención de responsabilidad: La presente traducción no es obra del Banco Mundial, y no deberá considerarse traducción oficial de dicho organismo. El Esta obra ha sido realizada por el personal del Banco Mundial con contribuciones externas. Banco Mundial no responde por el contenido ni los errores de la traducción. Las opiniones, interpretaciones y conclusiones aquí expresadas no son necesariamente re- flejo de la opinión del Banco Mundial, de su Directorio Ejecutivo, ni de los países represen- Adaptaciones—En caso de adaptación de la presente obra, la cita de la fuente deberá ir tados por éste. El Banco Mundial no garantiza la veracidad de los datos que figuran en esta acompañada de la siguiente nota de exención de responsabilidad: Esta es una adaptación de publicación. un documento original del Banco Mundial. Las opiniones expresadas en esta adaptación son responsabilidad exclusiva del autor o autores y no son avaladas por el Banco Mundial. Las fronteras, los colores, las denominaciones y demás datos que aparecen en los mapas de este documento no implican juicio alguno, por parte del Banco Mundial, sobre la condición Contenido de propiedad de terceras personas—Téngase presente que el Banco Mundial jurídica de ninguno de los territorios, ni la aprobación o aceptación de tales fronteras. no necesariamente es propietario de todos los componentes de esta obra, por lo que no garantiza que el uso de alguno de sus componentes o de partes pertenecientes a terceros no Nada de lo establecido en este documento constituirá o se considerará una limitación viole derechos de esos terceros. El riesgo de reclamación derivado de dicha violación correrá o renuncia a los privilegios e inmunidades del Banco Mundial, los cuales se reservan por exclusiva cuenta del usuario. Si se desea reutilizar algún componente de este documento, específicamente en su totalidad. es responsabilidad del usuario determinar si debe solicitar autorización y obtener dicho permiso del propietario de los derechos de autor. Como ejemplos de componentes se pueden Derechos y autorizaciones mencionar, entre otros, los cuadros, los gráficos y las imágenes, entre otros. Cita de la fuente—La obra debe citarse de la siguiente manera: 2018. Silveyra, Marcela. ¿Qué Toda consulta sobre derechos y licencias deberá enviarse al Oficial Sénior de Comunicaciones impacto tiene el Programa Escuelas de Tiempo Completo en los estudiantes de educación de la Oficina del Banco Mundial para México, al correo: bmmexico@worldbank.org. básica?: Evaluación del programa en México 2007-2016 / Mónica Yáñez y Juan Bedoya. — Documento del Banco Mundial. Diseño: www.sonideas.com / Alejandro Espinosa Introducción L a autonomía de la gestión escolar se ha instrumentado desde hace tres décadas como política para el mejoramiento de la calidad de la educación tanto en los países desarro- llados como aquellos en vía de desarrollo. Esta política parte de la idea de que transmitir la responsabilidad de las decisiones escolares a la comunidad educativa (i.e. director, maestros, padres de familia, entre otros) permite mejorar la toma de decisiones ya que esta conoce sus desafíos y necesidades mejor que la autoridad educativa federal o las autoridades educativas estatales. Este conocimiento más claro de los desafíos y las necesidades de la escuela, junto con el mayor involucramiento de la comunidad educativa en la toma de decisiones y rendición de cuentas, permite hacer un uso más eficiente de los recursos existentes para poder mejorar la calidad educativa. La evidencia internacional sugiere que la autonomía escolar se traducirá en una mejora en la calidad de los servicios siempre y cuando la comunidad educativa cuente con un mínimo de capacidad técnica o de autogestión que le permita realizar sus planeaciones estratégicas usando lineamientos de transparencia y rendición de cuentas. En México, el Programa Escuelas de Calidad (PEC) inició en el año 2001 como una iniciativa de fortalecimiento de la gestión escolar para mejorar los aprendizajes de los estudiantes benefi- ciando a poco más de 153,900 escuelas de educación básica. El PEC existió por quince años hasta que evoluciona para convertirse en una política que se instrumenta a través de varios programas, entre ellos el Programa de la Reforma Educativa y el Programa Escuelas de Tiempo Completo. Esta síntesis presenta los resultados de una evaluación de impacto del PEC desde su creación en 2001 al 2016. Los resultados se presentan en forma separada para las escuelas primarias y secundarias. Los resultados muestran que el PEC no tiene efectos sobre los aprendizajes de los estudiantes de primaria medidos a través de la prueba estandarizada de PLANEA. Sin embargo, el PEC reduce el porcentaje de estudiantes de secundaria que se ubica en el nivel más bajo de esta prueba y su impacto es muy similar en magnitud entre los estudiantes de las escuelas de alta y baja marginación. El PEC también incrementa el porcentaje de estudiantes de secundaria que se ubica en el nivel más alto de PLANEA, pero solo entre los estudiantes de escuelas de alta marginación. ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 3 Con relación a otros indicadores educativos intermedios, los resultados muestran que el PEC reduce la reprobación y el rezago grave en primaria, pero sólo en las escuelas ubicadas en los municipios de baja marginación. Entre las escuelas primarias ubicadas en los municipios de alta marginación, el PEC parece incrementar el rezago grave. Esto podría deberse, por ejemplo, a que la composición de los estudiantes en las escuelas en los municipios de alta marginación está cambiando como resultados de su participación en el PEC – el programa permitiría man- tener a los estudiantes más rezagados por más tiempo dentro del sistema escolar que de otra manera ya no serían parte del grupo de estudiantes de la escuela. Por otro lado, el PEC reduce el rezago grave entre los estudiantes ubicados en los municipios con más baja marginación, pero parece contribuir a incrementar el rezago grave entre las escuelas en los municipios de alta marginación. Esto nuevamente podría deberse a que el PEC permitiría mantener a los estudian- tes más rezagados por más tiempo dentro del sistema escolar. Con relación a la repetición en secundaria, el PEC reduce este indicador, pero solamente entre los estudiantes de las escuelas ubicadas en municipios de baja marginación. Finalmente, los resultados obtenidos sugieren que el PEC no tiene efectos dinámicos en el tiem- po, es decir, que los efectos se han mantenido para las escuelas que llevan varios ciclos escolares participando en el programa y no cambian con base en el tiempo de exposición al programa. ¿Qué sabemos sobre los impactos de aumentar la autonomía escolar en México y a nivel internacional? En las últimas tres décadas, un número creciente de países ha adoptado el modelo de gestión centrado en la escuela como un medio para mejorar los aprendizajes. Algunos ejemplos intere- santes incluyen las Escuelas Subvencionadas en los Estados Unidos de América, las Academias en el Reino Unido, y las Escuelas Libres de Suecia. En América Latina, experiencias interesantes incluyen el programa EDUCO en El Salvador y el Programa Escuelas de Calidad (PEC) en México. La característica en común de estos programas es que transmiten, en mayor o menor medida, la responsabilidad de las decisiones escolares a los miembros de la comunidad educativa. La evidencia internacional a favor del modelo de gestión centrado en la escuela dice que éste per- mite una mejor toma de decisiones ya que son las comunidades educativas las que conocen mejor sobre sus desafíos y necesidades (e.g. Bruns, Filmer y Patrinos, 2011). Por otro lado, existen también argumentos en contra de los modelos de gestión centrada en la escuela, los cuales principalmente sugieren que una mayor autonomía escolar podría desviar a las escuelas de sus objetivos educativos. Esto, combinado con la falta de capacidades de gestión para la toma de decisiones en contextos socialmente desaventajados, puede degradar la calidad del proceso de enseñanza y aprendizaje y aumentar la brecha entre las escuelas de acuerdo con sus con- diciones de partida (e.g. Galiani and Schargrodsky 2008; Reimers y Cárdenas, 2007; Hanushek, Link y Woessman 2013). Los impactos de los modelos de gestión centrados en la escuela sobre indicadores educativos no son fáciles de estudiar ya que frecuentemente estos son implementados como parte de un paquete de intervenciones que incluyen entrenamiento y recursos financieros, por lo que es difícil cuantificar e identificar su efecto. Asimismo, a pesar de que la correlación entre diversos componentes de los modelos de gestión centrados en la escuela y los resultados educativos ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 4 han sido estudiados anteriormente, la evidencia experimental en esta área es extremadamente escasa (e.g. Fryer, 2017). No obstante, existen investigaciones cuasiexperimentales que han per- mitido aprender sobre los efectos de este tipo de intervenciones sobre los aprendizajes. Los estudios cuasiexperimentales en los países de ingreso alto sugieren que los resultados de los programas de gestión centrados en la escuela no son inmediatos y que los resultados sobre los aprendizajes tardan entre cinco y ocho años en poderse observar (Bruns, Filmer y Patrinos, 2011). Sin embargo, la evidencia para los países de ingreso medio muestra un impacto positivo de estas intervenciones sobre los aprendizajes en el corto plazo (para Kenia ver Duflo, Dupas, y Kremer, 2011; para El Salvador ver Sawada and Ragatz, 2005; para Nicaragua ver King y Özler 1998; para Argentina ver Galiani and Schargrodsky 2008; para México ver López-Calva y Espino- sa, 2006, y Cabrera y Pérez-Campuzano, 2016; para Colombia ver García y Harker, 2016; para Chi- le ver un resumen en Weinsten y Villalobos 2016). Adicionalmente, se han encontrado efectos positivos de estos programas para reducir la repetición y la reprobación y, en menor medida, el abandono escolar en Honduras (di Gropello y Marshall, 2005), El Salvador (Jimenez y Sawada, 2013), Brasil (Paes de Barros and Mendonça, 1998). Para México, el modelo de gestión centrado en la escuela impulsado por el PEC ha sido uno de los más evaluados en forma cuasiexperimental. Skoufias y Shapiro (2006) encuentran que, entre 2001 y 2004, el PEC redujo en forma modesta el abandono en 0.24 puntos porcentuales (p.p.), la reprobación en 0.24 p.p. y la repetición en 0.31 p.p. Murnane, et. al. (2006) estudian los siete pri- meros años de implementación del PEC y encuentran que, después de tres años de participación en el programa, las escuelas reducen la deserción escolar en 6%. Gertler et. al. (2012) analizan el periodo de implementación del PEC entre 2006 y 2009 y encuentran que a raíz de la participación en este programa los estudiantes de tercer grado de primaria de las rurales del estado de Colima mejoran en promedio hasta 16 puntos en la prueba ENLACE. Cabrera y Pérez-Campuzano (2016) analizan el periodo entre 2008 y 2013 y encuentran que, después de cinco años de participación en el programa, las escuelas PEC presentan en promedio mejoras de 17 puntos en la prueba EN- LACE en matemáticas y lenguaje, y una reducción en la deserción de 1.1 p.p. Otro estudio cuasiexperimental interesante realizado para México es el de Santibañez et. al. (2014) que analizan el impacto del componente relacionado con el Programa de Fortalecimien- to e Inversión Directa a las Escuelas (PEC-FIDE) que esta también basado en el concepto de ges- tión centrado en la escuela. Los autores encuentran que la participación en el PEC-FIDE mejora los resultados de los estudiantes de tercer grado de primaria en la prueba ENLACE. Este estudio sugiere que los efectos del PEC-FIDE son posiblemente el resultado de los recursos financieros adicionales que reciben las escuelas y que el uso eficiente de estos recursos en el largo plazo requeriría realizar inversiones adicionales en fortalecer la capacidad técnica de las comunidades educativas, incluyendo capacitación para los padres de familia. Los estudios existentes para México sobre el impacto del PEC muestran también en forma con- sistente que los resultados no son homogéneos entre escuelas de diferentes contextos socioe- conómicos o con diferentes capacidades técnicas para tomar ventaja de la gestión descen- tralizada. La evidencia muestra que los efectos se concentran en los municipios con un índice de desarrollo humano medio (Murnane et. al. 2006) o exclusivamente en escuelas con baja marginación (Cabrera y Pérez Campuzano, 2016). Esta evidencia se alinea con los resultados encontrados en otros países de la región, como Argentina, donde se documenta un efecto ne- gativo sobre los aprendizajes entre las escuelas con menores capacidades técnicas (Galiani and Schargrodsky 2008); asimismo, con la evidencia comparativa internacional que muestra que la ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 5 autonomía escolar está correlacionada en forma positiva con los resultados de la prueba PISA, pero sólo en aquellos países con buenas instituciones y capacidad técnica. Por el contrario, la autonomía escolar está correlacionada en forma negativa con los aprendizajes medidos por la prueba PISA en los países con una estructura institucional débil (Hanushek, Link y Woessman 2013). Bloom et. al. (2015) encuentran resultados consistentes en un estudio que incluye a 8 países de ingresos altos y mediano-bajos que documenta que la gestión escolar está correla- cionada en forma positiva con los resultados de la prueba PISA. Finalmente, Reimers y Cárdenas (2007) en un análisis cualitativo encuentran que los altos ni- veles de desigualdad en la capacidad institucional y financiera de las escuelas y comunidades mexicanas condiciona en forma importante cómo los maestros y los directores responden a los incentivos de la autonomía escolar. Las desigualdades en las condiciones de inicio entre las escuelas limitan, en el corto plazo, su capacidad para contribuir a reducir las brechas entre estudiantes de diferentes contextos socioeconómicos. Con base en lo que se ha demostrado, el debate actual se ha movido de si la evidencia apoya o no la gestión centrada en la escuela hacia evaluar las condiciones iniciales que debieran existir para que la autonomía escolar influya de forma positiva en los aprendizajes. Entre estas condiciones iniciales se incluye el liderazgo y las capacidades de gestión de los directores, la rendición de cuentas, la colaboración entre los actores educativos y la comunidad, y el apoyo de las autoridades centrales para la construcción de capacidades de gestión (Bloom et. al. 2015 y Cadwell, 2015). Características y evolución del Programa Escuelas de Calidad: 2001-2016 La Autonomía de la Gestión Escolar (AGE), implementada a través del PEC, es una iniciativa del gobierno federal que comenzó a ejercerse en el año 2001, beneficiando a 2,239 escuelas primarias. A partir del 2005, amplió su cobertura a escuelas de preescolar, primaria y secundaria en sus diferentes modalidades incluyendo educación inicial, indígena, multigrado, migrante, especial y telesecundaria. En el año 2014, llegó a beneficiar a 55,432 escuelas (Gráfica 1). Gráfica 1. Participación de escuelas en PEC 60,000 Alta marginación 54,666 55,432 Baja marginación 50,622 50,000 48,983 40,790 45,510 42,233 39,993 40,557 37,692 37,897 Número de escuelas 40,000 30,000 21,824 20,000 15,578 9,780 10,000 2.239 0 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 Ciclo escolar Nota: Los años representan el inicio del ciclo escolar. ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 6 Los objetivos y los mecanismos de operación del PEC se actualizaron frecuentemente a lo largo del periodo 2001-2015. De acuerdo con González (2009), el PEC comenzó su operación con esquemas muy flexibles y variados para definir qué escuelas podían ser beneficiadas, pero con el tiempo re- definió sus prioridades y afinó los instrumentos de focalización de las escuelas priorizando escuelas de alta y muy alta marginación, de bajo logro educativo y con alto índices de deserción. A pesar de los esfuerzos por focalizar a las escuelas, las evaluaciones realizadas por la coordinación del pro- grama indicaban que diversas entidades no estaban realizando la focalización de los entornos de mayor marginación. Además, las escuelas de baja y muy baja marginación que habían ingresado al Programa durante sus primeros años de operación continuaban siendo beneficiarias. En respuesta, las Reglas de Operación del PEC en 2015, incluyeron una fórmula de distribución, la cual, permitió calcular el monto del recurso asignado a cada escuela con base en el monto total del presupuesto y a componentes de equidad y calidad de la escuela que priorizaban sus características inherentes y sus avances en el desempeño escolar. Con lo anterior, se buscó que la distribución de los recursos siguiera un criterio de equidad entre las escuelas beneficiadas por el programa. Gráfico 2. Teoría de Cambio INSUMOS Recursos técnicos PRODUCTOS y financieros Ruta de mejora consensuada entre el CTE y el CEPS RESULTADOS Logro educativo Aprendizajes A pesar de las redefiniciones, el núcleo de su intervención se preservó en instaurar un modelo de gestión centrado en la escuela a fin de mejorar los aprendizajes y reducir las inequidades exis- tentes en el sistema educativo (ver Gráfica 2) a través de apoyos técnicos o financieros. El apoyo técnico consistía en la asesoría que las Autoridades Educativas Locales daban a las escuelas para el desarrollo de competencias que apoyasen su autonomía de gestión. El apoyo financiero con- sistió en recursos que se entregaban directamente a la escuela beneficiadas para desarrollar las acciones que la escuela incluía en su Ruta de Mejora Escolar durante los primeros cinco años de participación en el programa. Las escuelas podían destinar el recurso financiero a cualquier necesidad inscrita en tres rubros: 1) Organización y funcionamiento escolar (mobiliario y mejora de la infraestructura), 2) Desarrollo de capacidades técnicas de la comunidad escolar (capacitación a miembros del Consejo Técnico Es- colar (CTE) o padres de familia), y 3) Gestión de Materiales e Insumos Educativos (materiales didác- ticos). Sin embargo, hasta antes de las Reglas de Operación del PEC en 2013 el ejercicio de recursos por parte de las escuelas debía sujetarse a ciertos porcentajes asignados a los diferentes rubros. Generalmente, las escuelas de nuevo ingreso estaban sujetas a destinar al menos 30% de sus re- cursos a desarrollar capacidades técnicas y el resto a mantenimiento, infraestructura y materiales; ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 7 mientras que las escuelas con más antigüedad debían incrementar anualmente el porcentaje des- tinado al desarrollo de capacidades técnicas hasta llegar al menos al 50% de su presupuesto PEC. Cabe destacar que tal distribución parecía favorecer el gasto en aspectos materiales y de infraes- tructura en descuido de los aspectos académicos como la formación de docentes y directivos. La meta establecida en la Ruta de Mejora Escolar debía corresponder con dichos rubros, lo que suponía que había una capacidad técnica instalada en la escuela en materia de planeación estratégica y de participación colaborativa de docentes, directivos y padres de familia a través del CTE y el Consejo Escolar de Participación Social (CEPS). Es así como existen tres aspectos a destacar que el PEC asumía para su adecuada implementación: 1) una gestión escolar centrada en la planeación estratégica, la transparencia y la rendición de cuentas; 2) el liderazgo de los directivos y la participación de la comunidad escolar; y 3) los mecanismos de coordinación ins- titucional federales, estatales y municipales para la asistencia técnica y financiera a las escuelas. Finalmente, a partir del ejercicio fiscal 2016, el PEC se fusiona con el Programa Escuelas Dignas y el Programa de la Reforma Educativa (PRE) que hasta el 2015 se instrumentaba bajo el nombre de Escuelas de Excelencia para Abatir el Rezago Educativo (PEEARE), con el propósito de que la Subsecretaría de Educación Básica otorgara servicios de autonomía de gestión, de calidad y de in- fraestructura educativa de manera integral a través de un sólo programa (ver Gráfico 3). Es así como el PEC se convierte en uno de los cinco componentes del PRE1, siendo el Componente 2 para el de- sarrollo y fortalecimiento de la autonomía de gestión escolar. La ejecución de dicho componente ha mantenido las características principales del PEC para su implementación con el recurso directo a la Comunidad escolar y el apoyo de la autonomía de la gestión escolar y promoción de la toma de decisiones a partir de la Ruta de Mejora Escolar. Gráfico 3. Evolución del PEC al PRE, 2015-2018 Programa Escuelas de Calidad Programa Mejores Escuelas Programa Escuelas Dignas PEEARE Programa Reforma Educativa 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 *Los años indican el inicio del ciclo escolar. Impacto del Programa Escuelas de Calidad en los estudiantes de educación básica El diseño y la implementación del PEC permiten evaluar sus impactos a través de un modelo de diferencias en diferencias. Esta técnica estadística permite identificar el impacto de un pro- grama o política educativa siguiendo los cambios de tendencia entre las escuelas que reciben el programa y las que no lo reciben.2 La evaluación de impacto que se presenta en esta síntesis se concentra en los impactos para escuelas de educación básica (primaria y secundaria) con- siderando cinco grupos de indicadores susceptibles de ser impactados por el PEC. En primer lugar, se consideran indicadores relacionados con el desempeño de los estudiantes en pruebas estandarizadas, en particular, se toma la proporción de estudiantes de 6to grado en el nivel de 1 ParamásinformacióndelPRE,accederalasReglasdeOperaciónen:http://www.dof.gob.mx/nota_detalle.php?codigo=5509544&fecha=29/12/2017 2 Para una presentación detallada sobre el método y sus principales escenarios de aplicación véase Gertler et. al. (2017), Capítulo 7. ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 8 logro más bajo (Nivel 1) y más alto (Nivel 4) de desempeño en matemáticas y lenguaje en las pruebas ENLACE (2006 al 2013) y PLANEA (2015 y 2016). Por otro lado, se toman tres indicadores educativos intermedios medidos con base en las estadísticas 911: (i) la repetición escolar, medida como la proporción de estudiantes que se encuentra repitiendo grado; (ii) la reprobación escolar, medida en escuelas primarias como la proporción de estudiantes que no logran acreditar de ma- nera satisfactoria el grado escolar en el que están inscritos (los cuales no necesariamente tienen que repetir grado). En escuelas secundarias es medida como la proporción de estudiantes que no aprueban al menos una asignatura; y (iii) el rezago escolar grave, medido como la proporción de estudiantes que se encuentran tres grados o más por debajo del que deberían estar cursando, de acuerdo con su edad normativa (6 a 11 años en primaria y 12 a 14 años en secundaria). En los Paneles A y B de la Gráfica 4 se observan los efectos promedio del PEC sobre los aprendi- zajes de los estudiantes de primaria y secundaria, respectivamente. El PEC no tiene ningún efec- to sobre los aprendizajes. de los estudiantes de primaria qua sea significativo desde el punto de vista estadístico. Los resultados sobre los aprendizajes de los estudiantes de secundaria mues- tran que el PEC reduce la proporción de los estudiantes en el nivel más bajo de desempeño en las pruebas estandarizadas (Nivel 1) en una magnitud de 1.87 puntos porcentuales (p.p.) en lenguaje y 1.86 p.p. en matemáticas. Estos efectos, con respecto a los niveles de desempeño en las pruebas PLANEA 2016, representan una reducción de 7.5% en la proporción de estudiantes en el nivel 1 de lenguaje y de 4.1% en el nivel 1 de matemáticas. Por otro lado, se observa una mejora de los estudiantes en el nivel más alto de desempeño, con un aumento de 0.10 p.p. en lenguaje y 0.82 p.p. en matemáticas. Estos efectos con respecto a los niveles de desempeño en las pruebas PLANEA 2016 representan un aumento de 1.8% en la proporción de estudiantes en el nivel 4 de desempeño en lenguaje y de 6.1% en el nivel 4 de matemáticas. Gráfica 4 – Resultados promedio sobre los aprendizajes e indicadores intermedios Panel A - Aprendizajes en primaria Panel B - Aprendizajes en secundaria Primaria lenguaje Primaria matemáticas Secundaria lenguaje Secundaria matemáticas Nivel 1 Nivel 4 Nivel 1 Nivel 4 Nivel 1 Nivel 4 Nivel 1 Nivel 4 1.0 1.0 0.823** 0.5 0.27 0.5 0.101** 0.0 0.0 -0.20 -0.06 -0.5 -0.5 -0.45 -1.0 -1.0 -1.5 -1.5 -2.0 -2.0 -1.87** -1.86** -2.5 -2.5 Panel C - Indicadores intermedios en primaria Panel D - Indicadores intermedios en secundaria Primaria Primaria Primaria Secundaria Secundaria Secundaria reprobación rezago grave repetición reprobación rezago grave repetición 0.0 0.0 0.0 -0.02 0.0 -0.01 0.0 0.0 -0.1 -0.1 -0.1 -0.1 -0.1 -0.08** -0.1 -0.1 -0.1 -0.11 -0.1 -0.1 -0.13** -0.2 -0.2 -0.2 -0.2 -0.2 -0.19** -0.2 Los asteriscos *, ** y *** indican que los estimadores son estadísticamente significativos al 10%, 5% y 1%, respectivamente. ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 9 Los paneles C y D de la Gráfica 4 muestran el efecto promedio del PEC sobre los indicadores educa- tivos intermedios en primaria y secundaria, respectivamente. Los resultados muestran que la partici- pación en el PEC entre las escuelas de primaria reduce la reprobación y el rezago escolar grave, pero no tiene efectos estadísticamente significativos en la repetición. La reprobación en las escuelas de primaria del PEC es 0.19 p.p. más bajo que el observado en las escuelas que no participan del PEC, lo que representa una reducción de 3.1% con respecto a la reprobación promedio en primaria para el periodo 2006-2016. El rezago escolar grave en las escuelas de primaria del PEC es 0.08 p.p. más bajo que el observado en las escuelas que no participan del PEC, lo que representa una reducción de 1.3% con respecto al rezago escolar grave en primaria para el periodo 2006-2016. Finalmente, los resultados muestran que la participación en el PEC entre las escuelas de secundaria reduce la repetición en -0.13 p.p., lo que representa una reducción de 12.9% con respecto a la tasa de repeti- ción promedio en secundaria para el periodo 2006-2016. Sin embargo, no existen efectos estadís- ticamente significativos sobre la reprobación y el rezago grave entre los estudiantes de secundaria. Los resultados presentados anteriormente indican que en promedio la participación en el PEC tiene efectos en primaria sobre la reprobación y el rezago escolar grave. Por otro lado, la participación en el PEC tiene efectos en secundaria sobre los aprendizajes y la repetición. Dada la larga trayectoria del programa y los diferentes periodos de participación que las escuelas han tenido, es de interés de esta evaluación preguntarse por la existencia de efectos dinámicos del PEC. Es decir, ¿los efectos del programa cambian al estar participando por un amplio periodo de tiempo? La Gráfica 5 muestra los efectos dinámicos para los estudiantes en el nivel de logro más bajo y más alto de desempeño en matemáticas, respectivamente. Los efectos son bastante similares si se mira a los resultados de desempeño en lectura. Los resultados revelan que para la reducción de la proporción de estudian- tes en el nivel más bajo en matemáticas (Panel A), los efectos se presentan desde el primer año de participación en el programa y estos se mantienen consistentes por 6 años consecutivos. Aunque se observa un incremento en el efecto a lo largo de los años, las diferencias entre los diferentes pe- riodos de participación no son estadísticamente significativas. Para el caso de los efectos sobre los estudiantes en el nivel más alto de desempeño en matemáticas (Panel B), se observa que los efectos aparecen de manera consistente también a partir del primer año de participación en el programa, pero luego empiezan a reducirse después de 5 años consecutivos de participación en el programa. Gráfica 5 – Efectos dinámicos sobre los aprendizajes en secundaria* Panel A - Nivel 1 en matemáticas 2.00 0.00 -0.27 -0.76 -1.14 -1.96 -1.82 -2.00 -2.33 -3.06 -3.09 -3.07 -4.00 -6.00 Dos años Un año Año de Primer Segundo Tercer Cuarto Quinto Sexto antes antes adopción año año año año año año Panel B - Nivel 4 en matemáticas 3.00 2.00 1.77 1.48 1.02 0.98 0.99 1.00 0.46 0.26 0.00 0.03 0.01 Dos años Un año Año de Primer Segundo Tercer Cuarto Quinto Sexto antes antes adopción año año año año año año *Los puntos representan el estimador puntual, los bigotes representan intervalos de confianza al 95%. ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 10 La Gráfica 6 muestra que los efectos de la participación en el programa sobre la reprobación y el reza- go escolar grave en primaria también son consistentes y no se agotan con el paso de los años, es decir, las escuelas que participan en el PEC mantienen la reducción lograda en estos tres indicadores inter- medios. Por el contrario, los efectos de la participación en el programa sobre la repetición en secun- daria se mantienen durante los primeros 5 años del programa, pero después empiezan a reducirse. Finalmente, esta evaluación explora si la participación en el PEC tiene efectos diferentes para las escuelas en áreas de alto y baja marginación, de acuerdo con el índice de marginación a nivel localidad del Consejo Nacional de Población (CONAPO). Los resultados se resumen en los Paneles A y B de la Gráfica 7 y muestran que el PEC no tiene ningún impacto sobre los aprendizajes de los estudiantes de primaria que sea estadísticamente significativo. Por otro lado, la reducción en la proporción de estudiantes en el nivel de logro más bajo de desempeño en matemáticas y len- guaje en secundaria se observa tanto en las escuelas en municipios de alta como de baja margi- nación, siendo la magnitud del impacto muy similar entre ambos tipos de escuelas. Al contrario, el incremento en la proporción de estudiantes en el nivel de logro más alto de desempeño en matemáticas y lenguaje en secundaria se observa solamente en las escuelas de alta marginación. Gráfica 6 – Efectos dinámicos indicadores educativos intermedios* Panel A - Reprobación en primarias 0.50 0.00 -0.01 -0.09 -0.10 -0.17 0.18 -0.26 -0.28 -0.24 0.50 -0.61 -0.72 -1.00 -1.50 Dos Un Año de Primer Segundo Tercer Cuarto Quinto Sexto Séptimo años año adopción año año año año año año año antes antes Panel B - Rezago grave en primarias 0.20 0.00 -0.04 -0.01 -0.05 -0.09 -0.10 -0.11 -0.15 -0.20 -0.23 -0.31 -0.40 -0.43 -0.60 Dos Un Año de Primer Segundo Tercer Cuarto Quinto Sexto Séptimo años año adopción año año año año año año año antes antes Panel C - Repetición en secundarias 0.20 -0.09 0.00 -0.02 -0.04 -0.06 -0.10 -0.15 -0.14 -0.20 -0.22 -0.28 -0.31 -0.40 -0.60 -0.80 Dos Un Año de Primer Segundo Tercer Cuarto Quinto Sexto Séptimo años año adopción año año año año año año año antes antes *Los puntos representan el estimador puntual, los bigotes representan intervalos de confianza al 95%. ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 11 Los Paneles C y D de la Gráfica 7 muestran los resultados sobre los indicadores intermedios para primaria y secundaria por nivel de marginación de la escuela. En lo que respecta a la reprobación y el rezago escolar grave en primaria, se observa que la reducción en estos indicadores reportada anteriormente como resultado de la participación en el PEC se explican por mejoras observados en escuelas en localidades de baja marginación. Por otro lado, el rezago escolar grave en primaria parece incrementarse en las escuelas de alta marginación como resultado de la participación en el PEC. Entre las escuelas de secundaria, se observa que la participación en el PEC tiene efectos contrarios en las escuelas de alta y baja marginación. Mientras que en las escuelas de alta margi- nación el PEC parece haber contribuido a incrementar el rezago escolar grave, este indicador se ha reducido en forma importante entre las escuelas de baja marginación. Por otro lado, la repetición en secundaria se reduce como resultado de la participación en el PEC, pero solo entre las escuelas de baja marginación mientras que no tiene ningún efecto entre las escuelas de alta marginación. La concentración de los impactos del PEC entre las escuelas de baja marginación coinciden con lo sugerido en la evidencia previa (Murnane et. al. 2006; Cabrera y Pérez-Campuzano, 2015). Gráfica 7 – Resultados promedio sobre los aprendizajes e indicadores intermedios para escuelas ubicadas en municipios de alta y baja marginación Panel A - Aprendizajes en primaria Panel B - Aprendizajes en secundaria Primaria lenguaje Primaria matemáticas Secundaria lenguaje Secundaria matemáticas Nivel 1 Nivel 4 Nivel 1 Nivel 4 Nivel 1 Nivel 4 Nivel 1 Nivel 4 Alta Baja Alta Baja Alta Baja Alta Baja Alta Baja Alta Baja Alta Baja Alta Baja 1.0 1.0 0.82*** 0.69 0.5 0.42 0.5 0.08 0.05 0.08 0.0 0.0 -0.11 -0.09 -0.18 -0.23 -0.5 -0.34 -0.5 -0.49 -1.0 -1.0 -1.5 -1.5 -1.30** -1.48 -1.54** -1.63 -2.0 -2.0 -2.5 -2.5 Panel C - Indicadores intermedios en primaria Panel D - Indicadores intermedios en secundaria Primaria Primaria Primaria Secundaria Secundaria Secundaria reprobación rezago grave repetición reprobación rezago grave repetición Alta Baja Alta Baja Alta Baja Alta Baja Alta Baja Alta Baja 0.4 0.4 0.32** 0.3 0.3 0.2 0.2 0.14** 0.1 0.08 0.1 0.07 0.04 0.0 0.0 -0.02 -0.3 -.01 -0.07** -.01 -0.2 -0.2 -0.15 -0.18** -0.181*** -0.20*** -0.3 -0.3 Los asteriscos *, ** y *** indican que los estimadores son estadísticamente significativos al 10%, 5% y 1%, respectivamente. ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 12 En resumen, los resultados de esta evaluación de impacto que revelan que la participación en el PEC tiene efectos positivos promedio sobre los aprendizajes de los estudiantes de secundaria en los municipios de alta y baja marginación, reduciendo la proporción de estudiantes en el ni- vel de logro más bajo de desempeño en matemáticas y lenguaje. Adicionalmente el PEC tiene un efecto positivo aumentando la proporción de estudiantes en el nivel de logro más alto en las pruebas estandarizadas, pero solo en los municipios de alta marginación. Este resultado se extiende a la reprobación y el rezago grave en primaria y a la repetición y rezago grave en se- cundaria, que muestran mejoras como resultado de la participación en el PEC en los municipios de baja marginación. Sin embargo, en los municipios de alta marginación, el rezago grave en secundaria incrementa como resultado de la participación en el PEC. Esto podría deberse a que el PEC podría estar permitiendo mantener a los estudiantes en los municipios de alta margina- ción por más tiempo dentro del sistema escolar. Finalmente, los resultados obtenidos sugieren que el PEC no tiene efectos dinámicos en el tiempo, es decir, que los efectos se han mantenido para las escuelas que llevan varios ciclos escolares participando en el programa y no cambian con base en el tiempo de exposición al programa. A manera de sugerir análisis futuros compartimos preguntas que se quedan en el tintero: 1. ¿Podemos decir algo sobre el efecto de la política (PEC, AGE) cuando hay menos o más rotación de directores? 2. ¿Hay efectos heterogéneos por tamaño de la escuela? 3. ¿Cuál es el costo por alumno de la intervención, tomando en cuenta el último año de im- plementación del PRE que permita conocer la efectividad del programa? Reflexiones sobre los logros del Programa Escuelas de Calidad y recomendaciones de política educativa México ha acumulado una valiosa experiencia a través de casi 20 años de instrumentación de la política para fortalecer la autonomía de la gestión escolar. Los resultados muestran que la política ha logrado algunas de sus metas, pero aún restan muchos desafíos. En particular, los resultados presentados aquí sugieren que el fortalecimiento de la autonomía de gestión ha mejorado los aprendizajes, pero sólo en secundarias. Estos resultados quizá estén relaciona- dos con la mayor heterogeneidad entre escuelas primarias en México, en donde el 43% de las escuelas son multigrado, unidocentes, indígenas o comunitarias. Esta gran diversidad de escuelas primarias también supone una diferencia importante en términos de las capacidades de gestión para traducir una mayor autonomía en mejoras en los aprendizajes. La hipótesis de menores efectos en primaria debido a su gran diversidad es consistente con los resultados en variables intermedias (reprobación y rezago) en donde los resultados positivos de la política se manifiestan exclusivamente para escuelas en localidades de baja marginación. La falta de efectividad de la política de autonomía escolar en escuelas primarias de alta margi- nación es congruente con la evidencia internacional que muestra que, en contextos de bajos niveles de habilidades de gestión de los directores y limitada capacidad institucional de la co- munidad escolar, esta política debe ser complementada con acciones compensatorias. En es- cuelas primarias de alta marginación, en su mayoría multigrado e indígenas, el fortalecimiento ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 13 de la autonomía de la gestión escolar debe ser complementada con una supervisión escolar adecuada, que provea a estas escuelas del acompañamiento, la asistencia técnica y los materia- les necesarios para poder hacer un uso efectivo de su autonomía. Los efectos positivos sobre aprendizajes en secundaria y una reducción de la reprobación y el rezago educativo en primaria a través de un programa cuyo costo por alumno es bastante bajo hace de la autonomía de la gestión escolar una política altamente efectiva para mejorar la calidad de los servicios educativos (el costo unitario del PEC por estudiante por ciclo escolar en el año 2015 se estima en MX$266 que se calcula dividiendo el costo del programa de MX$ 1,631,791,724 entre los 6,147,703 de estudiantes beneficiados ese ciclo escolar). La continuidad es una de las características que hacen posible medir sus efectos en el mediano plazo. Es la continuidad la que permitirá a esta política seguir incidiendo favorablemente sobre la calidad de los servicios educativos y lo que abrirá la puerta para mejorar o modificar la intervención en escuelas primarias de alta marginación para asegurarnos que ahí, en donde más se necesita, la autonomía escolar se traduce en una mejora de los aprendizajes entre los más pobres. ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 14 Referencias Bloom, N., R. Lemos, R. Sadun y J. Van Reenen (2015). Does manangement matter in schools? The Economic Journal, 125 (May), pp 647-674. https://onlinelibrary.wiley.com/doi/epdf/10.1111/ecoj.12267 Bruns, Barbara, Deon Filmer, and Harry A. Patrinos (2011). Making schools work: New evidence on accountability reforms. Washington, D.C.: The World Bank. http://siteresources.worldbank.org/EDUCATION/Resources/278200-1298568319076/ makingschoolswork.pdf Cabrera, F. y Pérez-Campuzano María (2016). Autonomía de gestión para la calidad y equidad educativa: una evaluación al Programa Escuelas de Calidad (PEC). Manuscrito no publicado. Consejo Nacional para la Evaluación de la Política Social (CONEVAL), Ciudad de México, México. http://www.academia.edu/34744573/Autonom%C3%ADa_de_gesti%C3%B3n_ para_la_calidad_y_equidad_educativa_una_evaluaci%C3%B3n_del_Programa_Escuelas_de_Calidad_PEC_ di Gropello, Emanuela, and Jeffery H. Marshall (2005). “Teacher Effort and Schooling Outcomes in Rural Honduras.” In Incen- tives to Improve Teaching: Lessons from Latin America, ed. Emiliana Vegas, 307–58. Washington, DC: World Bank. http:// www1.worldbank.org/prem/poverty/ie/dime_papers/543.pdf#page=325 Duflo, Esther, Pascaline Dupas, and Michael Kremer. 2011. “Peer Effects, Teacher Incentives, and the Impact of Tracking: Evi- dence from a Randomized Evaluation in Kenya.” American Economic Review, 101 (5): 1739-74. https://www.aeaweb.org/ articles?id=10.1257/aer.101.5.1739 Fryer, Roland (2017). Management and Student Achievement: Evidence from a Randomized Field Experiment. Working Paper. Harvard University. https://scholar.harvard.edu/files/fryer/files/mgmt_20170515_with_tables_figures.pdf Galiani, Sebastian, Paul Gertler, and Ernesto Schargrodsky. (2008). “School decentralization: Helping the good get better but leaving the poor behind.” Journal of Public Economics 92, no. 10-11: 2106-2120. https://www.sciencedirect.com/science/ article/abs/pii/S0047272708000923 García, Sandra y Arturo Harker (2016). Impacto de un Programa de Formación de Rectores: Evaluación cuasiexperimental usando las pruebas SABER 11 e información administrativa. Universidad de los Andes. Mimeo. Gertler, Paul J., Harry A. Patrinos, and Marta Rubio-Codina (2012). “Empowering parents to improve education. Evidence from rural Mexico.” Journal of Development Economics, Volume 99, Issue 1, Pages 68-79. https://www.sciencedirect. com/science/article/pii/S0304387811000927 Gertler, P., S. Martinez, P. Premand, L. Rawlings, C. Vermeersch (2017). La evaluación de impacto en la práctica. Segunda Educación. Banco Mundial. https://openknowledge.worldbank.org/bitstream/handle/10986/25030/9781464808883. pdf?sequence=4&isAllowed=y González, Teresa Bracho (2009). Innovación En Política Educativa: Escuelas De Calidad. México: FLACSO http://www.jstor.org/ stable/j.ctt16f980t. Hanushek E., Link S. and Woessmann L., (2013) Does School Autonomy Make Sense Everywhere? Panel Estimates from PISA. Journal de Development Economics (104) 212-232. http://hanushek.stanford.edu/sites/default/files/publications/Ha- nushek%2BLink%2BWoessmann%202013%20JDevEcon%20104_0.pdf Jimenez, Emmanuel, and Yasuyuki Sawada (2013). Does Community Management Help Keep Kids in Schools? Evidence Using Panel Data from El Salvador’s EDUCO Program. enGender Impact: the World Bank’s Gender Impact Evaluation Database. Washington DC: World Bank.  http://documents.worldbank.org/curated/en/168931468248383456/Does-com- munity-management-help-keep-kids-in-schools-Evidence-using-panel-data-from-El-Salvadors-EDUCO-program King, Elizabeth M., and Berk Özler. (1998). “What’s Decentralization Got to Do with Learning? The Case of Nicaragua’s School Autonomy Reform.” Unpublished manuscript, Development Research Group, World Bank, Washington, DC. http://siteresources.worldbank.org/EDUCATION/Resourc- es/278200-1099079877269/547664-1099079934475/547667-1135281552767/What_Decentralization_Learning.pdf Murnane, R., Willet, J. and Cárdenas, S. (2006). ¿Ha contribuido el Programa Escuelas de Calidad (PEC) a mejorar la edu- cación pública en México? Aprender más y mejor. Políticas, programas y oportunidades de aprendizaje en educación básica en México. México: Harvard-SEP-FCE-ILCE. https://www.researchgate.net/profile/Sergio_Cardenas3/publica- tion/263542240_Did_Participation_of_Schools_In_Programa_Escuelas_de_Calidad_PEC_Influence_Student_Out- comes/links/0046353b2f7e33b755000000/Did-Participation-of-Schools-In-Programa-Escuelas-de-Calidad-PEC-Influ- ence-Student-Outcomes.pdf Paes de Barros, Roberto, and Rosane Mendonça. 1998. “The Impact of Three Institutional Innovations in Brazilian Educa- tion.” In Organization Matters: Agency Problems in Health and Education in Latin America, ed. William D. Savedoff, 75–130. Washington, DC: Inter-American Development Bank. https://books.google.com/books?hl=en&lr=&id=KcV- J8QY30KUC&oi=fnd&pg=PA75&dq=The+Impact+of+Three+Institutional+Innovations+in+Brazilian+Education&ots=- JKeVpnYXl0&sig=r_DyoQhb3qmZHlJPMp2qQL34piE#v=onepage&q=The%20Impact%20of%20Three%20Institution- al%20Innovations%20in%20Brazilian%20Education&f=false Reimers, F. y Cárdenas, S. (2007). Who benefits from school-based management in Mexico? Prospects. 37.1 https://link. springer.com/article/10.1007%2Fs11125-007-9015-0 Santibañez, L., Abreu-Lastra, R. y O’Donoghue, J. (2014). School based management effects: Resources or governance change? Evidence from Mexico. Economics of Education Review (39) pp 97-109. http://www.sciencedirect.com/science/ article/pii/S0272775713001635 Sawada, Yasuyuki, and Andrew B. Ragatz (2005). “Decentralization of Education, Teacher Behavior and Outcomes: The Case of El Salvador’s EDUCO Program.” In Incentives to Improve Teaching: Lessons from Latin America, ed. Emiliana Vegas, 255–306. Washington, DC: World Bank http://documents.worldbank.org/curated/en/401221468774284844/pd- f/334390Incentives00821362151.pdf Skoufias, E. and Shapiro, J. (2006). Evaluating the impact of Mexico’s quality schools program: The pitfalls of using nonexper- imental data. Policy, Research Working Paper; no. WPS 4036Washington, DC: World Bank.  http://documents.worldbank. org/curated/en/738031468282924504/Evaluating-the-impact-of-Mexicos-quality-schools-program-the-pitfalls-of-us- ing-nonexperimental-data Weinstein, José y C. Villalobos. (2016). Chile: La experiencia de la Subvención Escolar Preferencial. 58-100. https://www. researchgate.net/publication/313854398_Chile_La_experiencia_de_la_Subvencion_Escolar_Preferencial ¿Qué impacto ha tenido la política de autonomía de la gestión escolar sobre la calidad de los servicios educativos? Evaluación del programa en México | 2001-2016 15