Representantes de distintos centros de investigación en educación del país analizaron los desafíos metodológicos de clasificar a las escuelas en las cuatro categorías de calidad que establece la Ley y propusieron ajustes a la metodología en los aspectos que hasta ahora son públicamente conocidos de ella, para minimizar los errores en la clasificación, durante el seminario “Clasificación de Escuelas: antecedentes y escenarios probables”, que se realizó en Santiago el pasado martes 24 de septiembre.

El evento fue organizado en conjunto por el Centro de Estudios de Políticas y Prácticas en Educación CEPPE y el Centro de Medición MIDE UC de la Universidad Católica, el Centro de Investigación Avanzada en Educación (CIAE) de la Universidad de Chile y el Centro de Políticas Comparadas en Educación (CPCE) de la Universidad Diego Portales.

Los panelistas y moderadores de la actividad fueron Cristián Bellei (CIAE), Alejandro Carrasco (CEPPE), Jorge Manzi (MIDE UC), Ricardo Paredes (CEPPE), Ernesto San Martín (Educación UC), Ernesto Treviño (CPCE-UDP) y  Juan Pablo Valenzuela (CIAE), con la coordinación de la investigadora del CEPPE, Lorena Meckes.

Durante sus intervenciones, los expertos sugirieron ubicar en la categoría de desempeño “insuficiente” (con riesgo de cierre) solo a las escuelas que consistentemente queden en ella, aplicando los distintos métodos en debate.

También estuvieron de acuerdo en incorporar métodos de valor agregado, como lo propone la misma ley, y verificar permanentemente que el peso que le dé en la clasificación a otros factores de la calidad (distintos de resultados de aprendizaje), tales como el clima de relaciones de la escuela, sea efectivamente de un tercio, tal como se ha establecido.

Los expositores coincidieron en que no es recomendable demonizar el sistema nacional de evaluación (SIMCE) y algunos de ellos matizaron esto señalando que es necesario cuidar su buen uso, para que contribuya al mejoramiento de la calidad de la educación.

Advirtieron que el mejoramiento esperable en los resultados de aprendizaje de los estudiantes producto de la implementación de la clasificación es modesto, que junto con tener mecanismos para cerrar escuelas poco efectivas, se requieren mayores exigencias de calidad para abrir nuevas escuelas, y que se necesita mayor coherencia en las medidas a adoptar si en verdad lo que se quiere es que las escuelas mejoren en el plazo de 4 ó 5 años que tienen antes de que sean cerradas.

Algunos de los cambios sugeridos podrían requerir modificaciones legales. Por ejemplo, hoy la Ley no permite introducir cambios a la metodología antes de 4 años, aunque se detecten errores al ponerla en práctica, mandata enviar una carta a los apoderados de las escuelas clasificadas en la peor categoría el primer año, lo cual hace impracticable que éstas mejoren por la posible fuga de estudiantes y de profesores (probablemente de los mejores).

Durante la inauguración del seminario, la directora del CEPPE Lorena Medina recordó que los centros deben aportar desde la creación de conocimiento a las decisiones que permitan mejorar la educación chilena, a través del desarrollo de investigación de excelencia en educación.

-Por ello, este seminario cumple hoy una misión fundamental: aportar con investigación y reflexión relevante y constructiva a la discusión pública acerca de la implementación de una ley tan importante para la educación chilena -sentenció.

Expositores

Jorge Manzi, el primero de los expositores, se refirió a los desafíos metodológicos en la ordenación de escuelas, destacando que el sistema de aseguramiento de calidad, y en particular la ley sobre la Agencia de Calidad, ha expandido el concepto de calidad de la educación con la que el país ha trabajado en las últimas décadas.  Ya no se enfoca sólo a los resultados del SIMCE, sino además en otros indicadores de la calidad que valoran otros aspectos cruciales del proceso educativo, ignorados hasta hace poco.

También consideró positivo que se busque ajustar las exigencias según el nivel socioeconómico de los estudiantes que trabajan las escuelas, ya que sería injusto pedir exactamente el mismo nivel a establecimientos con tan diversos contextos como los que hay en el país.

El director de MIDE UC calificó la creación de un Sistema de Aseguramiento de la Calidad como “un gran avance respecto de lo que teníamos” ya que antes solo se consideraba el puntaje SIMCE sin hacerse cargo de lo diferente que es lograr aprendizajes con estudiantes de diferente capital social.

Precisó que no está de acuerdo con desvalorizar las mediciones nacionales –el SIMCE- y advirtió que  focalizar en la medición los problemas y querer deshacerse de ella equivaldría a “romper todos los espejos de la casa solo porque no me gusta cómo me veo, a ver cómo salimos a la calle al día siguiente; destruir el sistema de monitoreo de un país sería una gran pérdida.  Hay que equilibrar la función de apoyo con la de responsabilización de los establecimientos” sostuvo.

Sin embargo, hay aspectos centrales respecto de los cuales es urgente una revisión antes de su implementación. En particular, el excesivo peso otorgado a la categoría de rendimiento de los estudiantes en el SIMCE, en desmedro del puntaje promedio que es mucho más preciso y en detrimento de los aumentos de puntaje, que también son importantes. También llamó la atención sobre la ponderación de los elementos de calidad que no son puntaje de SIMCE, que si bien tienen una ponderación nominal de un tercio, tendrán una mucho menor en la realidad ya que aspectos como autoestima o clima escolar se evalúan a través de cuestionarios a los profesores y alumnos y es muy fácil que en poco tiempo estos elementos del índice sean muy altos para todas las escuelas. Esto significa que si bien existe la intención de tener un indicador más amplio de calidad, en la práctica, se reducirá a resultados en el SIMCE.

“Creo también fundamental que una vez implementada, la metodología sea sometida a un monitoreo sistemático que incluya la posibilidad de introducirle ajustes antes de 4 años. La experiencia internacional con sistemas de responsabilización basados en pruebas hace altamente recomendable esta precaución”. En consecuencia, es altamente deseable que el sistema opere en “marcha blanca” durante los primeros años de funcionamiento –finalizó el experto.

Ernesto San Martín, por su parte, se refirió al concepto de escuela efectiva en un sistema de responsabilización, recordando que la legislación debe ser interpretada por medio de posibles metodologías estadísticas que sean útiles para ordenar escuelas.  “No es la primera vez en la historia de Chile que un texto legal requiera una interpretación formal (matemática o estadística)” señaló.

- Motivados por el Acta No. 32 del Consejo de la Agencia de Calidad de la Educación, podríamos preguntarnos cómo decidir por las virtudes de una u otra metodología en base a escenarios simulados –se preguntó.

El experto explicó que mediante simulaciones empíricas, las diferencias entre escuelas pueden crecer o desaparecer, según el modelo estadístico que se emplee.  Agregó que “el requerimiento básico es responsabilizar a la escuela por aquello de lo cual es responsable, y no por aquello que no está a su alcance. Una especificación que conlleva a responsabilizar de manera no justa a una escuela, no distingue entre el efecto escuela y el error idiosincrático” agregó.

El expositor mostró simulaciones de diferentes métodos de clasificación y sus efectos, haciendo notar que en algunos casos el mismo grupo de escuelas queda clasificado en la categoría de peor desempeño, mientras que con otro método, se “salva”.

Paredes, Valenzuela, Treviño

Ernesto Treviño, del Centro de Políticas Comparadas en Educación de la Universidad Diego Portales, se refirió por último a “Mercado y accountability en EEUU y Chile: ¿Sinergia para crear buenas escuelas?”.  Basándose en una investigación en marcha que desarrolla junto a académicos de las universidades de California, Berkeley, que indaga sobre la efectividad de los mercados y la rendición de cuentas en la mejoría de la calidad del servicio educativo.

Al respecto, Treviño sostuvo que en Chile el puro mercado no ha funcionado virtuosamente, ya que la calidad de la enseñanza es un criterio débil en la elección de colegios, rodeado de otras consideraciones.  “La información sobre calidad de la enseñanza es limitada excepto para padres con alto involucramiento en la educación de sus hijos (clase media y alta), y la elección se ve limitada por distancia a la escuela y capacidad de pago de los padres” sostuvo.   

Revisando el caso de Estados Unidos, se advierte que una combinación de mercado y rendición de cuentas como el que se instalará en Chile, presenta los siguientes efectos: aumenta la atención a la enseñanza, pero se incrementan tácticas y “atajos convenientes”, se prioriza el aprendizaje de fragmentos de información más que la comprensión de la complejidad y el rigor, se observa más exclusión de estudiantes si no se prescribe lo contrario, se observa una baja comprensión y adhesión a los objetivos del accountability, y por último si bien aumenta la cobertura de contenidos, disminuye el rigor con que se trabajan y la autonomía de los estudiantes.  

Ricardo Paredes de CEPPE, a su turno, compartió algunas reflexiones sobre la discusión en Chile. Comenzó recordando que existe consenso entre los especialistas en que hay limitaciones de los test estandarizados ya que miden parte del aprendizaje, que sin embargo es una parte importante. Es indiscutible que comprender lo que se lee o saber escribir y ser capaz de hacer cálculos matemáticos es parte importante de lo que un niño necesita desarrollar.

Paredes sostuvo que la idea fundamental del sistema de aseguramiento de la calidad es focalizar la fiscalización, liberando la carga pública cuando se trata de escuelas que lo hacen muy bien, controlando, apoyando escuelas que pueden hacerlo mejor y enfocando la atención (poniendo bajo apercibimiento de medidas e incluso de cierre) en las escuelas que sistemáticamente no contribuyan al aprendizaje de sus alumnos.

Enfatizó que  por una parte es necesario considerar las variables socioeconómicas, pero por otra parte no se quiere que controlar por esas variables signifique esperar menos de los alumnos más vulnerables.  “Todos los niños son capaces de lograr aprendizajes mínimos razonables, independientemente de su condición social” explicó el economista.  También señaló que ve ventajas en que se implemente la Ley pronto, aunque la metodologia de clasificación sea perfectible, ya que el propósito central de la clasificación es motivar un comportamiento de mejora.   Especificó que si se consideran casos en que escuelas han logrado mejorar en poco tiempo, los dos primeros años del plazo que tienen para mejorar podría concebirse como una marcha blanca.

Juan Pablo Valenzuela, del CIAE de la Universidad de Chile, se concentró en las precauciones que es necesario tener para evitar efectos indeseados de la implementación de la Ley.

Aportó que de acuerdo a la experiencia internacional, la mayor parte de los países cuenta con sistemas de evaluación, pero es menos frecuente que publique los resultados de sus escuelas. En la mayoría, los sistemas de evaluación están más orientados a entregar información a las escuelas para mejorar. Por ejemplo, de 37 países europeos, solo 10 publican resultados de las escuelas.

Los riesgos identificados de sistemas basados en la publicidad de los resultados de pruebas, si no se implementan adecuadamente, son varios, aseguró.  Entre ellos,  el supuesto de que automáticamente se generarán cambios positivos no se sustenta, ya que pueden desmotivar o desmoralizar a las escuelas de peores resultados y generar autocomplacencia en las de mejor resultado, así como riesgos éticos:  el excesivo foco en los resultados en las pruebas puede generar comportamientos estratégicos (por ejemplo focalizarse sólo en los estudiantes que están más cerca de alcanzar el estándar de resultados) en lugar de motivar acciones de mejoramiento.

Para evitar estos riesgos, ecomendó que el sistema sea comprendido por todos los actores, que las visitas a las escuelas para hacer recomendaciones sobre cómo mejorar tengan mayor importancia, ya que hoy es un componente más o menos débil del quehacer de la Agencia y monitorear permanentemente el sistema para introducir modificaciones si es necesario y evitar así efectos no deseados.

Advirtió que el aumento de puntaje promedio que se puede esperar de las escuelas en un sistema como el que se pondrá en marcha para Chile es moderado (en promedio aproximadamente 5 puntos del SIMCE si se considera la experiencia en Estados Unidos y de 7 a 12 puntos si se considera la experiencia de Chile en la Ley SEP).

Recomendó que en casos específicos de escuelas públicas, debiera sustituirse el cierre por una nueva oportunidad con un nuevo equipo de dirección y un nuevo equipo de mejores profesores, ya que, a su juicio la implementación del sistema no debería ser neutral respecto de la desaparición de la educación pública en una región, por ejemplo.

Valenzuela sugirió –para hacer más eficiente el sistema-complementar las medidas de cierre de escuelas contempladas en la actual ley con mayores exigencias de entrada para los nuevos establecimientos educacionales (modificación a la LGE), de tal forma que sean establecimientos con alta probabilidad de ser de Medio o Alto Desempeño –para ello sería relevante considerar los estándares sobre sostenedores.

También llamó la atención sobre lo incoherente que es decir que se quiere motivar a las escuelas de peor desempeño a mejorar y al mismo tiempo enviar –el primer año en que son clasificadas en la categoría más baja- una carta a los apoderados, ya que estos huirán de las escuelas, llevándose la subvención. Lo mismo sucederá con los mejores profesores que verán amenazado su prestigio.