PISA para pobres
Desde su lanzamiento en el 2000, el Programa para una Evaluación Internacional de Estudiantes (PISA) de la OCDE, ha sido objeto de discusión. Para algunos es un instrumento de indiscutible valor para identificar las fortalezas y debilidades de los sistemas nacionales de educación la básica, en lo que concierne al aprendizaje de matemáticas, literatura y de nociones científicas. También se pondera favorablemente la comparación que permite con respecto a otros sistemas educativos, así como la información que se ofrece sobre aspectos socioeconómicos y escolares, que permite identificar la relación entre variables de contexto con los rendimientos educativos observados.
No han sido escasos los cuestionamientos, tanto de académicos y especialistas como de responsables de la gestión educativa. En 2009, Peter Mortimore, ex director del Instituto de Educación de la Universidad de Londres, publicó el texto Alternative models for analysing and representing countries performance in PISA, en que sistematiza las principales vertientes de crítica sobre el modelo. En resumen: la prueba examina desempeños escolares de manera homogénea cuando lo que prevalece es una gran diversidad entre nacionalidades, grupos sociales y sistemas educativos; se han identificado problemas de traducción de los exámenes; hay evidencia de sesgos en la selección de muestras, que es responsabilidad de los países participantes; el diseño de la prueba no toma en cuenta los currículum de los países; la prueba ha tenido implicaciones indeseables en las reformas educativas de varios países; no se involucra a los maestros en el diseño e interpretación de la prueba.; el enfoque transversal de la prueba impide análisis adecuados de tipo causal; el modo de comunicación de resultados es un ranking entre sistemas educativos nacionales. Argumentos similares han sido expresados en nuestro contexto.
Del lado político, la difusión de resultados generó, principalmente en las primeras ediciones de la prueba, dos tipos de reacción. Una fue la de asumir los resultados de la evaluación, y a partir de estos desarrollar reformas educativas con la perspectiva de fortalecer las competencias de mayor debilidad. Esa fue la respuesta de varios países europeos, y también lo que se intentó en México a través de reformas curriculares de educación básica, la RIEB de 2011 y el Modelo Educativo de 2016. En otros países, por ejemplo Estados Unidos, Inglaterra y Francia, una primera reacción fue descalificar la prueba, por sus limitaciones, aunque no por ello dejaron de participar en cada una de las ediciones.
Para ofrecer una respuesta a las formulaciones críticas recibidas, el grupo coordinador de PISA lanzó en 2014 una iniciativa con el nombre de PISA para el Desarrollo (PISA-D) en. Fue establecido como un proyecto piloto único de seis años, “cuyo objetivo es hacer que la evaluación sea más accesible y pertinente para una gama más amplia de países”. El diseño se propuso, como objetivos específicos: aumentar la resolución de las pruebas PISA en el extremo inferior de la distribución del desempeño de los estudiantes; capturar una gama más amplia de contextos sociales y económicos, e incorporar una evaluación de los jóvenes de 14 a 16 años que no asisten a la escuela. Los países que contrataron esta evaluación con la OCDE fueron: Camboya, Ecuador, Guatemala, Honduras, Paraguay, Senegal y Zambia. A partir de 2015 recibieron la capacitación técnica para la aplicación de la prueba y la generación de resultados en cada país. La prueba fue aplicada en 2017 y el informe de resultados en 2018. En este se indica que “alrededor de 37 mil estudiantes completaron la evaluación basada en la escuela, representando a un millón de estudiantes de 15 años (en el grado 7 o superior) en las escuelas de los siete países participantes”
También en 2018 se difundió el documento PISA for Development Assessment and Analytical Framework, que dio a conocer las características del enfoque, contenido y organización de la nueva prueba. Entre otras características se indica que más de la mitad de los ítems fueron idénticos a los utilizados en PISA 2015, lo que permitió armonizar los resultados en la escala empleada por PISA. La otra mitad de reactivos fueron preguntas en los dominios de matemáticas, lectura y ciencias adaptadas al contexto de países de bajos ingresos. Lo más importante, es que la PISA-D modificó la proporción de ítems por grado de dificultad: más de dos tercios de los ítems correspondían a los niveles primero y segundo (lo más bajos) de la escala. Es decir que la prueba se enfocó a identificar la proporción de estudiantes que contaban al nivel mínimo indispensable de conocimientos y la proporción en que ese nivel se conseguía superar.
El reporte de resultados PISA para el Desarrollo. Resultados en foco (OCDE, 2018) hizo evidente la gran distancia entre los resultados de los países de bajos ingresos con respecto al promedio de los países OCDE. En resumen: a) alrededor del 12 por ciento de los estudiantes en los países PISA-D alcanzan el nivel mínimo de competencia en matemáticas, en comparación con el promedio de la OCDE de 77 por ciento; b) alrededor del 18 por ciento de los estudiantes de los países PISAD alcanzan el nivel mínimo de competencia en ciencias, en comparación con el promedio de la OCDE de 79 por ciento; y alrededor del 23 por ciento de los estudiantes en los países PISA-D alcanzan el nivel mínimo de competencia en lectura, en comparación con el promedio de la OCDE de 80 por ciento.