La manipulación que existió en la evaluación

¿Hubo o no hubo manipulación de la muestra de escuelas en las pruebas PISA 2015? Una primera respuesta es sí. Sí, porque tanto la Argentina y la gestión educativa kirchnerista como la ciudad y la gestión educativa macrista manipularon, en un sentido, las muestras de alumnos que debían ser evaluados. ¿En qué sentido?

Ambos ministerios entrenaron especialmente y exclusivamente a los alumnos de la muestra para dar la prueba. Ni la Nación ni la Ciudad ocultaron ese hecho y lo describieron públicamente como “sensibilización”. La noticia impactó entre referentes en estadística de peso internacional: “Eso no se puede hacer. Está prohibido. Y si se hace, no se confiesa”, explicó a LA NACION uno de ellos.

Esto significa manipular una muestra. Sesgarla. Para evitar ese sesgo, la preparación debería abarcar a todos los alumnos de todas las escuelas. Caso contrario, la muestra pierde su valor como foto de un sistema porque los alumnos están “mejor preparados” que el resto.

Las justificaciones son variadas. Que otros países lo hacen. Que otros países están más acostumbrados al tipo de pruebas de PISA. Las pruebas PISA ponen presión sobre las dirigencias políticas, que las viven como momentos de riesgo. Para minimizarlo, muchas veces se coachea a alumnos, por ejemplo. Esta manipulación no fue observada por la OCDE.

Por supuesto, el peso específico de esta forma de sesgar resultados es distinto del de omitir escuelas sin pudor. Pero no por eso deja de ser manipulación.

La Ciudad mejoró 51 puntos en estas PISA. Hay mucho para analizar en esa mejora, que algunos especialistas empiezan a considerar estadísticamente demasiado excepcional. El sesgo impreso a la muestra porteña a partir del coacheo es un punto de partida importante.

Es difícil entender cómo esa práctica contraria al rigor estadístico fue decidida desde los cuadros técnicos locales. Todavía queda mucho camino por recorrer para que la cultura de la evaluación y la precisión estadística se instale en la Argentina.

¿Hubo manipulación en otro sentido en las PISA 2015 de la Argentina? ¿El kirchnerismo manipuló para mejorar la posición en el ranking? Aquí llega una segunda respuesta. Hay varias cosas para señalar.

Primero, que los problemas que la OCDE pudo comprobar en el marco muestral argentino, ese listado de escuelas potencialmente evaluables que es responsabilidad de un funcionario educativo de nivel nacional en cada país, afectaron definitivamente la confiabilidad de la muestra evaluada y los resultados obtenidos.

Segundo, que este problema es sólo de la Argentina, porque ese listado amputado sería el reflejo de una reestructuración del sistema educativo de las provincias, que no le tocó a la ciudad y, por eso, pudo entrar en el ranking: su muestra no tendría problemas.

Tercero, que es tan significativa la merma en la cantidad de alumnos de la Argentina, tan delicada, que la OCDE tomó una decisión tajante. Incluyó a la Argentina en el reporte, pero con una salvedad o asterisco, tal como lo anticipó LA NACION, y dejó en claro que la muestra no era confiable de tan pequeña y que la comparabilidad con las ediciones anteriores quedaba herida para siempre.

La OCDE fue más lejos y excluyó del ranking PISA a la Argentina país. ¿Porque la Argentina alteró intencionalmente las muestras?

Para la OCDE, no hay evidencia de manipulación. Sin embargo, en una opinión pública como la argentina, entrenada en la lectura de la sospecha, falta mucha información para que se despeje la duda.

Falta comprobar si el recorte del listado de escuelas fue reflejo de una reestructuración del sistema educativo nacional. O si, en cambio, se trató de impericia de los cuadros técnicos del Ministerio de Educación kirchnerista. O si se trató, lisa y llanamente, de intento de manipulación para obtener mejores resultados. En ese caso, también debería actuar la Justicia.

Esas respuestas debe darlas la gestión del actual ministro de Educación de la Nación, Esteban Bullrich, que cuenta con los instrumentos estadísticos como para revisar el listado de escuelas. Por eso la pregunta acerca de si hubo manipulación de la muestra a nivel nacional sigue, por el momento, abierta.