Aseguramos que los fallos en las pruebas hacen que los resultados del informe PISA no sean fiables

Ante las evidentes pruebas de que esas respuestas adulteraban los resultados del resto de las materias, la Comunidad de Madrid solicitó a la OCDE que no los publicase hasta que se conociese qué había sucedido realmente, algo a lo que el organismo internacional finalmente se ha negado.

Según ha destacado hoy el consejero de Educación y Juventud de la Comunidad de Madrid, Enrique Ossorio, los datos de la serie histórica desde que PISA hace muestra ampliada por regiones reflejan que nunca, en ninguna comunidad autónoma, la variación en los resultados de las competencias analizadas entre una edición y otra había sido tan grande como ha ocurrido en los resultados de Ciencias en la Comunidad de Madrid (-27 puntos). 

De hecho, si se compara la variación de los resultados de la media de España en Ciencias y Matemáticas con la misma variación en la Comunidad de Madrid, (-5 en Matemáticas y -10 en Ciencias de España frente a -17 y -29 de Madrid respectivamente), se observa que la variación se triplica, y precisamente, en nuestra Comunidad, el porcentaje de errores también se triplica cuando aplicaban la prueba los grupos 2,3 y 6 que se corresponden con un tercio de los grupos de aplicadores.

16,5 puntos más sin los errores extraños en lectura 

La Comunidad de Madrid ha detectado que en aquellos centros en los que las pruebas fueron realizadas por estos tres grupos concretos de aplicadores, el porcentaje de error se triplica con respecto al resto de grupos. En concreto, un tercio de los grupos de aplicadores de exámenes en la región obtuvieron notas inverosímiles. A la hora de analizar los datos, la Consejería de Educación y Juventud señala que si se eliminan los resultados en Lectura de estos aplicadores con resultados extraños, la nota media sería de 16, 5 puntos más. 

Asimismo, la Comunidad de Madrid ha detectado otros errores en los mismos aplicadores citados anteriormente, como que en la base de datos indica que la fecha de celebración de la prueba fue 2017, cuando las pruebas se llevaron a cabo realmente en 2018. Asimismo, también ha revelado que un total de 69 alumnos no realizaron ninguna prueba y, sin embargo, pero fueron tenidos en cuenta para la media de resultados global, por lo que es como si les hubiesen calificado con un cero.

Fluidez lectora afecta a todas las pruebas 

En cada prueba, que se realiza cada tres años, la OCDE otorga mayor importancia a una de las partes (Lectura, Matemáticas y Ciencias). En esta ocasión ha sido Lectura, y como novedad PISA ha incluido preguntas sobre fluidez lectora, cuyas respuestas influían directamente los resultados de todas las competencias analizadas. 

La propia OCDE detectó que un grupo importante de alumnos utilizó menos de 25 segundos en total para responder a las 20 preguntas correspondientes a esta sección nueva de fluidez lectora. Mientras, los estudiantes que dedicaron el esfuerzo adecuado en la resolución de estas mismas preguntas emplearon mucho más tiempo, con un rango que iba desde los 50 segundos hasta más de 2 minutos. 

De igual forma, el comunicado de la OCDE señaló que algunos estudiantes españoles respondieron estas preguntas siguiendo ciertos patrones carentes de toda lógica, es decir, respondieron a todas SI o a todas NO. 

El 60% no realizó las pruebas de matemáticas o ciencias 

Según la metodología establecida no todos los alumnos hacen todas las pruebas, de hecho, el 60 % de los alumnos no realizó la prueba de Matemáticas o Ciencias, por lo que su nota de estas materias se estimó a través de la prueba de Lectura, cuyos resultados estaban alterados. Pese a estas evidencias, la OCDE ha decidido dar a conocer los resultados que para la Comunidad no tienen ninguna validez.

El consejero de Educación y Juventud ha señalado que “si la propia OCDE ha considerado que hay patrones de respuestas inverosímiles que invalidan los resultados de lectura, tras los informes facilitados por la Comunidad de Madrid, es totalmente incoherente que se publiquen datos que están afectados negativamente”.

No es la primera vez que la OCDE anula los resultados de algunos países en las pruebas PISA. Concretamente en 2006, en Estados Unidos hubo problemas con la impresión de la prueba en papel de algunos cuadernillos lo que afectó notoriamente los ítems relativos lectura, y por esta razón, los datos no se incluyeron en el promedio de la puntuación de la OCDE. En 2015, en  Argentina hubo una alteración de los centros seleccionados y los resultados fueron anulados y excluidos por la OCDE.

Falta de transparencia 

La Comunidad de Madrid ha exigido a la OCDE mayor transparencia a la hora de desarrollar las pruebas PISA ya que no ofrece explicaciones suficientes a las entidades que sufragan la realización de estas evaluaciones. La organización  subcontrata la mayoría de los trabajos y a los examinadores que llevan a cabo las pruebas en los centros educativos, que son los mismos que realizan las labores posteriores de tratamiento de datos y análisis. 

Por ello, el Ejecutivo regional ha pedido a la OCDE que exija estándares rigurosos de calidad que garanticen la fiabilidad de estas empresas, porque buena parte del correcto desarrollo de las pruebas PISA dependen de estas empresas y sus trabajadores. 

Cambio de metodología 

Asimismo, el Gobierno madrileño ha criticado que la OCDE haya introducido en el informe PISA a 42 países que no forman parte de la propia organización internacional, lo que se ha traducido en una modificación de la metodología de las diferentes pruebas, restando fiabilidad a las comparaciones entre años países y regiones. La propia OCDE afirma en su propia web que esta adaptación ha originado que PISA sea más sensible a los alumnos de bajo rendimiento y menos sensible a los de alto rendimiento, lo que puede afectar negativamente a los países que obtenían mejores resultados.