7 pecados capitales de la PSU, según informe encargado por Mineduc

Varios remezones provocó el informe encargado por el Ministerio de Educación a la empresa Pearson, respecto a la Prueba de Selección Universitaria (PSU), dado a conocer hoy. En sus 700 páginas las críticas son variadas y van desde la elaboración misma del test hasta la calidad de predictibilidad del instrumento.

La revisión se enfocó en tres áreas: la evaluación de los procesos de construcción de las pruebas, el análisis de la puntuación de las pruebas y un estudio de su validez. Acá están los principales puntos de cuestionamiento.

1. Construccción de la prueba

/ Agencia Uno

 

El informe señala  que,  si bien en la  elaboración de preguntas se reconoce la experiencia profesional de los equipos a cargo, no participan del proceso de revisión y análisis expertos que no sean parte del Departamento de Evaluación, Medición y Registro Educacion al (Demre). De ahí que el informe recomienda la mejora en la documentación que guía  los procesos; la realización de estudios específicos;  la inclusión de expertos en currículum, y profesores de enseñanza media que representen a más de una institución; y la realización de auditorias periódicas.

2. Problemas con las preguntas

/ Agencia Uno

 

Otro problema detectado es que las preguntas disponibles y que finalmente llegan a la PSU no se testean o experimentan de manera adecuada. Todos los años se prueban las preguntas o ítems con un grupo de estudiantes que rinden el examen de manera voluntaria (Pilotaje), antes de la PSU. Sin embargo, según el informe de Pearson, la muestra que realiza este examen no es representativa del total de la población que rinde la Prueba de Selección Universitaria. También se critica que en la construcción de las preguntas, el proceso permite que éstas sean cambiadas después de ser testeadas, por lo que las preguntas finales quedan sin una última revisión que analice si tienen problemas de sesgo.

3. Respuestas Correctas e Incorrectas

/ Agencia Uno

El informe señala que el nivel de omisión, tanto cuando se testean las preguntas como cuando se rinde la Prueba de Selección Universitaria, son más altos que a nivel internacional. La recomendación es reconsiderar que se descuenten respuestas buenas por una cantidad de respuestas malas, dado que esto no es una práctica habitual en otros sistemas a nivel mundial. También se señala que las preguntas están centradas en la enseñanza científico humanista, por sobre la modalidad técnico-profesional.

4. Puntuación de la pruebas

/ Agencia Uno

La validez de la predictibilidad del instrumento es baja comparada con la experiencia internacional. Se detectó que falta un método que permita que la escala de puntajes de la PSU sea equivalente entre las distintas aplicaciones y de un año a otro. Además que los márgenes de error de algunas pruebas son altos. Es inadecuado usar un puntaje único para las pruebas de ciencias, ya que se basa en un principio de equivalencia de las disciplinas evaluadas y no son comparables, por lo que el informe recomienda reportar sus resultados de forma independiente

5. Problemas de Sesgo

/ Agencia Uno

En la PSU hay un indicador denominado DIF, que alerta si las preguntas al ser testeadas, tendrían algún problema de sesgo, tanto de género como por tipo de establecimiento. Según el informe de Pearson, después de esta alerta no se realiza un análisis cualitativo de la pregunta, por lo que en el banco de preguntas quedan aquellas que podrían tener algún problema de sesgo. Se recomienda además  que se integren DIF relacionados con el nivel socioeconómico, modalidad educacional y región de procedencia. Asimismo se detectó que falta un método que permita que la escala de puntajes de la PSU sea equivalente entre las distintas aplicaciones y de un año a otro. Además, que los márgenes de error de algunas pruebas son altos.

6. Comprender el significado de la PSU

/ Agencia Uno

Se considera que no existe suficiente explicación para los jóvenes que rinden el examen y otros actores relevantes comprendan el significado de los resultados de la Prueba de Selección Universitaria, por lo que el equipo evaluador recomienda que en cada uno de los reportes  se entregue información adicional que permita interpretar los puntajes.

 

7. Validez de las Pruebas

/ Agencia Uno

 

Se determinó que hay problemas de sesgo que afectarían principalmente a los estudiantes técnico-profesionales. Además del hecho que las pruebas tienen un alineamiento bajo con los objetivos fundamentales y los contenidos mínimos obligatorios del curriculum chileno, por lo que se recomienda una revisión. Se dice además que al desagregar los puntajes por dependencia y modalidad educacional, los puntajes han aumentado para el caso de los establecimientos particulares pagados y modalidad científico humanista en desmedro de la modalidad técnico profesional. Además las brechas de acuerdo al nivel socioeconómico son más altas que lo que se refleja internacionalmente. Concluye que la capacidad de predicción respecto al desempeño en la universidad de los estudiantes que rinden la PSU, si bien existe, es menor que la de otras pruebas internacionales.