La selección múltiple es probablemente el formato de preguntas que más se usa tanto en pruebas estandarizadas como en pruebas con propósito formativo. Así, la calidad de las preguntas de selección múltiple (PSM) es un tema crucial en evaluación educativa. Ya sea que provengan de pruebas aplicadas en la educación básica, media, o superior, las PSM suelen presentar defectos de construcción. Como estas imperfecciones afectan negativamente las propiedades psicométricas de los ítems y tests, mejorar la calidad de las PSM es una meta prioritaria para los sistemas educativos, en particular cuando se trata de aplicar pruebas masivas, sean formativas como el DIA o de altas consecuencias como la PAES. Para mejorar la calidad de las PSM, existen diferentes estrategias (uso de guías de referencia sobre construcción de ítems, revisión por pares, análisis de ítems), pero todas requieren un tiempo que muchos constructores no poseen o, en el caso de las pruebas estandarizadas, tienen un costo de producción en horas hombre muy alto. Es entonces necesario diseñar nuevas estrategias para mejorar la calidad de las PSM, en el sentido amplio de corregir imperfecciones y optimizar los tiempos de producción. Una estrategia innovadora y potencialmente muy efectiva para eso sería automatizar la etapa de revisión.

Este proyecto propone desarrollar un sistema de revisión de ítems llamado SARI, que detecte automáticamente las imperfecciones de construcción catalogadas. El trabajo de SARI se basa principalmente en el reconocimiento de propiedades del texto, tales como la presencia de ciertas palabras claves o el recuento de caracteres, y en el análisis semántico y sintáctico de los distractores por técnicas de Procesamiento de Lenguaje Natural. Al final del proyecto, se espera que SARI pueda asistir a los constructores y revisores de ítems de la Agencia de Calidad de la Educación y del DEMRE/Subsecretaria de Educación Superior.

Público objetivo: docentes universitarios, profesores de colegio, académicos, psicometristas, y otros profesionales interesados en evaluación educativa

Fecha: miércoles 22 de junio, 17-19h

Link de acceso:  ZOOM (online) https://us02web.zoom.us/j/85288857619  

Organiza: CIAE del IE, Universidad de Chile / FONDEF ID21I10343

 

Programa

17:00	Bienvenida. Pablo Dartnell, Investigador CIAE/IE, director del proyecto FONDEF ID21I10343 Juan Bravo Miranda, Secretario Ejecutivo Agencia de Calidad de la Educación, MINEDUC Danny Avello, Asesor técnico y profesional de la División de Información y Acceso de la Subsecretaría de Educación Superior MINEDUC María Leonor Varas, directora del DEMRE, Universidad de Chile Alejandra Mizala, directora del CIAE/IE, Universidad de Chile
17:30	Carla Barrios, profesional de la División de Evaluación de Logros de Aprendizaje, Agencia de Calidad de la Educación Construcción y revisión de los ítems de las pruebas DIA: potencial aporte de la automatización de procesos
17:50	Daniela Jiménez, directora del Área de instrumentos, DEMRE, Universidad de Chile Vida de los ítems de la PSU, PDT, y PAES: construcción, revisión, ensamblaje y análisis
18:10	Séverin Lions, director alterno FONDEF ID21I10343 SARI, un nuevo asistente chileno para la revisión de ítems: concepto, relevancia, originalidad, y metas
18:40	Panel debate y preguntas de público
19:00	Cierre