Kitabı oku: «Prácticas de investigación aplicada a contextos educativos», sayfa 4

Funciones del sistema

Se prevé que el software permita la administración de evaluaciones en línea (administrador), que permita la aplicación del examen (examinados) y al término de éste elabore un reporte de resultados de acuerdo con el usuario de la información.

Requisitos de funcionalidad

En total se especificaron 24 requisitos de funcionalidad. A continuación se muestran los que resultaron claves para el diseño de salidea.

 R1. Registrar administrador: La cuenta de administrador debe ser creada por default. Es decir, el sistema debe de tener un primer usuario predeterminado al momento en que alguien desee administrar la prueba.

 R2. Actualizar datos del administrador: Una vez registrado el Administrador, aparecerán unos cuadros de texto, los cuales deben de ser llenados para actualizar la información de dicho usuario.

 R3. Registrar usuarios (examinados, profesores, padres de familia, directivos y autoridades educativas): Para darse de alta en el sistema es necesario hacer clic en el botón Crear cuenta; aparecerá un listado de roles y se podrá seleccionar la opción que corresponde a cada usuario. Enseguida aparecerán cuadros de texto que deben de ser llenados por el usuario correspondiente. Al momento de registrarse un usuario, el Administrador de Salidea recibirá una notificación que dicho usuario desea darse de alta, por lo que el Administrador cotejará en su base de datos si es factible que este usuario pueda darse de alta en el sistema. En caso de que se acepte la solicitud, el Administrador dará clic en el botón Aceptar solicitud. Al hacerlo, se le enviará un correo indicándole que su solicitud ha sido aceptada.

 R7. Pantalla principal: Al iniciar sesión, el usuario podrá ver el menú principal: éste tendrá una configuración particular dependiendo el usuario.

 R12. Datos generales de la prueba: Antes de administrar una prueba en Salidea, es necesario que se registren los datos generales del instrumento. Para ello, el Administrador dará clic en la opción Agregar prueba que se encuentra en el menú principal del Administrador, y enseguida aparecerán unos cuadros de texto que deben de ser llenados por el Administrador. Al dar clic en Guardar, aparecerá una nueva pantalla de captura de información relacionada con el contenido cuyo dominio se evalúa en la prueba. En la parte inferior de la pantalla aparecerán dos botones: Aceptar y Vista previa. El primero guarda la información seleccionada, mientras que el segundo permite visualizar la información cargada para detectar algún error en la captura.

 R13. Documentación de la prueba: Para mostrar los objetivos de la prueba, las evidencias de validez y otros aspectos relevantes del instrumento, el Administrador deberá agregar los documentos del desarrollo y validación del instrumento que fueron preparados por los autores de la prueba, mismos que estarán disponibles para todos los usuarios. Para cargar los documentos, dar clic en el botón Documentos de validación de la prueba. Aparecerán recuadros necesarios para subir dichos documentos. En la parte inferior de cada recuadro aparecerán los botones Buscar y Subir que permitirán localizar e incorporar a la base de datos dicha documentación. Al dar clic en este último control, se dará aviso al Administrador, en caso de éxito  o fracaso . Debajo de este aviso habrá un botón para Aceptar, mismo que llevará al usuario a la pantalla principal de la prueba.

 R15. Configuración de la prueba: Una vez que el examen se encuentra en Salidea, dar clic en Configurar la administración de la prueba. Aparecerá un menú con botones que representan opciones que el administrador puede activar o desactivar según determinados criterios.

 R16. Reporte de resultados: En esta sección es donde se integran las aplicaciones externas parrerc y pagi. Dichos programas de software operan bajo la Licencia Creative Commons Atribución —no comercial— Compartir Igual 4.0 Internacional y 3.0 Unported, respectivamente, y fueron elaborados para analizar los resultados de la prueba y generar reportes dirigidos a diversos tipos de usuarios. Además, con ellos se pueden obtener evidencias sobre la calidad técnica de la prueba mediante el cálculo de la dificultad, discriminación y funcionamiento de distractores de los ítems, así como la correlación de los ítems con el total de la prueba y la confiabilidad del instrumento. Según del tipo de usuario con el que se inició la sesión, será el formato y contenido del reporte.

 R21. Responder prueba: Para que los examinados respondan la prueba, es necesario que inicien sesión y vayan al menú principal y dar clic en el botón Prueba. Aparecerá una pantalla nueva en donde se podrán ver los datos generales de la prueba; además, se verá el botón de Iniciar prueba y al dar clic en él aparecerán las instrucciones generales y el primer ítem. Una vez que el examinado responda el primer ítem, aparecerá un icono en forma de flecha en la esquina inferior derecha y al dar clic en él se pasará al siguiente ítem; asimismo, aparecerá otro icono con una flecha en la esquina inferior izquierda; al dar clic en él se regresará al ítem anterior. La prueba tendrá otros elementos informativos que aparecen a la derecha de esta celda. Si llegara a ocurrir algún problema con la conexión a internet, o el alumno decidiera cerrar sesión sin haber terminado el examen, no se podrán guardar las respuestas que se hayan seleccionado.

 R24. Seguridad: En principio, el Administrador de salidea evita que alguna persona ajena pueda ver la prueba o los resultados, debido a que una persona no puede darse de alta en salidea sin previa aprobación del Administrador.

Con propósitos ilustrativos, en las figuras 2, 3 y 4 que aparecen a continuación, se presentan tres de los 24 diseños de los requerimientos que fueron analizados, en este caso los correspondientes a R1, R12 y R20.

Como se especificó en el requerimiento uno, lo primero que debe hacerse es registrar al Administrador. Enseguida se muestra la pantalla principal del sistema donde aparece por omisión la asignación del Administrador del sistema.

Figura 2. R1 Registrar administrador.

Figura 3. R12. Documentos con evidencias de validez de la prueba.

Figura 4. R20. Responder prueba.

El diseño de la interfaz gráfica del sistema incluyó una retícula para cada uno de los usuarios de la prueba, misma que muestra las pantallas diseñadas para cada usuario con sus correspondientes opciones de navegación. Se elaboraron manuales para los diferentes usuarios del sistema basados en el análisis de requerimientos, las retículas y la estructura general del sistema.

Finalmente, se elaboró una representación gráfica de la estructura del sistema, en la que se muestran todos los componentes y funciones de salidea y la incorporación de las aplicaciones externas pagi y parrerc, así como su funcionalidad dentro del sistema. La figura que se muestra a continuación presenta dicha estructura general de salidea.

En la figura se ilustran los requerimientos del sistema que se mencionaron con anterioridad, desde registrar los usuarios hasta entregarles el correspondiente reporte de resultados. También se muestra la forma en que se integran al sistema los programas analíticos pagi y parrerc. Es decir, se observa cómo al momento en que un estudiante responde la prueba, se creará una base de datos que se dividirá en: datos generales sobre los estudiantes que respondieron la prueba y datos sobre su ejecución en ella (las respuestas de los examinados en la prueba), los cuales a su vez se dividirán en: a) datos para análisis psicométricos; b) datos para analizar la ejecución por dominio y subdominio que fueron evaluados, y finalmente c) datos para analizar variables de contexto y su relación con la ejecución, los cuales serán incorporados por las aplicaciones pagi y parrerc, para analizar los resultados y elaborar los reportes de resultados específicos para cada uno de los usuarios.

Conclusiones

Como se comentó al inicio del presente capítulo, el reto principal del diseño de salidea fue lograr que el análisis de requerimientos del sistema atendiera los principales estándares psicométricos que orientan el desarrollo y aplicación de las pruebas; particularmente los correspondientes a la administración en línea de pruebas referidas a un criterio para evaluar el aprendizaje a gran escala. La idea fue incorporar al diseño del sistema dichas recomendaciones, con el fin de propiciar la obtención de evidencias de validez de la prueba y reducir posibles sesgos cuando los estudiantes la respondan. En cuanto a la manera específica en que se atendieron las recomendaciones de los organismos que norman las evaluaciones, tenemos los siguientes componentes que fueron considerados explícitamente en el diseño de salidea.

Respecto a los estándares psicométricos relativos al desarrollo de la prueba, cabe recordar que el foco de Salidea es la administración, no el desarrollo de pruebas. No obstante, en su diseño se consideró necesario que el sistema aportara información y evidencias de validez relacionadas con el contenido de la prueba. En consecuencia, el diseño de Salidea incluyó un componente para que el usuario Administrador incorpore las versiones del examen que se aplicarán, las secciones del manual técnico de la prueba, la documentación sobre la revisión del sesgo y la ofensa, así como el análisis psicométrico de los ítems y versiones, entre otros documentos que debe aportar la instancia que desarrolló la prueba.

En consecuencia, el diseño de salidea incorpora una sección al inicio de la prueba que proporciona al examinado información sobre los propósitos de la prueba, una descripción sobre la importancia de lo que se pretende medir, sobre cómo se seleccionaron los contenidos cuyo dominio se evalúa; o bien, proporciona instrucciones para responder o ejemplos de ítems que aparecen en la prueba, entre otros elementos. Con ello, una vez que el sistema se desarrolle estará en condiciones de ofrecer al examinado una prueba a responder y también información relacionada con ella que le resulte significativa y propicie su interés para responder el examen con seriedad. Lo mismo sucede con otros usuarios del sistema, como padres, profesores y directivos escolares, a quienes se ofrece información general y técnica sobre el instrumento que puede ser de su interés.

En cuanto a la atención de los estándares psicométricos relativos a la administración de las pruebas, que es el foco principal de este trabajo, el diseño de salidea consideró desde un inicio que el Administrador es el usuario central del sistema, y que el cumplimiento de este tipo de estándares resulta indispensable.

Respecto a la atención de los estándares psicométricos relativos a la calificación, análisis, interpretación y comunicación de resultados de la prueba, en principio dicha normatividad establece que el desarrollador de la prueba debe proporcionar la información necesaria, para orientar los análisis de los datos derivados de la prueba y la elaboración de los reportes de resultados obtenidos por grupos de examinados, así como la interpretación de los mismos; incluida también la información sobre quiénes fueron o no incluidos en los diferentes grupos que se comparan, y la información sobre las variables de contexto exploradas que pudieron influir en los resultados y en su interpretación.

Por otro lado, se consideró que le corresponde al desarrollador del examen especificar los usos apropiados de los resultados de la prueba y advertir a los usuarios sobre malos usos potenciales. Esta información debe ser oportuna, por lo que debe ser proporcionada antes de que se publiquen los resultados de la prueba, y estar escrita de manera simple y clara, para que sea comprendida por el examinado y los demás usuarios de la información. Además, el desarrollador debe proporcionar orientación a los usuarios sobre cómo monitorear el grado en que la prueba está cumpliendo con los fines previstos. En consecuencia, toda esta información deberá ser aportada a fin de que pueda ser incorporada al sistema.

Para ello, en el diseño de salidea se especificó que el Administrador incorpore la información que corresponda a esos aspectos en tres secciones que fueron diseñadas: Documentos con evidencias de validación de la prueba, Resultados y Aviso de privacidad, de modo que todos los usuarios puedan consultarlos en las secciones donde son publicados los resultados.

Respecto a los tipos de análisis y reportes de resultados que se consideraron en el diseño de salidea, en el R15. Análisis y reporte de resultados, se establece que en esta sección es donde se integran las aplicaciones pagi y parrerc que llevan a cabo tres procesos: a) califican el examen; b) calculan los parámetros tanto de los ítems (dificultad, discriminación, correlación punto biserial, funcionamiento de distractores, así como su representación gráfica), como de las versiones de la prueba (confiabilidad, distribución de la dificultad y la discriminación, nivel de ajuste a un modelo tri, etc.) y c) realizan los análisis de la ejecución general en la prueba y en cada una de las áreas de contenido que fueron evaluadas en el instrumento; además de los análisis que relacionan dichas ejecuciones con las variables de contexto que también fueron exploradas.

También se ilustraron varios de los componentes de la interfaz gráfica que fueron diseñados para representar las clases de resultados que el sistema debe presentar a los alumnos, docentes, padres de familia, directivos escolares y autoridades educativas. Además, se mostraron algunas retículas correspondientes a las interfaces gráficas que fueron diseñadas para dichos usuarios, en las cuales aparecen también las clases de datos que les corresponden.

En consecuencia, podemos decir que el diseño de salidea contempla los aspectos básicos considerados en los estándares que norman la calificación, análisis, interpretación y comunicación de resultados de la prueba, restando sólo que el sistema esté funcional y que con ello las aplicaciones pagi y parrerc puedan analizar y reportar los resultados de los ítems y de la prueba.

En cuanto a la atención de los principios y lineamientos del diseño universal de las evaluaciones, es necesario aclarar que algunos de los aspectos normativos que se han comentado a lo largo del presente documento debieron ser considerados previamente por el desarrollador de la prueba.

En cuanto a los aspectos que sí corresponden al sistema y fueron atendidos durante el diseño de salidea, podemos mencionar que se buscó diseñar una navegación simple y consistente, en donde los menús se encuentran organizados de forma lógica, clara y concisa; con enlaces que utilizan texto breve y significativo y a la vez son flexibles y funcionales para personas con habilidades diferentes.

Además, las herramientas y componentes de la interfaz que están disponibles en salidea se diseñaron cuidadosamente con base en dicha normatividad. Por ejemplo, se maximizó el contraste: utilizando un fondo color blanco y en los menús un gris tenue; y letras de color negro para que se puedan leer y ubicar las opciones con facilidad. Se utilizó la fuente aphont, de 14 puntos, recomendada por la Imprenta Americana para Ciegos, entre muchos otros aspectos que fueron considerados.

De esta manera, a partir de lo que se comentó anteriormente, puede concluirse que el diseño de salidea logró atender e incorporar varios de los estándares que se proponen en la literatura especializada para la administración de las pruebas, y que en buena medida se atendieron las recomendaciones que se formulan en el contexto del diseño universal de las evaluaciones. Por lo menos se consideraron las más básicas y las que fueron relativamente fáciles de plasmar en el diseño.

Por otra parte, resultó más difícil incorporar en el diseño las recomendaciones derivadas de los estándares psicométricos para el desarrollo de las pruebas, y los correspondientes a la calificación, análisis, interpretación y reporte de resultados del examen. Sobre tales aspectos, el diseño de Salidea sólo considera los componentes para integrar los documentos que los desarrolladores deben aportar al usuario Administrador, la sección del sistema donde éste debe incorporarlos y las secciones de la interfaz gráfica donde finalmente pueden consultar los demás usuarios. Eso sucede con los componentes para efectuar análisis y reportes de resultados de la prueba, sobre los cuales únicamente se detallan los tipos de análisis básicos que deben realizarse, tanto psicométricos como los que muestran el logro de los examinados en la prueba, referido a los dominios y subdominios que son evaluados. Sin embargo, nada se dice sobre la estructura de la base de datos relacional que se requiere, ni sobre la interfaz gráfica donde se especifiquen los análisis a realizar o los tipos de datos que integrarán los reportes de resultados que se entregarán a los diferentes usuarios.

Desarrollo futuro

Para una segunda versión de salidea, se considera conveniente agregar los siguientes elementos:

 Nuevos usuarios, como los propios desarrolladores de la prueba que incorporen directamente la documentación técnica de la prueba y reciban del sistema realimentación psicométrica y de otros tipos para el rediseño del instrumento.

 Componentes para facilitar los trabajos de jueceo de comités de examen, como los que convaliden en línea las especificaciones de los ítems o quienes califiquen en línea mediante rúbricas las respuestas a ítems de ensayo.

 Componentes que permitan monitorear la aplicación del examen a distancia, mediante cámaras web que hagan posible que el Administrador pueda resolver problemas y dudas inmediatamente.

 Componentes para atender otros lineamientos del diseño universal, como incorporar audio a los ítems a fin de que estudiantes con limitaciones visuales puedan leer y escuchar el ítem las veces que sea necesario.

 Cuando el sistema diseñado esté funcional, se requiere efectuar un pilotaje previo a su operación, que puede incluir una encuesta de salida a los usuarios, para asegurar que los elementos diseñados con base en la normatividad atiendan sus necesidades de información y resulten funcionales y efectivos.

Bibliografía

Consejo Asesor Externo del Centro Nacional de Evaluación para la Educación Superior (2000). Estándares de Calidad para Instrumentos de Evaluación Educativa. México: Ceneval.

gómez, f. (2011). Análisis de requisitos de software. México: Universidad Autónoma Metropolitana.

Joint Committee on Testing Practices (2014). American Educational Research Association (aera), American Psychological Association (apa) y National Council on Measurement in Education (ncme). Standards for educational and psychological testing. Washington: American Educational Research Association.

Joint Committee on Testing Practices (1999). American Educational Research Association (aera), American Psychological Association (apa) y National Council on Measurement in Education (ncme). Standards for educational and psychological testing. Washington: American Educational Research Association.

Joint Committee on Testing Practices (2004). Code of fair testing practices in education. Washington: American Psychological Association.

thompson, S. J., Johnstone, C. J., y Thurlow, M. L. (2002). Universal design applied to large scale assessments (Synthesis Report 44). Mineápolis: University of Minnesota, National Center on Educational Outcomes. Recuperado el 13 de diciembre de 2014 de http://education.umn.edu/nceo/OnlinePubs/Synthesis44.html

tristan, a. y Vidal, R. (2006). Estándares de calidad para pruebas objetivas. Bogotá: Aula Abierta.