Kitabı oku: «Prácticas de investigación aplicada a contextos educativos», sayfa 3

Directrices para la traducción
y adaptación de pisa 2012

Las directrices para la traducción y adaptación de pisa son un claro ejemplo de la importancia de contar con procesos rigurosos y específicos en traducción y adaptación de pruebas de medición psicológica o educativa. pisa es un estudio realizado en un gran número de países con diferentes idiomas, culturas y sistemas escolares, orientados a la evaluación de las competencias de los estudiantes en lectura, matemáticas, ciencia y resolución de problemas. Estas evaluaciones incluyen cuestionarios de contexto que ayudan a explicar las diferencias observadas en los resultados obtenidos entre y a través de los países, así como manuales de operaciones y de procedimientos que buscan asegurar la estandarización de la aplicación de los instrumentos.

Dado que uno de los objetivos de esta evaluación es realizar comparaciones internacionales, la equivalencia de los instrumentos y materiales utilizados es un requisito imprescindible. Por ello, el consorcio responsable de la implementación de pisa elaboró un conjunto de recomendaciones y directrices, para asegurar la equivalencia de todas las versiones de cada país, a través de un proceso de traducción que no introduzca sesgo o comprometa las comparaciones internacionales entre las pruebas (Organization for Economic Co-operation and Development, 2010).

Las directrices para la traducción y adaptación de pisa están basadas en la revisión de la literatura internacional de test, en directrices similares desarrolladas en estudios previos y en la experiencia adquirida de la verificación de los materiales de pisa. Dichas normas se organizan en seis secciones:

 Directrices generales de traducción/adaptación. Establecen la necesidad de construir los test, cuestionarios de contexto y otros materiales de apoyo a través del trabajo de dos traductores independientes y de la posterior revisión de una tercera persona, quien concilia una sola versión. Asimismo, se debe documentar cualquier adaptación, cultural o de uso local, implementada a los materiales de evaluación. Este conjunto de directrices también considera el análisis de los ítems, para determinar las cualidades psicométricas de los mismos.

 Instrucciones generales. Incluyen la descripción de los materiales utilizados en la evaluación, así como de las obligaciones de las personas responsables del proyecto en cada país, los requerimientos de seguridad y los perfiles y las obligaciones de los traductores y del conciliador. En el mismo sentido, se resalta la importancia de hacer un seguimiento meticuloso de cualquier error identificado y de las modificaciones a cualquier material de evaluación.

 Traducción de instrumentos. Incluye recomendaciones que tratan con los obstáculos comunes en el proceso de traducción de los materiales, tales como la variación de una versión a otra, de la presentación de las ilustraciones y los elementos gráficos, la inclusión de expresiones propias del idioma, técnicas, afectivas, metafóricas, etcétera.

 Adaptación de material cognitivo. Se incluye un listado de cuidados que se consideran deseables, aceptables u obligatorios cuando se traducen los test cognitivos de pisa. Se trata de evitar que los estudiantes se enfrenten a expresiones o conceptos que no les son familiares, pero sin alterar el significado sustantivo del texto o del ítem. De manera general, no se deben adaptar o alterar los formatos de los ítems, o incluir notas explicativas o instrucciones adicionales; y se debe valorar la pertinencia de adaptar nombres de personas, lugares, símbolos, abreviaciones y fórmulas matemáticas.

 Directrices específicas sobre la traducción de cuestionarios de contexto. Para traducir adecuadamente los cuestionarios de contexto, la cuestión central es mantener el mismo significado, en todas las versiones de los países participantes, de las preguntas sobre el contexto educativo y las instrucciones de ejecución del cuestionario. Para ello, los responsables de la evaluación deben encontrar las palabras o expresiones de mayor equivalencia con la versión original.

 Directrices específicas sobre la traducción de los manuales de operación. Consideran procedimientos que pueden, o no, modificarse en los manuales de aplicación. Además, se hace hincapié en la elaboración de un registro detallado y completo de todos los cambios realizados a cada estímulo, ítem o procedimiento, pues esta información es necesaria para la interpretación de los resultados y en la revisión de la calidad psicométrica de los ítems.

Como parte de los procedimientos de control de calidad implementados por pisa, se incluyó un listado de verificación que es utilizado por los revisores internacionales, para identificar posibles problemas de traducción, y sugerir modificaciones y correcciones.

El objetivo principal de estas directrices es asegurar que el proceso de traducción no introduzca sesgos que distorsionen las comparaciones internacionales, como pueden ser: a) la alteración de la dificultad de textos, gráficos o tablas utilizadas como estímulos en los test, b) la alteración de la dificultad de un ítem de manera que se modifique el tipo de estrategia mental requerido para responder, c) la introducción de ambigüedades que perjudiquen la medición de las variables de los cuestionarios de contexto, o d) la inadecuada adaptación de manuales al contexto nacional para que se modifiquen los procesos de muestreo, aplicación o calificación.

Consideraciones finales

En este capítulo se describieron los principales documentos que orientan las prácticas de desarrollo, adaptación y traducción de instrumentos de medición psicológicos y educativos. De manera general, los documentos y argumentos aquí presentados coinciden en destacar que la aplicación de instrumentos válidos y confiables en otros países, desarrollados en apego a marcos conceptuales pertinentes, no aseguran que éstos midan lo mismo en poblaciones y contextos diferentes.

La presente revisión sirve como marco al conjunto de investigaciones realizadas en nuestro país (aún reducido) que reconocen la necesidad de utilizar metodologías, procedimientos y esquemas analíticos que proporcionen equidad en las evaluaciones y justicia a los examinados, con reconocimiento a la contribución que hacen las diferencias culturales en la explicación de los resultados educativos (Byrne et al., 2009; Solano et al., 2009; inee, 2011). Sirva este trabajo para difundir el contenido de documentos aquí referidos y como orientación para todos aquellos involucrados en procesos de desarrollo, validación y adaptación de instrumentos de medición psicológica o educativa.

Bibliografía

American Education Research Association, American Psychological Association y National Council on Measurement in Education (1999). Standards for Educational and Psychological Testing 1999. Washington: American Education Research Association.

American Education Research Association, American Psychological Association y National Council on Measurement in Education (2014). Standards for Educational and Psychological Testing 2014. Washington, dc: American Education Research Association.

American Education Research Association, American Pychological Association y National Council on Measurement in Education (1985). Standards for Educational and Psychological Testing 1985. Washington, dc: American Education Research Association.

byrne, b. m., Oakland, T., Leong, F. T. L., Van de Vijver, F., Hambleton, R. K., Cheung, F. M., y Bartram, D. (2009). A critical analysis of cross-cultural research and testing practices: Implications for improved education and training in psychology. Training and Education in Professional Psychology, 3 (2), 94-105. doi: 10.1037/a0014516.

elosua, p. (2012). Test publicados en España: usos, costumbres y asignaturas pendientes. Papeles del Psicólogo, 33 (1), 12-21.

geisinger, k. (1994). Cross-cultural normative assessment: Translation and adaptation issues influencing the normative interpretation of assessment instruments. Psychological Assessment, 6 (4), 304-312.

hambleton, r. k. (1996). Guidelines for adapting educational and psychological tests: A progress report. European Journal of Psychological Assessment, 10, 229-240.

hambleton, r. k. (2001). The next generation of the itc test translation and adaptation guidelines. European Journal of Psychological Assessment, 17 (3), 164-172.

hambleton, r. k. (2004). Theory, methods and practices in testing for the 21st century. Psicothema, 16(4), 696-701.

hambleton, r. k., Mereda, P. y Spielberger, C. (2005). Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Nueva Jersey, Londres: Lawrence Erlbaum Associates.

hambleton, r. k., Yu, J. y Slater, S. C. (1999). Field test of the itc Guidelines for adapting educational and psychological tests. European Journal of Psychological Assessment, 15 (3), 270-276.

Instituto Nacional para la Evaluación de la Educación (2011). La teoría del error de traducción de pruebas y las evaluaciones internacionales de timss y pisa. México: Instituto Nacional para la Evaluación de la Educación.

International Test Commission (2010). International Test Commission Guidelines for Translating and Adapting Tests. Recuperado de http://www.intestcom.org

klerk, g. (2008). Cross-cultural testing. In Online Readings in Testing and Assessment. International Test Commission. Recuperado de http://www.intestcom.org/Publications/Orta.php

Muñiz, J., Elosua, P. y Hambleton, R. K. (2013). Directrices para la traducción y adaptación de los tests (segunda edición). Psicothema, 25 (2), 151-157.

Muñiz, J., Fernández-Hermida, J. R., Fonseca-Pedrero, E., Campillo-Álvarez, Á., y Peña-Suárez, E.(2011). Evaluación de test editados en España. Papeles del Psicólogo,32 (2), 113-128.

Organization for Economic Co-operation and Development (2010). Translation and adaptation guidelines for pisa 2012. Recuperado de http://www.oecd.org/pisa/pisaproducts/49273486.pdf

solano flores, g., Backhoff, E. y Contreras-Niño, L. Á. (2009). Theory of Test Translation Error. International Journal of Testing, 9 (2), 78-91. doi: 10.1080/15305050902880835

tanzer, n. k. (2005). Developing Tests for Use in Multiple Languages and Cultures a Plea for Simultaneous Development. En Hambleton, R. K., Mereda, P. y Spielberger, C. (2005). Adapting Educational and Psychological Tests for Cross-Cultural Assessment. Mahwah, New Jersey: Lawrence Erlbaum Associates.

tanzer, n. k. y Sim, C. Q. (1999). Adapting instruments for use in multiple languages and cultures: A review of the itc Guidelines for Test Adaptations. European Journal of Psychological Assessment, 15 (3), 258-269.

Sistema para administrar
en línea instrumentos
de evaluación del aprendizaje

zulma sarabia ocampo

luis ángel contreras niño

juan carlos rodríguez macías

joaquín caso niebla

Resumen

Este capítulo presenta un estudio que tuvo como objetivo diseñar un sistema de cómputo, alineado a estándares de calidad técnica de las evaluaciones, que permita administrar en línea instrumentos estandarizados como exámenes de referencia criterial para evaluar el aprendizaje, así como analizar y elaborar reportes de resultados específicos para diferentes usuarios.

El sistema se denominó salidea (Sistema para Administrar en Línea Instrumentos de Evaluación del Aprendizaje). El diseño incluyó desarrollar componentes y funciones que permitan incorporar un examen de referencia criterial, la correspondiente documentación que debe acompañar al instrumento y las evidencias que avalan su calidad técnica, de modo que sea posible llevar a cabo su aplicación estandarizada. Además, su diseño incluye elementos que permiten, al concluir la evaluación, analizar y reportar de manera inmediata, simple y significativa los resultados generales y específicos a los diferentes usuarios de la información. Para propiciar que el diseño de salidea estuviera alineado a los principales estándares psicométricos y principios del diseño universal que norman este tipo de evaluaciones, se realizó una amplia revisión de aquellos que han sido propuestos por diversos expertos y organismos especializados nacionales e internacionales.

La revisión de dicha literatura orientó el análisis de requerimientos del sistema, el cual detalla los rasgos operacionales del software; a la vez que encauzó el diseño de la interfaz gráfica. Finalmente, se diseñó un elemento clave de salidea; un modelo gráfico que presenta la estructura y funcionamiento del sistema, en el que se muestran los componentes y relaciones de salidea.

Palabras clave: evaluación en línea, sistema, estándares psicométricos, análisis de requerimientos, interfaz gráfica.

Introducción

Las pruebas que se aplican a gran escala usualmente tienen un impacto importante sobre los estudiantes que responden la prueba y sobre sus familias, profesores y escuelas. Ello ha ocasionado que en los contextos internacional y nacional se norme su construcción mediante estándares para su desarrollo y su administración, así como para el análisis y reporte de sus resultados. En el contexto internacional han tenido una influencia considerable los estándares propuestos por el Joint Commitee on Testing Practices (apa, aera, ncme, 1999; 2004, 2014), además de los formulados por otras organizaciones como el Center for Universal Design (1997), o por autores como Thompson, Johnstone y Thurlow (2002). En el contexto latinoamericano destacan los emitidos por el Consejo Asesor Externo del Ceneval (2000) y por Tristán y Vidal (2006).

A continuación se presenta un diagrama en el que se muestran las fases que se realizaron para la elaboración del diseño de salidea.

Como puede observarse en el diagrama, lo que primero se hizo fue considerar las necesidades de los usuarios del sistema, en este caso representadas por los estándares psicométricos y principios del diseño universal de las evaluaciones. Además se hizo una revisión de diversos sistemas de cómputo para conocer las características de éstos. Se realizó la especificación de los estándares que serían posibles ejecutar en salidea. Enseguida se procedió a especificar los requerimientos necesarios para identificar las funciones del sistema. A partir de los requerimientos funcionales del sistema que fueron identificados, se procedió a elaborar un diseño preliminar del sistema de evaluación que produjo las ventanas de la interfaz, con sus controles y funciones de navegación. Finalmente, se hizo un diseño detallado de estos componentes para cada uno de los usuarios de salidea, mismo que fue representado gráficamente mediante una retícula que muestra los componentes y relaciones entre ellos, que fueron considerados para cada usuario.

A continuación se muestran tres tablas en las que se describen los estándares para el desarrollo de las pruebas (tabla 1), para la administración de pruebas (tabla 2), y para la calificación, interpretación y elaboración de informes de los resultados de las pruebas (tabla 3), mismos que fueron tomados en cuenta para diseñar salidea. Asimismo, se presenta una tabla (tabla 4) en donde se describen las características de máxima legibilidad textual consideradas al diseñar. Cabe señalar que en las tablas sólo aparecen los estándares o características que resultan significativos para la aplicación de las pruebas en línea y los que fue posible implementar en el diseño, por lo que no se consideran otros que sólo hacen sentido para la aplicación a gran escala de pruebas de lápiz y papel.

Tabla 1. Estándares psicométricos relativos al desarrollo de la prueba, que fueron atendidos al diseñar salidea
Organismo	Año	Estándar	salidea	Componente
Joint Commitee on Testing Practices	1999; 2004	Proporciona evidencia de lo que mide el examen.	Presenta sección con los propósitos de la prueba, descripción e importancia de lo que pretende medir. Indica cómo se seleccionaron los contenidos y cómo se evaluará y proporciona ejemplos.Además tiene una sección donde muestra las propiedades psicométricas de los ítems y versiones de la prueba.	Sección de inicio de la pruebaManual del instrumento
Joint Commitee on Testing Practices	1999; 2004	Describe cómo fueron seleccionados los contenidos del examen y cómo fue desarrollado el instrumento.	Una sección del manual de la prueba muestra la estructura, especificaciones de ítems y el proceso para su elaboración y validación.	Manual del instrumento
	1999; 2004	Evita el contenido o lenguaje potencialmente ofensivos cuando se desarrollan los ítems de la prueba y los materiales relacionados.	Los ítems son revisados por el desarrollador del examen y el administrador de Salidea, para evitar penalizar u ofender a determinados estudiantes (mujeres, indígenas, etc.).	Desarrollador del examenAdministrador de salidea
	2000	Presenta el manual de la prueba.	Presenta la documentación del examen y ejemplos de los ítems que forman la prueba (opción múltiple, respuesta breve, etc.).	Manual del instrumento
Consejo Asesor Externo Ceneval	2000	Anticipa y hace explícito el desarrollo de la aplicación.	Presenta sección de instrucciones sobre cómo se llevará a cabo la aplicación del examen (tiempo, forma, condiciones, etc.).	Instructivo para el examinado

Fuente: elaboración propia basada en Joint Commitee on Testing Practices (1999; 2004) y Consejo Asesor Externo del Ceneval (2000).

Cabe señalar que, aunque el diseño de Salidea se enfoca en un sistema para la administración de pruebas, y que por ello no incluye un componente para el desarrollo de exámenes, se considera que debe atender también esta clase de estándares que especifican que la administración debe incluir información a los examinados sobre tales cuestiones. Lo anterior significa que, cuando eventualmente fuera utilizado Salidea por alguna persona o institución para dar de alta y administrar un examen, deberá incorporar la información, correspondiente a lo que se especifica en la columna de la derecha de la tabla anterior, en particular contar con el manual del examen.

Tabla 2. Estándares psicométricos relativos a la administración de las pruebas, que fueron atendidos al diseñar salidea
Organismo	Año	Estándar	salidea
Joint Commitee on Testing Practices	1999; 2004	Proporciona pautas sobre procedimientos razonables para la evaluación de personas con discapacidades que necesitan adaptaciones especiales.	Atiende las necesidades de personas con dificultades visuales mediante el uso de fuente especial APHont. Además se cuenta con botones para aumentar el tamaño de las figuras y el de la letra en los textos, mediante la tecla Ctrl y la rueda del mouse.
Joint Commitee on Testing Practices	1999; 2004	Proporciona información sobre los formatos y procedimientos para responder las preguntas del examen, y sobre el uso de material y equipo necesario.	Presenta una sección donde aparece la prueba y el instructivo para responderla.
Joint Commitee on Testing Practices	1999; 2004	Establece e implementa procedimientos que garantizan la seguridad de los materiales durante el desarrollo, administración, puntuación y elaboración de informes de la prueba.	Cuenta con candados de seguridad para darse de alta y para ingresar al sistema; evita que personas ajenas puedan ver la prueba o los resultados.Sección donde los diferentes destinatarios pueden consultar, previo ingreso protegido, el reporte de resultados del examen que le corresponde a cada uno de ellos.

Fuente: elaboración propia basada en Joint Commitee on Testing Practices (1999; 2004); Consejo Asesor Externo del Ceneval (2000).

El administrador es el responsable de exigir que la prueba cuente con componentes tales como información sobre los formatos y procedimientos para responder las preguntas del examen, y sobre el uso de material y equipo necesario al momento de responder la prueba, además establece procedimientos que garantizan la seguridad de los materiales durante el desarrollo, administración, puntuación y elaboración de informes de la prueba.

Tabla 3. Estándares psicométricos relativos a la calificación de la prueba, la interpretación de sus resultados y la elaboración de informes de resultados de la prueba, que fueron atendidos al diseñar salidea
Organismo	Año	Estándar	salidea
Joint Commitee on Testing Practices	1999; 2004	Proporciona resultados de las pruebas de manera oportuna y de forma que se entiendan por parte del examinado.	Los reportes de salidea presentan la información apropiada para cada usuario, de manera inmediata, simple y significativa; tanto los resultados generales en la prueba, como por área evaluada y su relación con variables de contexto exploradas.
		Protege los resultados de las pruebas de accesos y publicación no autorizados.	salidea tiene un acceso protegido mediante un usuario y una clave de acceso únicos, para cada usuario especificado y proporciona a cada uno de ellos el informe de resultados del examen que le corresponde.
Joint Commitee on Testing Practices	1999; 2004	Desarrolla e implementa procedimientos para asegurar la confidencialidad de los resultados.	Ofrece aviso de privacidad.Ofrece un usuario para registro al sistema.Ofrece una clave de acceso única.
Joint Commitee on Testing Practices	1999;2004	Asesora a los usuarios de pruebas sobre los beneficios y limitaciones de los resultados de la prueba.	Presenta en el manual del instrumento sugerencias sobre los usos y consecuencias válidos de los resultados del examen.

Fuente: elaboración propia basada en Joint Commitee on Testing Practices (1999; 2004); Consejo Asesor Externo del Ceneval (2000).

De este modo, tras responder los examinados la prueba, se prevé que salidea analice su ejecución y gestione reportes de resultados especializados, mismos que pueden ser tan detallados como lo requieran las necesidades informativas de los diferentes usuarios. Además, los informes proporcionados deben ofrecer seguridad, por lo que se suministra a cada usuario una clave de acceso única al sistema. Asimismo, informa a los usuarios sobre los principales usos y consecuencias válidos de los resultados de la prueba, de modo que cuenten con elementos de información apropiados para la toma de decisiones que a cada uno de ellos le corresponde.

Tabla 4. Características de máxima legibilidad textual consideradas al diseñar salidea
Dimensión	Características de legibilidad
Contraste	Letra de color negro en fondo de color pastel o blanco para favorecer la legibilidad y disminuir la fatiga visual.
Tamaño de la letra	Tamaño grande de letra para apoyar a los niños que están aprendiendo a leer, y a los alumnos con dificultades visuales y personas conproblemas de fatiga ocular. En salidea el tamaño legal previsto para el texto es de 14 puntos.
Tipo de letra	Tipo de letra estándar, con mayúsculas y minúsculas, para facilitar la lectura.
Justificación	Texto alineado a la izquierda, para apoyar a lectores con dificultad para leer.
Longitud del renglón	Longitud del renglón de 4 pulgadas (8 a 10 palabras por línea), para evitar la fatiga de lector y la dificultad para localizar el inicio del siguiente renglón.
Gráficas y tablas	Símbolos altamente discriminables en los gráficos, etiquetas colocadas junto a las barras o líneas de las gráficas, para su fácil localización.
Ilustraciones	Ilustraciones ubicadas al lado de la pregunta que las requieran y siempre que incluyan información cuyo dominio se evalúa.
Formatos de respuesta	Opciones de respuesta con burbujas más grandes en los ítems de respuesta seleccionada.

Fuente: elaboración propia basada en Thompson, Johnstone y Thurlow (2002).

Para ilustrar la aplicación de estas características al texto, más adelante se muestra el aspecto que tendrían los textos en un ítem administrado por salidea.

Una vez que se hizo una revisión teórica de los estándares y se analizó la factibilidad de ser atendidos dentro del diseño, se prosiguió a realizar un análisis de requerimientos, el cual detalla los rasgos operacionales del software; es decir, permite dejar claro lo que el software debe hacer y bajo qué circunstancias debe hacerlo (Gómez, 2011). Además, especifica los rasgos operacionales del software y los conecta con la interfaz gráfica del sistema. Para ello se especificó un componente específico de la interfaz para cada requerimiento y se ilustra su diseño.