Examining the context and consequential validity of a high-stakes writing test in a Colombian Bachelor’s in foreign languages
Portada
PDF 
FLIP Citas bibliográficas
Gestores Bibliográficos
Indexadores
Código QR
Director
Autor corporativo
Recolector de datos
Otros/Desconocido
Director audiovisual
Editor/Compilador
Editores
Tipo de Material
Fecha
Cita bibliográfica
Título de serie/ reporte/ volumen/ colección
Resumen en inglés
Writing assessments must be valid and fair for test-takers, as assessments evaluate students’ performance and can impact their lives. To determine the validity and fairness of a writing test, it is essential to examine its context and consequential validity, aspects that can be examined through test-takers’ perceptions. Test-takers’ perceptions of a test provide valuable information to enhance assessment practices. While international studies on test validation have largely focused on the impact of EFL proficiency tests on test-takers to improve language assessments, little attention has been given to the validity and fairness of writing tests in Colombia, particularly by collecting context and consequential validity evidence from test-takers. Context validity refers to the appropriateness of the test’s features for test-takers, whereas consequential validity pertains to the test’s positive or negative impacts on test-takers. This study aims to shed light on the validity and fairness of writing assessments by examining the context and consequential validity of a high-stakes writing test in the Bachelor in Foreign Languages at Universidad del Valle. The study drew on Shaw and Weir’s (2007) sociocognitive framework for writing test validation, which includes context and consequential validity theory.
Resumen en español
RESUMEN: Las pruebas de escritura deben ser válidas y justas para los examinados, ya que éstas evalúan su desempeño y pueden influir significativamente en sus vidas. Para determinar la validez y justicia de una prueba de escritura, es esencial examinar su contexto y validez consecuencial, aspectos que se pueden evaluar a través de las percepciones de los examinados. Estas percepciones proporcionan información valiosa para mejorar las prácticas evaluativas. Aunque los estudios internacionales sobre la validación de pruebas se han centrado principalmente en el impacto de las pruebas de competencia en inglés como lengua extranjera (EFL) en los examinados para mejorar las evaluaciones de idiomas, se ha prestado poca atención a la validez y justicia de las pruebas de escritura en Colombia, especialmente recolectando evidencia de validez contextual y consecuencial de la prueba a través de los examinados. La validez contextual se refiere a la adecuación de las características de la prueba para los examinados, mientras que la validez consecuencial se refiere a los impactos positivos o negativos de la prueba sobre ellos. Este estudio tiene como objetivo examinar la validez contextual y consecuencial de la prueba escrita en el examen de proficiencia del programa de Licenciatura en Lenguas Extranjeras de la Universidad del Valle. Para ello, se utilizó el marco sociocognitivo de validación de pruebas de escritura de Shaw y Weir (2007) que se enfoca en estos aspectos de validez. Se empleó un diseño de investigación ex post facto para analizar datos cualitativos y cuantitativos previamente recolectados sobre el desempeño y las percepciones de los examinados.
Resumen
Résumé : Les évaluations en écriture doivent être valides et équitables pour les candidats, car elles évaluent la performance des étudiants et peuvent influencer considérablement leur vie. Pour déterminer la validité et la justice d’un test d’écriture, il est essentiel examiner son contexte et sa validité conséquente, des aspects qui peuvent être évalués par les perceptions des candidats. Ces perceptions fournissent des informations précieuses pour améliorer les pratiques d’évaluation. Bien que les études internationales sur la validation des tests se soient largement concentrées sur l’impact des tests de compétence en anglais langue étrangère (EFL) sur les candidats pour améliorer les évaluations de langue, peu d’attention a été accordée à la validité et la justice des tests de rédaction en Colombie, notamment en recueillant des preuves de validité contextuelle et conséquente auprès des candidats. La validité contextuelle se réfère à la pertinence des caractéristiques du test pour les candidats, tandis que la validité conséquente concerne les impacts positifs ou négatifs du test sur eux. Cette étude vise à examiner la validité contextuelle et conséquente du test d’écriture de l’examen de compétences dans le programme de Licence en Langues Étrangères de l’Universidad del Valle. Elle a utilisé le cadre sociocognitif de Shaw et Weir (2007), qui se concentre sur ces aspects de validité des preuves. Une recherche ex post facto a été employée pour analyser des données qualitatives et quantitatives précédemment recueillies sur la performance en écriture académique et les perceptions des candidats.