La Facultad de Ciencias de la Salud de la Universidad Estatal de Alabama descubrió que los graduados que habían tenido un buen desempeño en el programa estaban obteniendo puntajes más bajos de lo esperado en los exámenes de certificación profesional. Tras una cuidadosa revisión del problema, determinaron que las evaluaciones en papel eran las responsables. Al adoptar la solución de evaluación digital de ExamSoft, la facultad pudo familiarizar a los estudiantes con un entorno de pruebas en computadora, mejorar los puntajes de los exámenes de certificación y agilizar el proceso de calificación.
Antecedentes
La Universidad Estatal de Alabama en Montgomery fue fundada en 1867 como la Escuela Normal Lincoln en Marion. A pesar de enfrentar numerosos obstáculos financieros y políticos a lo largo de sus 154 años de historia, la Universidad Estatal de Alabama ha mantenido su compromiso con el progreso a través de la educación, tal como lo imaginaron sus fundadores.
La Facultad de Ciencias de la Salud de la Universidad Estatal de Alabama es una de las pocas escuelas interdisciplinarias en Estados Unidos donde estudiantes de los programas de Terapia Física (PT), Terapia Ocupacional (OT) y Prótesis y Órtesis (P&O) participan juntos en cursos durante su primer año de formación.
Los programas de PT y OT están entre los pocos ofrecidos en universidades históricamente negras (HBCU, por sus siglas en inglés), y el programa de P&O es el único ofrecido en una HBCU. Cada uno de estos programas forma a médicos generales para atender a comunidades diversas particularmente a las médicamente desatendidas con competencia y compasión.
Desafío
Muchos estudiantes admitidos en la Facultad de Ciencias de la Salud viven en áreas rurales del estado y no han tenido el mismo acceso a computadoras o internet confiable y mucho menos a pruebas en formato digital como los estudiantes de áreas metropolitanas.
Al analizar los puntajes de los exámenes nacionales de certificación entre los graduados de los programas de Terapia Física (PT), Terapia Ocupacional (OT) y Prótesis y Órtesis (P&O) antes de 2018, la facultad notó que algunos de sus estudiantes de alto rendimiento que tomaron exámenes en formato de papel y lápiz no estaban obteniendo resultados tan buenos en sus exámenes de certificación profesional, los cuales se administran en formato digital. La facultad sabía que, para mejorar los puntajes de los exámenes de certificación, sería necesario eliminar gradualmente las evaluaciones en papel y familiarizar a los estudiantes con un entorno de pruebas digitales.
No solo los exámenes en papel estaban obstaculizando el éxito de los estudiantes después de graduarse, sino que también estaban afectando negativamente al cuerpo docente de los programas de PT, OT y P&O. Debido a la naturaleza interdisciplinaria de muchos cursos de primer año en la Facultad de Ciencias de la Salud, los instructores de estos cursos suelen administrar más evaluaciones en una sola sesión de examen que los instructores de cursos más especializados. Calificar estos grandes lotes de evaluaciones en papel se había vuelto increíblemente laborioso, y era difícil observar tendencias generales en el desempeño estudiantil del curso e identificar mejoras necesarias en los elementos de los exámenes.
Para aumentar la eficiencia del cuerpo docente y preparar mejor a los estudiantes para carreras exitosas en el sector de la salud, la facultad decidió que cambiar de evaluaciones en papel a una plataforma de evaluación digital era la mejor opción. La Dra. Susan Denham, directora de los departamentos de PT y OT, inició de inmediato la búsqueda de un software de evaluación basado en computadora para crear, administrar y calificar exámenes en los tres programas.
Susan conoció ExamSoft por primera vez mientras asistía a una conferencia educativa y pensó que el software sería una buena opción. Propuso la idea de implementar ExamSoft a sus colegas, quienes estuvieron de acuerdo en que podría ser la clave para resolver los desafíos de la facultad.
Una de las principales razones para implementar ExamSoft fue acostumbrar a nuestros estudiantes a un escenario similar al de los exámenes de certificación durante las pruebas.
Adopción e Inicio
Una vez que ExamSoft fue aprobado para su uso en la Facultad de Ciencias de la Salud, Susan y dos de sus colegas se convirtieron en los primeros usuarios oficiales. El trío comenzó a usar ExamSoft en un curso cada uno, uno de cada programa, para identificar un conjunto de mejores prácticas para el uso de la plataforma por parte de los docentes y estudiantes. Un mes después, Susan y sus colegas entregaron con éxito sus primeras evaluaciones, y con esta prueba piloto completada, la facultad estaba preparada para incorporar al resto del cuerpo docente de los programas que optaron por usar la plataforma.
Susan, junto con el director del Departamento de P&O, el Dr. Scott Bretl, grabaron sesiones de capacitación inicial para los docentes, y la facultad también ofreció talleres para resolver cualquier duda mientras los docentes comenzaban a gestionar el uso de ExamSoft de manera independiente. Los instructores establecidos dentro de la Facultad de Ciencias de la Salud importaron su contenido de exámenes existente al portal para docentes, mientras que algunos docentes nuevos utilizaron el portal para crear exámenes completamente nuevos.
Los requisitos tecnológicos de la Facultad de Ciencias de la Salud garantizaron que la mayoría de los estudiantes tuvieran dispositivos compatibles con Examplify, la aplicación de exámenes de ExamSoft. La escuela organizó un examen simulado para los programas de PT, OT y P&O, y los docentes se mostraron satisfechos al descubrir que los estudiantes se adaptaron rápidamente al entorno de los exámenes.
Resultados
Tras una transición casi perfecta a las evaluaciones en formato digital en los programas de PT, OT y P&O, la Facultad de Ciencias de la Salud ha logrado grandes avances en la preparación de los estudiantes para aprobar los exámenes de certificación profesional. Con el portal para docentes de ExamSoft, los instructores tienen acceso a los tipos de preguntas y herramientas que necesitan para crear elementos de evaluación que se asemejen más a las preguntas de los exámenes de certificación. Por ejemplo, dado que los exámenes de certificación son exclusivamente de opción múltiple, los docentes eligen este formato con mayor frecuencia para las evaluaciones sumativas.
Los puntajes de los exámenes de certificación entre los graduados del programa de PT han aumentado un 18% desde la transición a ExamSoft — acompañado de un cambio curricular — mientras que los puntajes de los exámenes en el programa de OT han aumentado un 7%. En una encuesta de 2020 del programa de P&O, el 100% de los estudiantes informó que el programa los preparó para tener éxito en sus residencias.[1]
La capacidad de calificar evaluaciones de manera instantánea dentro del portal para docentes ha transformado el proceso de calificación para los instructores. Los exámenes que antes le tomaban a un instructor de anatomía entre 30 y 40 horas para calificar, ahora solo le toman tres o cuatro horas. Además, los instructores ahora pueden aprovechar los datos mediante análisis psicométricos para determinar la eficacia de los elementos de sus exámenes y mejorar la calidad de sus bancos de preguntas para futuros exámenes.
Cuando tuvimos que dejar el campus, ExamSoft funcionó mejor debido a los diferentes parámetros que tiene integrados. Podemos randomizar preguntas y respuestas e incluso tener dos preguntas diferentes para el mismo examen. Eso nos permitió tener exámenes que consideramos más a prueba de trampas.
El Impacto del COVID-19
Desde el cambio a la enseñanza remota en la primavera de 2020, la Facultad de Ciencias de la Salud ha confiado en las herramientas y funciones de seguridad de ExamSoft para proteger la integridad de las evaluaciones en los programas de PT, OT y P&O, en parte gracias al apoyo de un programa de subvenciones de ExamSoft. La facultad descubrió que ExamSoft ofrecía más opciones de seguridad que otras plataformas de evaluación remota utilizadas en la Universidad Estatal de Alabama; a diferencia de estas soluciones, las configuraciones dentro del portal para docentes de ExamSoft permiten a los instructores habilitar la randomización de preguntas y respuestas y establecer límites de tiempo para las sesiones de examen. Los instructores activaron la función de control total del dispositivo para evitar todo acceso a internet y otros programas de computadora durante una sesión de examen. Esta función también desactiva las capacidades de captura de pantalla para proteger el contenido del examen.
Muchos estudiantes de los programas de PT, OT y P&O viajan desde áreas rurales de Alabama, y los problemas de conectividad a internet en esas áreas se intensificaron con el cambio al aprendizaje remoto. Las opciones de evaluación sin conexión de ExamSoft han resultado útiles para los estudiantes sin acceso confiable a WiFi. No se necesita una conexión confiable para los exámenes entregados en modo sin conexión; los estudiantes solo necesitan acceso a internet para descargar el examen en los días previos y cargar el archivo del examen una vez que lo hayan completado. Esto ha permitido a los estudiantes tomar exámenes en casa, sin interrupciones. Desde el cambio al aprendizaje y evaluación remotos, ni un solo estudiante ha sido incapaz de tomar un examen según lo programado.
A partir de la primavera de 2021, los instructores de la Facultad de Ciencias de la Salud pueden elegir entre exámenes completamente remotos o presenciales en sus cursos. Este enfoque híbrido brinda a los docentes la flexibilidad de estructurar sus evaluaciones según las necesidades de su curso. Y en caso de que un estudiante no pueda asistir a un examen programado en el campus, los docentes pueden duplicar y modificar fácilmente el examen para que el estudiante lo realice en un entorno remoto.
Nuestro plan a largo plazo es poder proporcionar a los estudiantes, al final del semestre o del año académico, un informe que diga: ‘Con base en tus resultados de examen, estás consistentemente en el percentil 90 para este estándar, pero en el percentil 60 para este otro estándar.’ Así, los estudiantes tendrán una mejor idea de cuáles son sus debilidades en relación con nuestros estándares, sin tener que adivinar.
Próximos Pasos
Entre los cambios provocados por la pandemia, la Facultad de Ciencias de la Salud ha retrasado su plan de utilizar la función de etiquetado de elementos de ExamSoft para vincular preguntas individuales de los exámenes con los estándares de acreditación en los programas de PT, OT y P&O. El objetivo de organizar los elementos de esta manera es facilitar a la facultad la generación de informes para los organismos acreditadores y demostrar rápidamente el cumplimiento. Este plan sigue en el horizonte y será el enfoque principal de la facultad una vez que los programas se hayan ajustado completamente a los nuevos procesos.
Otro objetivo importante a largo plazo para estos programas es profundizar en los Informes de Fortalezas y Oportunidades para proporcionar a los estudiantes una remediación más efectiva. Al final de cada semestre o año académico, los instructores generarán informes de desempeño individual para ayudar a guiar los hábitos de estudio mientras los estudiantes se preparan para el próximo semestre. Al usar datos de evaluaciones previas, estos informes pueden mostrar a los estudiantes en qué percentil están consistentemente evaluando para ciertos estándares de aprendizaje y medir su desempeño en comparación con el desempeño general de su cohorte.
A medida que nuevos docentes se unen a los programas de PT, OT y P&O y los docentes establecidos adquieren más experiencia con ExamSoft, continúan surgiendo formas creativas de usar la plataforma. Este espíritu de innovación impulsa a los programas dentro de la Facultad de Ciencias de la Salud a descubrir nuevos métodos para impartir y evaluar evaluaciones, con la seguridad de que la solución integral de evaluación de ExamSoft tendrá las herramientas necesarias para llevar a cabo sus ideas más brillantes.
*Esta organización recibió una compensación por participar en este Estudio de Caso.