¿Qué es la detección de escritura con IA?
La detección de escritura con IA implica el uso de tecnología para identificar textos producidos con IA generativa—- en aumento entre la comunidad educativa.
La introducción a finales de 2022 de los Grandes Modelos Lingüísticos (LLM, por sus siglas en inglés) ha revolucionado la creación de contenidos, ofreciendo tanto oportunidades como desafíos para el mundo académico. Mientras muchos ven el potencial de herramientas como ChatGPT para mejorar la creatividad, a otros les preocupan las implicaciones que éstas podrían tener para la integridad académica.
En un estudio reciente de Casal y Kessler, 72 expertos en lingüística fueron capaces de identificar correctamente los contenidos generados con IA sólo el 38,9% de las veces, lo que pone de manifiesto la dificultad de distinguir un texto escrito con IA de un trabajo de autoría humana. Mientras los educadores enfrentan la difícil tarea de evaluar los trabajos de los alumnos, las herramientas de detección de escritura con IA se han convertido en un elemento adicional para ayudar a distinguir entre contenidos originales y los que no lo son (2023).
La aparición de herramientas de escritura con IA más sofisticadas ha estimulado a su vez los avances de las tecnologías de detección. Muchas instituciones están explorando cómo organizaciones como Turnitin pueden acortar la brecha entre la escritura generada con IA y la producida éticamente, y cómo estas herramientas seguirán evolucionando en el futuro.
¿Por qué es importante la detección de escritura con IA?
Muchos sectores, especialmente el académico, reconocen que la IA generativa ha llegado para quedarse. En un estudio del 2023 de Turnitin, realizado por Tyton Partners*, se descubrió que los estudiantes afirmaban utilizar regularmente herramientas de escritura con IA generativa, como ChatGPT, tres veces más que los profesores.
Tras el lanzamiento de ChatGPT, muchas instituciones intentaron prohibir su uso. Sin embargo, como dice Kevin Roose, columnista de tecnología de The New York Times: “Claro que una escuela puede bloquear el sitio web de ChatGPT en las redes escolares y en los dispositivos que son propiedad de la institución. Pero los alumnos tienen teléfonos, computadoras portátiles y muchas otras formas de acceder fuera de clase”. La ubicuidad de esta tecnología emergente hace que prohibirla pueda obstaculizar el desarrollo de las habilidades de los estudiantes. En el mismo estudio de Turnitin y Tyton Partners*, el 46% de los estudiantes afirmaron que utilizarían herramientas de IA generativa aunque se lo prohibieran los profesores o las instituciones.
Aunque las opiniones sobre el papel de la IA en las tareas académicas varían, algunos educadores están empezando a adoptar la escritura con IA como apoyo para la enseñanza, ayudando a los estudiantes a superar los bloqueos creativos y a generar ideas. A pesar de estos beneficios, existe una clara necesidad de gestionar los riesgos que la IA plantea al mundo académico. La detección de la escritura con IA proporciona una herramienta para ayudar a los educadores a mantener la confianza en la integridad de los estudiantes.
Con el objetivo de estar a la vanguardia de los avances de la IA, ahora se anima activamente a los profesores a adaptar sus prácticas. Esto incluye revisar las evaluaciones, replantearse las pruebas de aprendizaje y considerar la adopción de herramientas de detección de escritura con IA.
Las reflexiones de los estudiantes que han utilizado la IA para el aprendizaje, recogidas por Marc Watkins, director adjunto de innovación académica de la Universidad de Mississippi, indican que la IA puede potenciar la creatividad cuando se la utiliza con cautela. Sin embargo, esto también pone de relieve una consideración crucial: ¿cómo pueden los educadores equilibrar las ventajas de la IA con la necesidad de mantener la integridad académica?
Aunque la IA generativa tiene el potencial de impulsar la creatividad y la productividad, también plantea riesgos, como el de difuminar los límites entre el contenido humano y el sintético (Beyer). Desde el lanzamiento de la herramienta de detección de escritura con IA de Turnitin en abril de 2023, se han revisado más de 250 millones de envíos, de los cuales 8,4 millones han sido marcados con al menos un 80% de escritura potencialmente hecha con IA.
La integración de la detección de la escritura con IA en el aula puede servir tanto de elemento disuasorio como de herramienta de aprendizaje, ayudando a los educadores a navegar por esta nueva dimensión de la educación. El profesorado puede utilizar la detección como un punto de partida para determinar si el uso de la IA se ajusta a las directrices y a la política de integridad académica de su institución.
*Turnitin ha colaborado con patrocinio para la realización de este estudio.
¿Cómo funciona la herramienta de detección de escritura con IA de Turnitin?
Cuando se envía un documento a Turnitin, primero se divide en segmentos de texto de unos cientos de palabras (entre cinco y diez frases). A continuación, estos segmentos se superponen entre sí para analizar cada frase en su contexto.
Los segmentos se comparan con nuestro modelo de detección de IA y se asigna a cada frase una puntuación de entre 0 y 1 para determinar si ha sido escrita por un ser humano o por una IA. Si nuestro modelo determina que una frase no ha sido generada con IA, recibirá una puntuación de 0. Si determina que es probable que toda la frase haya sido generada por IA, recibirá una puntuación de 1.
Utilizando las puntuaciones promedio de todos los segmentos del documento, el modelo genera una predicción global de la cantidad de texto que creemos que ha sido generado por IA.
Actualmente, el modelo de detección de escritura con IA de Turnitin en español está entrenado para detectar contenido de los modelos de lenguaje GPT-3.5 y GPT-4, que se utilizan en la aplicación ChatGPT. Estamos trabajando activamente en la ampliación de nuestro modelo para poder detectar mejor el contenido generado por otros modelos lingüísticos de IA.
¿La detección de escritura con IA de Turnitin funciona en idiomas distintos al inglés?
En la primera iteración de la función de detección de escritura con IA de Turnitin, el inglés era el único idioma detectable. Ahora, Turnitin ha lanzado la misma función en español para proporcionar una herramienta que ayude a los educadores a mantener la integridad académica al mismo tiempo que garantiza un trato justo para los estudiantes. La herramienta muestra un porcentaje total del documento que la IA puede haber generado y el indicador enlaza, además, con un reporte que destaca los segmentos de texto que nuestro modelo predice como potencialmente escritos con IA.
¿Cuál es la tasa de falsos positivos de la herramienta de detección de escritura con IA de Turnitin?
La herramienta de detección de escritura con IA está diseñada para brindarte una guía para iniciar una conversación difícil con un estudiante, pero queremos dejar en claro que el reporte de escritura con IA no es una prueba absoluta ni una refutación de la escritura con IA.
En Turnitin, nos esforzamos por maximizar la eficacia de nuestro detector y tenemos en cuenta las tasas de falsos positivos al evaluar la puntuación de escritura con IA en el trabajo de un estudiante. Los falsos positivos ocurren cuando se identifica como generado con IA, un texto completamente escrito por humanos.
Si bien el riesgo de que el indicador de escritura con IA de Turnitin arroje falsos positivos es inferior al 1% para un documento con más del 20% de contenido generado con IA, su existencia resalta la importancia de usar la detección de escritura con IA como una herramienta de señalización y como una pieza en un rompecabezas de investigación más amplio. El porcentaje de escritura con IA puede ser utilizado para facilitar conversaciones formativas con los estudiantes y tiene mucho más impacto cuando se evalúa en combinación con otros factores de apoyo.
Para evitar la incidencia de posibles falsos positivos, no se atribuyen puntuaciones ni puntos destacados a las puntuaciones de detección con IA de Turnitin en el rango que va del 1% al 19%. Cuando se detecta IA por debajo del umbral del 20% en el reporte, se indica con un asterisco (*) y no se atribuye ningún porcentaje.
A medida que crecen los modelos de lenguaje, nosotros nos centramos en adaptar y optimizar nuestro indicador de escritura con IA en función de nuestros aprendizajes.
¿Cómo pueden las instituciones introducir la detección de escritura con IA a los estudiantes y profesores?
Es probable que la introducción de una nueva herramienta de detección de escritura con IA resulte desalentadora, tanto para los estudiantes como para los profesores de una institución. Los estudiantes con buenas intenciones podrían preguntarse por qué su integridad está bajo escrutinio. Mientras, los miembros del profesorado podrían dudar a la hora de adoptar nuevas tecnologías debido a la falta de tiempo, o incluso por no comprender plenamente el panorama cambiante en torno a la escritura generativa con IA y por qué es necesario estar en alerta máxima ante este tipo de mala conducta.
Mantener la transparencia con los miembros de tu institución sobre cómo se adoptará una herramienta de detección de escritura con IA es clave para evitar la confusión y el pánico.
Comunica el impacto de la IA generativa tanto a educadores como a alumnos
A medida que las herramientas de IA generativa se vuelven cada vez más accesibles y sofisticadas, su presencia en el aula conlleva tanto ventajas como inconvenientes. Ser consciente del impacto que la IA generativa puede tener en la educación en los próximos años dará a tu institución una ventaja a la hora de modernizar los enfoques pedagógicos, incluidos los métodos de prueba del aprendizaje y la defensa de las tareas contra el uso indebido de estas herramientas. Este conocimiento también ayudará a los estudiantes a comprender el impacto de la IA generativa y minimizar su exposición a una mala conducta académica involuntaria.
Aprende a utilizar e interpretar la herramienta de detección de escritura con IA
Los educadores e investigadores deben tomarse el tiempo necesario para comprender las capacidades y limitaciones de la herramienta de detección de escritura con IA antes de adoptarla como parte de su proceso de evaluación. Debido a la posible presencia de falsos positivos, no pretendemos que nuestro indicador de escritura con IA sea infalible. Al abordar la cuestión de los falsos positivos en el trabajo de un alumno, recomendamos ofrecer el beneficio de la duda. Sólo cuando se hayan reunido pruebas adicionales y definitivas, el investigador podrá optar por seguir adelante de acuerdo con la política de integridad académica de la institución.
Se transparente sobre cómo y cuándo se utilizará la herramienta de detección de escritura con IA
Aunque el porcentaje de escritura con IA sólo es visible para los instructores y administradores de Turnitin, esto no descarta la importancia de discutir abiertamente el uso de la herramienta, ya sea verbalmente, por correo electrónico, en el programa de estudios de un instructor, o mediante la actualización de la política de integridad académica de la institución. Los educadores deben ser abiertos sobre cuándo y cómo se supervisará de cerca la escritura con IA. ¿La herramienta se utilizará en la evaluación formativa o sólo en la sumativa? ¿Podrán los estudiantes ver la herramienta en acción con antelación para comprender sus capacidades? ¿Cómo gestionará la institución los posibles casos de uso indebido de escritura con IA?
Susan D'Agostino cita a Nestor Pereira, vicerrector de Tecnologías Académicas y de Aprendizaje del Miami Dade College (EE.UU.), que describe las herramientas de detección de escritura con IA como “un trampolín para las conversaciones con los estudiantes”. Pereira continúa diciendo que los estudiantes que se inclinan por utilizar IA generativa para sustituir su escritura pueden pensárselo dos veces si existe una herramienta de detección en la institución.
¿Cómo puede utilizarse una herramienta de detección de escritura con IA para ayudar en un proceso de investigación?
Es indispensable contar con un proceso de investigación en caso de que te encuentres con un documento que podría haber sido escrito por una herramienta de IA generativa o si surgen posibles falsos positivos al utilizar una herramienta de detección de escritura con IA. Aunque el riesgo de falsos positivos es inferior al 1% para un documento con más de un 20% de contenido probablemente generado con IA, estar preparado para mantener una conversación directa con un estudiante puede hacer que la investigación sea lo menos dolorosa posible, tanto para el estudiante como para el educador.
Debemos recordar que, aunque las herramientas de detección de escritura con IA son una ayuda para la investigación, “...a medida que nos adentramos en un futuro redactado artificialmente, está claro que será necesaria una mentalidad humana de cuestionamiento. De hecho, nuestras habilidades de investigación y técnicas de pensamiento crítico podrían ser más solicitadas que nunca” (O'Brien, 2023).
Descarga el reporte de escritura con IA
Como primer paso para preparar una conversación con un alumno, recomendamos descargar el reporte de escritura con IA y analizarlo a fondo junto a cualquier otro elemento más de la experiencia del educador. Nuestro objetivo es dotar a los docentes de ideas que les ayuden a tomar decisiones informadas. Sin embargo, es crucial reconocer que el reporte de escritura con IA es sólo una pieza del rompecabezas. El contexto, como el estilo de redacción y cualquier trabajo histórico presentado en el pasado, es igualmente importante para comprender el panorama general. Al considerar tanto el porcentaje de IA como el contexto más amplio, junto con la política de mala conducta académica, los educadores pueden ver la totalidad de los datos para hacer una evaluación del trabajo del estudiante.
Apóyate en la relación educador-estudiante
En el entorno académico, la relación de un educador con su alumno puede ser un valioso punto de partida a la hora de investigar la posible escritura con IA en una tarea. Sea cual sea la puntuación arrojada por la herramienta de detección de escritura con IA, nunca se debe hacer una acusación sin mantener un diálogo respetuoso con el estudiante en cuestión. ¿Ha trabajado el educador con el estudiante a lo largo del semestre? ¿Le ha ofrecido retroalimentación durante el proceso de escritura? Como parte de sus interacciones con el estudiante, ¿recuerda que el alumno tuviera suficientes conocimientos de la asignatura? El educador debe haber entablado un vínculo con el estudiante que podrá utilizar también para evaluar su trabajo.
Pide pruebas de pensamiento crítico
Si un estudiante es el verdadero autor del trabajo que ha presentado, es probable que haya varios elementos que puedan corroborar su proceso de pensamiento al escribir el trabajo. Por ejemplo, notas de investigación, esquemas, historiales de versiones de documentos, metadatos, e impresiones de borradores anteriores. También puede haber recibido tus comentarios o los de otro educador, de un compañero, de un revisor de confianza o de un software capaz de seguir el proceso de escritura. Esto podría ser un buen indicador de la diferencia entre la escritura con IA y la escritura humana.
Evalúa muestras de escritura anteriores
Si la evaluación no permite el uso de la IA generativa como parte del proceso de escritura, puedes utilizar muestras de trabajos anteriores para comparar el estilo de escritura, la sofisticación gramatical y la complejidad del vocabulario con el trabajo en cuestión. ¿Coinciden?
Entendemos que conseguir una muestra de escritura de antes de que existiera la IA generativa puede ser un desafío a medida que avanza el tiempo, y si ese es el caso, recomendamos pedir a los alumnos que escriban un trabajo en condiciones de prueba al principio del trimestre (y dejarles en claro por qué están haciendo esto). Pregúntate también si puedes poner marcas para proteger futuras tareas del mal uso de la IA. Esto puede ayudar a disuadir a los estudiantes de utilizarla para escribir sus trabajos cuando no está permitido, al tiempo que ofrece a los educadores la seguridad de que tienen escritos originales con los que comparar en caso de que surja en el futuro algún problema por un posible uso de escritura con IA, así como de escritura fantasma.
Asume que hubo una intención positiva
Si no puedes llegar a una conclusión definitiva sobre la escritura con IA versus la escritura humana, este puede ser el momento adecuado para empezar a asumir que hubo una intención positiva. Si hay alguna duda durante la investigación —desde la detección de la escritura con IA hasta el desarrollo de las conversaciones adecuadas y la formulación de las preguntas correctas—, recomendamos seguir adelante sin acusaciones ni sanciones. La buena noticia es que esta experiencia por sí sola debería actuar como un poderoso elemento disuasorio para cualquier posible uso indebido en el futuro.
Conclusiones: lo que los responsables académicos deben saber sobre la detección de escritura con IA
La IA generativa se está desarrollando a gran velocidad, pero también lo está haciendo la detección de escritura con IA. En Turnitin, reconocemos las necesidades de nuestra comunidad educativa y ya estamos trabajando arduamente en la creación de sistemas de detección para los futuros Grandes Modelos Lingüísticos.
Sin embargo, la detección de escritura con IA es sólo un componente de un proceso más amplio. La práctica adicional basada en pruebas también desempeña un papel crucial en las investigaciones y la toma de decisiones en el delicado ámbito de la integridad académica. Es importante abordar los asuntos éticos con minuciosidad y cuidado, garantizando que se tengan en cuenta todas las vías de investigación antes de sacar conclusiones.
Una herramienta de detección de escritura con IA proporciona un punto de partida, pero no puede ofrecer una conclusión definitiva. Animamos a priorizar el juicio humano al evaluar el trabajo de un estudiante, teniendo en cuenta el potencial de falsos positivos, la intención del estudiante y, lo más importante, la comprensión de sus habilidades y capacidades.