Las evaluaciones tradicionales y estandarizadas han sufrido un obvio desgaste y están siendo suplantadas por otro tipo de evaluaciones mucho más modernas realizadas a través de herramientas tecnológicas que permiten su automatización. La Automatic Item Generation (en español, Generación Automática de Ítems) es un claro ejemplo de este cambio de tendencia y es, además, una de las grandes protagonistas de la revolución edTech.
Pero, ¿de qué trata esta técnica? ¿Qué tipos de Automatic Item Generation hay? ¿Cómo se puede implementar?
En las próximas líneas trataremos de dar respuesta a estas preguntas.
Definición de automatic item generation
Automatic Item Generation (AIG), también conocido como Generación Automática de Ítems, es una técnica utilizada en la evaluación psicológica y educativa para generar ítems (preguntas o tareas) de manera automática.
La generación automática de ítems se basa en el uso de algoritmos de lenguaje natural y técnicas de procesamiento de lenguaje para crear ítems de prueba a partir de un conjunto de reglas predefinidas. Esta técnica se utiliza a menudo para crear pruebas adaptativas, en las que el nivel de dificultad de los ítems se ajusta en función de las respuestas del examinado.
¿Cuáles son las ventajas de utilizar la Automatic Item Generation?
Las principales ventajas de la Automatic Item Generation o Generación Automática de Ítems (AIG) son los siguientes:
- Eficiencia: permite crear un gran número de ítems de manera rápida y eficiente.
- Objetividad: los ítems generados de manera automática suelen ser más objetivos y menos sesgados que los ítems creados manualmente.
- Adaptabilidad: la AIG permite crear pruebas adaptativas, en las que el nivel de dificultad de los ítems se ajusta en función de las respuestas del examinado.
- Accesibilidad: la AIG puede ser útil en situaciones en las que se necesitan ítems en un idioma o para un contenido específico que no está disponible en el mercado.
- Economía: la AIG puede ayudar a reducir los costes asociados con la creación de ítems manualmente.
- Escalabilidad: la AIG permite crear ítems para un gran número de personas de manera eficiente.
- Personalización: la AIG permite crear ítems personalizados para cada examinado en función de sus respuestas previas.
Tipos de Automatic Item Generation
Existen varios tipos de Generación Automática de Ítems (AIG), cada uno con diferentes enfoques y aplicaciones. Algunos de los tipos de AIG más comunes son las siguientes
AIG basada en reglas
En este tipo de enfoque se utilizan reglas predefinidas para generar ítems a partir de un conjunto de datos.
Este tipo de reglas tienen que ver con el formato de las propias preguntas y podrían ser, por ejemplo, generar un ítem de selección múltiple con cuatro opciones de respuesta, de las cuales solo una es correcta, utilizar verbos en tiempo presente en los ítems o utilizar imágenes o gráficos para ilustrar los ítems.
AIG basada en temas
En este tipo de Automatic Item Generation se utiliza simplemente un conjunto de temas predefinidos para generar ítems.
Un ejemplo de ello sería la elección de 3 temas: historia, ciencias y matemáticas
Después, se proporciona un conjunto de datos a la herramienta de AIG basada en temas. Por ejemplo, un conjunto de datos con información sobre historia y ciencias.
Por último, la herramienta de AIG basada en temas utiliza los temas predefinidos para generar ítems a partir del conjunto de datos.
Ejemplos:
Pregunta (tema: historia): ¿Cuál de los siguientes eventos ocurrió primero?
- (A) La Revolución Industrial
- (B) La Primera Guerra Mundial
- (C) La Revolución Francesa
- (D) El Descubrimiento de América
Respuesta correcta: (D) El Descubrimiento de América
Pregunta (tema: ciencias): ¿Qué planeta del sistema solar está más cerca del sol?
- (A) Mercurio
- (B) Venus
- (C) Tierra
- (D) Marte
Respuesta correcta: (A) Mercurio
En este ejemplo, la herramienta de AIG basada en temas ha utilizado el tema “historia” para generar un ítem sobre eventos históricos y el tema “ciencias” para generar un ítem sobre el sistema solar.
AIG basada en plantillas de ítems
En este enfoque, se utilizan plantillas predefinidas para generar ítems a partir de un conjunto de datos.
Primeramente se define un conjunto de plantillas para generar ítems de evaluación. Por ejemplo: pregunta de selección múltiple con cuatro opciones de respuesta, de las cuales solo una es correcta o pregunta de completar el espacio en blanco con la respuesta correcta.
Después, se proporciona un conjunto de datos a la herramienta de AIG basada en plantillas. Por ejemplo, un conjunto de datos con información sobre historia y ciencias.
Ejemplos:
Pregunta (plantilla 1): ¿Cuál de los siguientes eventos ocurrió primero?
- (A) La Revolución Industrial
- (B) La Primera Guerra Mundial
- (C) La Revolución Francesa
- (D) El Descubrimiento de América
Respuesta correcta: (D) El Descubrimiento de América
Pregunta (plantilla 2): ¿Qué planeta del sistema solar está más cerca del sol?
__________ es el planeta del sistema solar que está más cerca del sol.
Respuesta correcta: Mercurio
En este ejemplo, la herramienta de AIG basada en plantillas ha utilizado la plantilla 1 para generar un ítem de selección múltiple y la plantilla 2 para generar un ítem de completar el espacio en blanco.
AIG basada en modelos de lenguaje
Con esta opción se utilizan modelos de lenguaje para generar ítems a partir de un conjunto de datos.
Primero se entrena un modelo de lenguaje con un gran conjunto de datos de texto. Por ejemplo, un conjunto de noticias o una colección de libros. Después, se le proporciona un conjunto de datos a la herramienta de AIG basada en modelos de lenguaje.
Por último, la herramienta de AIG basada en modelos de lenguaje utiliza el modelo de lenguaje entrenado para generar ítems a partir del conjunto de datos, por ejemplo, preguntas y opciones de respuesta coherentes y naturales.
AIG basada en deep learning
Esta puede ser la más compleja de las automatic Item Generation, ya que se utilizan redes neuronales profundas (deep learning) para generar ítems a partir de un conjunto de datos.
El deep learning es una técnica de aprendizaje automático que se inspira en la estructura y funcionamiento del cerebro humano (en particular, en la red de neuronas).
Se basa en la idea de que podemos enseñar a los ordenadores a aprender por sí mismos a partir de la experiencia, sin necesidad de programar explícitamente las reglas y las características que deben buscar.
¿Cómo implementar la Automatic Item Generation o generación automática de ítems?
Para implementar la Generación Automática de Ítems (AIG) en tu institución, es necesario que sigas los siguientes pasos:
- Seleccionar un enfoque de AIG adecuado para el propósito (como los que hemos mencionado con anterioridad) y el contexto de la institución.
- Recopilar y proporcionar los datos necesarios para la AIG. Esto puede incluir información sobre el contenido que quieres evaluar, así como cualquier otra información relevante para la AIG.
- Entrenar o utilizar un modelo de AIG existente. Esto puede incluir el entrenamiento de un modelo de lenguaje o de una red neuronal profunda, o la configuración de una herramienta de AIG basada en reglas o plantillas.
- Evaluar la calidad y la eficacia de los ítems generados. Es importante asegurarse de que los ítems sean adecuados para el propósito y el contexto de tu institución, y de que sean coherentes y justos para todos los examinados.
- Integrar la AIG en el proceso de evaluación de la institución. Esto puede incluir la utilización de ítems generados por la AIG en exámenes o evaluaciones, así como la integración de la AIG en el proceso de diseño y revisión de ítems.
Es importante tener en cuenta que la AIG es tan solo una herramienta edTech y no es una solución mágica. Requiere un proceso de planificación y evaluación cuidadoso para asegurar su éxito y utilidad en tu institución.
En este aspecto, te puede resultar útil utilizar alguno de los productos de proctoring SMOWL, lo que te permitirá aplicar la Automatic Item Generation o Generación Automática de Ítems de manera íntegra y segura en tus evaluaciones. Pídenos una demo gratuita y comprueba de primera mano si la combinación AIG + SMOWL es para tí.
Descargar ahora
8 curiosidades
acerca
del proctoring
Descubre en este libro todo lo que necesitas sobre la supervisión en línea para saber cómo elegir el mejor software.
Rellena el formulario y descarga ahora la guía.
Y suscríbete a la newsletter semanal de SMOWL para obtener ofertas y promociones exclusivas.
Descubrirás todas las tendencias en eLearning, tecnología, innovación y proctoring de la mano de los expertos en evaluación y gestión del talento.
