Análisis de las capacidades de la inteligencia artificial en el ámbito de Teoría de Máquinas y Mecanismos para diferentes niveles de la taxonomía de Bloom

Resumen

En los últimos años se han desarrollado considerablemente diversas herramientas de inteligencia artificial (IA) basadas en modelos de procesamiento de lenguaje natural, que son capaces de contestar preguntas y resolver problemas diversos. En el ámbito educativo, falta todavía explorar en detalle las posibilidades que estas herramientas ofrecen como complementos a la labor docente realizada por los profesores y su fiabilidad. En este trabajo se analizan y comparan las capacidades de dos herramientas representativas de este tipo (ChatGPT y Gemini) para resolver cuestiones y problemas en el ámbito de la Teoría de Máquinas y Mecanismos (TMM).
Para ello, se generó una batería de cuestiones relacionadas con TMM, clasificadas de acuerdo a la taxonomía de Bloom revisada. El conjunto estaba formado por un total de 48 cuestiones, ocho por cada una de las seis dimensiones de la taxonomía (D1-recordar, D2-comprender, D3-aplicar, D4-analizar, D5-evaluar y D6-crear). Las cuestiones fueron elaboradas por los autores, profesores del área de ingeniería mecánica de la Universitat Jaume I, todos con experiencia en la docencia en TMM, tratando de conseguir un conjunto representativo de los diferentes contenidos incluidos habitualmente en la asignatura. Cada cuestión fue planteada exactamente igual a cada una de las dos IAs por uno de los participantes. Las respuestas anonimizadas de cada una de las IAs fueron luego corregidas por otros dos participantes en este trabajo, según un reparto en el que cada profesor realizó el mismo número de interacciones con las IAs y correcciones en cada nivel de la taxonomía. La corrección se realizó utilizando una rúbrica que tenía en cuenta tres aspectos: A1) la calidad técnica de la respuesta, A2) la precisión y completitud de la misma y A3) su redacción y ortografía, siguiendo una escala de valoración de Likert de 1 a 5 (1-muy mal, 2-necesita mejorar, 3-satisfactoria, 4-buena, 5-excelente). Se analizó la valoración conseguida por cada IA en los diferentes aspectos valorados y en las diferentes dimensiones de la taxonomía de Bloom.
Los resultados indican diferencias significativas entre las dos IAs en cuanto a valoración promedio en calidad técnica de la respuesta, situándose ambas entre buena y satisfactoria (ChatGPT 3.8, Gemini 3.3, p<0.05), y en cuanto a precisión y completitud (ChatGPT 4.0, Gemini 3.4, p<0.05). En el aspecto de calidad de la redacción y ortografía no se observaron diferencias significativas entre ambas IAs (ChatGPT 4.6, Gemini 4.5, p>0.05). Se observó que los resultados en los aspectos A1 y A2 dependen significativamente de la dimensión en la taxonomía de Bloom de la respuesta, siendo mejores los resultados en la dimensión D1 (recordar) que en la D6 (crear), con menores diferencias entre las categorías intermedias (para A1: D1: 4.1, D2: 3.5, D3: 3.4, D4: 3.7, D5: 3.7, D6: 2.8, para A2: D1: 4.0, D2: 3.7, D3: 3.8, D4: 3.8, D5: 4.0, D6: 2.9). Se observaron diferencias significativas entre correctores al evaluar los aspectos A2 y A3, pero no para el A1.