Comparación reproducible de modelos de lenguaje en problemas textuales de mecánica clásica mediante un benchmark automatizado

Pérez Castro, Omayra Janeth and Fernández García, Bernardo and Marín Díaz, Luis Antonio and Rodríguez Cisneros, Juan Manuel (2026) Comparación reproducible de modelos de lenguaje en problemas textuales de mecánica clásica mediante un benchmark automatizado. Tecnociencia, 28 (2). pp. 157-172. ISSN 2415-0940

[img] Text (PDF)
7555 - Published Version
Available under License Creative Commons Attribution Non-commercial Share Alike.

Download (2kB)

Abstract

Este estudio presenta un benchmark textual para comparar nueve modelos comerciales de lenguaje de gran escala en la resolución de problemas de Mecánica Clásica. Se empleó un total de 42 ítems auto-contenidos y sin dependencia explícita de diagramas, extraídos de materiales abiertos de MIT OpenCourseWare correspondientes a 2005 y 2016. Los modelos evaluados pertenecieron a tres proveedores: OpenAI, Anthropic y Google Gemini. Cada problema se presentó mediante un mismo prompt estructurado con respuesta final,resumen breve del razonamiento, ecuaciones, unidades, nivel de confianza. La corrida completa produjo 378 respuestas utilizables. La referencia de corrección se construyó en dos etapas: consenso numérico para 22 ítems y curación manual para 19 casos sin consenso; un ítem permaneció ambiguo por dependencia residual de figuras ausentes. El pipeline alcanzó 100% de éxito final, aunque 29 salidas truncadas requirieron recuperación a nivel de parser. En acuerdo heurístico con la referencia curada, Gemini obtuvo el mejor rendimiento agregado por proveedor (43.7%; 55/126), mientras que gemini-3.1-pro-preview alcanzó el mejor resultado a nivel de modelo (61.9%; 26/42). Anthropic produjo las respuestas más extensas y lentas, y gemini-3-flash-preview fue el modelo más veloz. Los hallazgos muestran que los LLMs ya apoyan evaluaciones reproducibles en física sin reemplazar expertos.

Item Type: Article
Uncontrolled Keywords: Modelos de lenguaje, enseñanza de la física, mecánica clásica, benchmark, evaluación comparativa
Subjects: Q Science > QA Mathematics > QA76 Computer software
Z Bibliography. Library Science. Information Resources > ZA Information resources > ZA4450 Databases
Depositing User: Yovani Olmedo
Date Deposited: 09 Nov 2026 18:57
Last Modified: 09 Nov 2026 18:57
URI: http://up-rid.up.ac.pa/id/eprint/11872

Actions (login required)

View Item View Item