Evaluación empírica de modelos de lenguaje en la generación automática de artefactos de ingeniería de software

Empirical evaluation of language models in the automatic generation of software engineering artifacts

Resumen

Este estudio evalúa empíricamente la capacidad de los modelos de lenguaje de gran escala para generar artefactos formales de ingeniería de software, considerando la creciente incorporación de inteligencia artificial generativa en procesos de desarrollo. El objetivo es analizar la calidad, coherencia y utilidad de los artefactos producidos por GPT‑4, Llama‑3 y Mistral en tareas como la elaboración de requisitos, casos de uso, documentación técnica y pruebas unitarias. La investigación adopta un enfoque cuantitativo y cualitativo, con un diseño comparativo y observacional, en el que se generan artefactos mediante cada modelo y se evalúan mediante métricas de coherencia semántica, completitud, adecuación técnica y trazabilidad, complementadas con validación por expertos. Los resultados muestran que los modelos presentan un desempeño heterogéneo según la tarea: GPT‑4 destaca en coherencia y completitud, Llama‑3 ofrece mayor estabilidad en tareas estructuradas y Mistral presenta limitaciones en precisión técnica. Se identifican patrones de error recurrentes, especialmente en la interpretación de requisitos y en la consistencia interna de los artefactos. Los hallazgos evidencian el potencial de los modelos de lenguaje como herramientas de apoyo, pero también subrayan la necesidad de supervisión humana y de marcos metodológicos que mitiguen riesgos asociados a su uso en entornos profesionales.