Evaluación de la calidad de modelos de lenguaje de gran escala basada en ISO/IEC 25059 e ISO/IEC TS 25058 mediante el enfoque GQM

Abstract

La creciente integración de modelos de lenguaje de gran escala en aplicaciones críticas demanda marcos de evaluación específicos que consideren su naturaleza no determinista. Se presenta una evaluación comparativa de cinco modelos de lenguaje de gran escala (LLMs) utilizando el enfoque Goal-QuestionMetric (GQM) y tomando como referencia las normas ISO/IEC 25059 e ISO/IEC TS 25058. A partir de estas normas se definieron objetivos evaluativos, preguntas específicas y métricas asociadas, orientadas a capturar propiedades relevantes desde la perspectiva del usuario. El instrumento fue aplicado por diez evaluadores con perfiles diversos, lo que permitió obtener una visión amplia sobre el comportamiento de cada modelo. Los resultados revelan diferencias significativas entre los sistemas evaluados, así como patrones comunes que permiten identificar fortalezas y debilidades compartidas, proporcionando insumos valiosos para la mejora de la calidad de sistemas de IA generativa.