Inspección de modelos de características: aprovechando patrones de defectos y asistencia de IA

Abstract

Los modelos de características (MC) son esenciales para la variabilidad en líneas de productos de software (LPS), haciendo crucial el análisis de defectos. Las inspecciones manuales son clave para problemas de dominio, requisitos y defectos no sintácticos. Las listas de verificación ofrecen inspecciones sistemáticas, reproducibles, y menos dependientes de la experiencia del inspector. Los métodos existentes para MC se basan en clasificaciones de defectos de requisitos o tipos de defectos fáciles de recordar, referenciando modelos o documentos externos. Ellos omiten patrones de defectos no obvios o fáciles de olvidar y son inaccesibles en entornos con recursos limitados. Este estudio propone una inspección de MC independiente de modelos externos, integrando clasificaciones de la literatura con patrones de defectos, centrándose en características de comportamiento. Empleamos modelos de lenguaje grandes (MLG) para mejorar la eficiencia y precisión de la inspección. Presentamos un árbol de clasificación de defectos derivado empíricamente. Los resultados empíricos de nuestro enfoque indican para los patrones de defectos que el 23% fueron no obvios y el 23% fáciles de olvidar. Los patrones no-obvios ayudaron a detectar el 60% de los defectos de ambigüedad, el 14.5% de defectos relacionados con reglas de negocio y el 11.7% de defectos de incompletitud. Los MLG contribuyeron a identificar entre el 15.5% y el 59.4% del total de los defectos. Nuestro enfoque es accesible para equipos con recursos limitados y adecuado para entornos ágiles, diseño temprano, educación e industrias complejas, uniendo teoría y práctica y estableciendo la inspección asistida por IA como una herramienta valiosa.

Feature models (FM) are vital for representing variability in software product lines (PL), making defect analysis critical. Manual inspections are essential for finding issues tied to domain understanding, requirements organization, and defects beyond syntactic checks. Checklist-based inspections are systematic, reproducible, and less reliant on inspector expertise. Existing methods for FM inspections typically rely on requirements-based defect classifications or easily recalled defect types, often referencing supplementary models or documents. These methods overlook non-obvious or easily forgotten defect patterns. Additionally, they lack accessibility in resource-constrained settings, with dependence on external artifacts further complicating inspections. This study proposes an inspection approach independent of external models, integrating defect classifications from literature with defect patterns. The method focuses on behavioral features and employs large language models (LLMs) to enhance inspection efficiency and accuracy. Central to this approach is a hierarchical defect classification tree, empirically derived. Empirical results for our approach indicate that 23% of defect patterns were non-obvious, while 23% were easy to forget. Nonobvious patterns helped detect 60% of ambiguity defects, 14.5% of business rulerelated defects, and 11.7% of incompleteness defects. LLMs contributed to 15.5%–59.4% of total defects identified. Our approach is accessible to resourcelimited teams. Our approach is suited for agile environments, early design stages, education, and complex industries, bridging theory and practice while establishing AI-assisted inspection as a valuable tool.