Empirical studies conducted with software collections: a mapping study

Abstract

Software projects are inputs in Evidence-Based Software Engineering, although they are selected without following a specific strategy, which decreases the generalization and replication of the results. One option is to use collections of existing projects, but these must have explicit construction and maintenance rules. The objective of this work was to perform a secondary study on software project selection strategies in empirical studies, and learn about: the rules considered, project characteristics, code metrics, extraction tools and statistical analyses employed. A systematic mapping was used to identify articles from January 2013 to December 2021. We selected 150 studies in which 67% used their own rules for project selection and 31% worked with existing collections, and the majority (80%) used Java projects. Furthermore, there was no evidence of a standardized framework for project selection for empirical studies in Software Engineering.

Los proyectos software son insumos en la Ingeniería del Software Basada en Evidencias, aunque estos sean seleccionados sin seguir una estrategia específica, lo cual disminuye la generalización y replicación de los resultados. Una opción es usar colecciones de proyectos existentes, pero estas deben contar con reglas explícitas de construcción y mantenimiento. El objetivo de este trabajo fue realizar un estudio secundario sistematizado sobre las estrategias de selección de los proyectos software en estudios empíricos, y conocer: las reglas consideradas, las características de los proyectos, las métricas de código, las herramientas de extracción y los análisis estadísticos practicados. Se utilizó un mapeo sistemático para identificar artículos desde enero de 2013 a diciembre de 2021. Se seleccionaron 150 estudios de los cuales el 67% utilizó reglas propias para la selección de los proyectos y el 31% trabajó con colecciones existentes, y la mayoría (80%) empleó proyectos Java. Asimismo, no se encontraron evidencias de un marco estandarizado para la selección de proyectos para estudios empíricos en Ingeniería de Software.