Educational Value of Systematic Mapping Studies: A Replication Study

Abstract

The goal of this study is to validate the results of a prior study on the educational value of systematic mapping studies (SMS) and evaluate the possibility of generalizing those results to similar contexts. Since the inception of the Evidence Based Software Engineering (EBSE) paradigm in 2004, few studies have aimed at evaluating their impact in the academic field, and the educational values that SMS can offer to the students. In 2010, three renowned researchers presented an article on this subject at ICSE'10. The study made interesting contributions. We believe that, after 8 years, a replication of that study can be useful to assess the original findings and to guide future educational interventions. As a research method, we did a replication of the original multi-case holistic study. This replication confirms all but two of the results from the original work. The differences may be due to slight variations in the context. The experience of undertaking an SMS provided the students with both research skills and a broad understanding of a research area. We encourage other researchers to replicate this study, to gain further insights into the educational value of this method.

El objetivo de este estudio es el de validar los resultados de un estudio anterior sobre el valor educativo de los estudios sistemáticos de mapeo (SMS), y evaluar la posibilidad de generalizar aquellos resultados a contextos similares. Desde la aparición del paradigma de Ingeniería del Software Basada en Evidencias (EBSE) en 2004, pocos estudios se han dirigido a evaluar su impacto en el ámbito académico, y el valor educativo que los SMS pueden ofrecer a los estudiantes. En 2010 tres reconocidos investigadores presentaron un artículo sobre éste asunto en ICSE’10. El estudio hizo interesantes contribuciones. Creemos que, después de 8 años, una replicación de ese estudio puede ser útil para comprobar los hallazgos originales y, para guiar futuras intervenciones educativas. Como método de investigación, hicimos una replicación del estudio holístico multi-caso original. Esta replicación confirma todos los resultados, menos dos, del estudio original. Las diferencias pueden deberse a pequeñas variaciones en el contexto. La experiencia de realizar un SMS proporcionó a los estudiantes tanto destrezas para la investigación como un amplio conocimiento de su área de investigación. Animamos a otros investigadores a replicar este estudio, para conseguir mayor información sobre el valor educativo de éste método.