Trust evaluation in virtual software development teams using BERT-based language models

Abstract

Nowadays, people from different geographical areas can be closely related thanks to advances in information and communication technologies. This has a greater impact in software development organizations where their members form virtual work teams. In these new co-located work scenarios, the construction of interpersonal trust is more complex and its impact is very relevant in the performance of software development teams. This paper presents the results of the performance evaluation of four pre-trained language models based on BERT applied to trust analysis tasks. For this work, a small dataset of 1453 comments obtained from software projects stored on Github was created. The evaluated language models achieved moderately good values, in the order of 0.84 for the F1-score metric, which augurs that with further research they could be significantly improved.

Actualmente personas de distintas zonas geográficas pueden estar fuertemente relacionadas gracias a los avances en las tecnologías de información y comunicación. Esto tiene un impacto mayor en organizaciones de desarrollo de software en donde sus miembros conforman equipos virtuales de trabajo. En estos nuevos escenarios colocalizados de trabajo la construcción de confianza interpersonal es más compleja y su impacto es muy relevante en el desempeño de los equipos de desarrollo de software. Este trabajo presenta los resultados de la evaluación de desempeño de cuatro modelos de lenguaje pre-entrenados basados en BERT aplicados a tareas de análisis de trust. Para este trabajo se creó un pequeño dataset de 1453 comentarios obtenidos de proyectos de software almacenados en Github. Los modelos de lenguaje evaluados alcanzaron valores moderadamente buenos, del orden de 0.84 para la métrica F1-score, lo que augura que con una mayor investigación podrían mejorarse significativamente.