Teamwork Quality Prediction Using Speech-Based Features

Abstract

Este artículo describe un nuevo protocolo para la anotación de la calidad del trabajo en equipo y variables relacionadas, basado únicamente en la señal de voz. Nuestro protocolo fue diseñado para anotar una versión en español del corpus Objects Games, un corpus de acceso público que contiene diálogos de personas jugando un videojuego colaborativo. El corpus fue anotado por 4 evaluadores, quienes alcanzaron un Coeficiente de Correlación Intraclase de 0.64 para la métrica principal de calidad del trabajo en equipo. Usando estas anotaciones, desarrollamos un sistema para predecir automáticamente la calidad promedio del trabajo en equipo según los evaluadores, utilizando características extraídas de las conversaciones, alcanzando un coeficiente de determinación, R², de 0.56. Este resultado sugiere que la predicción automática de la calidad del trabajo en equipo a partir de la señal de voz de los compañeros es una tarea viable.

This paper describes a novel protocol for annotating teamwork quality and related variables, based only on the speech signal. Our protocol was designed to annotate a Spanish version of the Objects Games corpus, a publicly available corpus that contains dialogues of people playing a collaborative computer game. The corpus was annotated by 4 raters, who achieved an Intr- aclass Correlation Coefficient of 0.64 for the main teamwork quality metric. Using the resulting annotations, we developed a system for automatic prediction of the average teamwork quality across raters using features extracted from the conversations, reaching a coefficient of determination, R2 of 0.56. This result suggests that automatic prediction of teamwork quality from the speech signal of the teammates is a feasible task.