Generación de gestos de lengua de señas con redes neuronales generativas basadas en poses y etiquetas

Abstract

Obtener datos etiquetados para el entrenamiento de redes neuronales en tareas de reconocimiento de lengua de señas es un desafío difícil y costoso. En este artículo investigamos la factibilidad de generar datos utilizando Generative Adversarial Networks (GAN), para mejorar el entrenamiento de redes neuronales. Específicamente, generamos imágenes de manos condicionando los modelos GAN con información semántica de poses y etiquetas. Comparamos los modelos ReACGAN y SPADE en la generación de nuevas imágenes de alta calidad. Evaluamos la generación de señas en dos conjuntos de datos: RWTH y HaGRID. Se entrenaron modelos generativos utilizando subconjuntos de tamaño reducido para probar el efecto de la reducción de datos de entrenamiento. Medimos la calidad de los modelos resultantes utilizando métricas cuantitativas (FID, IS, cobertura y densidad) y cualitativas (encuestas). Como resultado obtuvimos modelos GAN capaces de generar señas con un buen nivel de realismo que luego podrán ser utilizados para aumentar conjuntos de datos de lengua de señas.