Traducción automática de lengua de señas en español utilizando Deep Learning

Abstract

La Lengua de Señas (LS) es fundamental para la comunicación y el acceso a la información de la comunidad sorda a nivel global. Sin embargo, la ausencia de traductores automáticos de LS a lenguaje escrito limita la inclusión y la interacción efectiva con personas oyentes. Este trabajo aborda esta problemática mediante el desarrollo de recursos y modelos para la Traducción de Lengua de Señas (SLT), haciendo particular foco en el caso de la Lengua de Señas Argentina (LSA) al español y en estrategias para contextos de pocos datos. Esta tesis propone dos ejes: la generación de recursos para el entrenamiento de modelos de SLT y el desarrollo, entrenamiento y evaluación de dichos modelos. En el marco del primer eje se presenta LSA-T, el primer conjunto de datos continuo de LSA, que incluye más de 20 horas de video del canal de YouTube CN Sordos con traducciones al español y datos posicionales de los señantes, superando las limitaciones de bases de datos previas que solo incluían señas aisladas. Complementariamente, se desarrolla Seni.ar, una aplicaci´on diseñada para validar y ampliar LSA-T con la colaboración de expertos y la comunidad. En el segundo eje, se desarrolla, entrena y eval´ua un modelo neuronal de SLT basado en información posicional. Este modelo se entrena inicialmente sobre LSA-T y se valida en conjuntos de datos de otras lenguas de señas. Reconociendo las limitaciones inherentes a escenarios de bajos recursos, se exploran dos estrategias complementarias: el entrenamiento multiling¨ue a partir de la unificación de múltiples corpus de lenguas de señas, y la aumentación textual mediante grandes modelos de lenguaje para generar paráfrasis de las traducciones existentes. Adicionalmente, se realiza un análisis de interpretabilidad de los modelos Transformer, estudiando los patrones de atención que emergen durante la traducción. Este análisis revela que el modelo aprende a atender clusters de cuadros contiguos correspondientes a señas individuales, y que existe una transición progresiva desde la información visual hacia el contexto ling¨uístico a medida que avanza la decodificación. Las contribuciones de este trabajo incluyen la creación de recursos fundamentales para el desarrollo de tecnologías de SLT y particularmente de la LSA, la presentación de técnicas para mitigar la escasez de datos mediante enfoques multiling¨ues y aumentación con LLMs, y el análisis de los mecanismos internos de los modelos de traducción. Estos avances buscan mejorar la comunicación y promover la inclusión de la comunidad sorda en Argentina.