Machine learning y deep learning en la interpretación del lenguaje de señas

Abstract

La pandemia COVID19 puso en evidencia la gran dificultad de la comunidad hipoacúsica para comunicarse con el resto de la sociedad. El uso de barbijos, máscaras y barreras transparentes como alternativas atenuadoras de contagios generó una barrera casi infranqueable para esa comunidad cuando utilizaban la lectura de labios para establecer la comunicación. Por ello, la única alternativa que tenían era al uso de la Lengua de Señas (LS), herramienta que el resto de la sociedad, en su mayoría, desconoce; por lo que debían y deben recurrir a una tercera persona que no siendo hipoacúsica y comprendiendo la lengua de señas hiciera de interprete. Los objetivos que persigue el presente trabajo se centran en la utilización de algoritmos derivados del Machine Learning (ML) y Deep Learning (DL) aplicado al reconocimiento de expresiones en LS a partir de una secuencia de imágenes (video), y lograr traducir a texto o audio estas expresiones, como así también el camino inverso, emulando con ello al interprete humano. Estos objetivos exigen la utilización de hardware veloz tipo GPU, gran capacidad de memoria, y algoritmos eficientes para el procesamiento de la información.