Aprendizaje automático profundo y visión por computadora: aplicaciones en el reconocimiento de lengua de señas e imágenes astronómicas

Abstract

Esta línea de investigación se centra en el estudio y desarrollo de Sistemas Inteligentes para la resolución de problemas de reconocimiento de patrones en imágenes y video, utilizando técnicas de Aprendizaje Automático clásicas, junto con Redes Neuronales Convolucionales y Aprendizaje profundo. El trabajo presentado describe diferentes casos de aplicación en visión por computadora. Una de las líneas de investigación principales que se continúa desarrollando es el reconocimiento de lengua de señas. Este es un problema complejo y multidisciplinar, que presenta diversos subproblemas a resolver como el reconocimiento del intérprete, la segmentación de manos, la clasificación de diferentes configuraciones y de un gesto dinámico, entre otros. En esta área se está estudiando la forma de reconocer formas de mano de la Lengua de Señas con conjuntos de datos de tamaño reducido, dada la falta de datos de entrenamiento para este dominio. Además, se están comenzando a utilizar Redes Generativas Adversarias (GANs) para aumentar bases de datos de formas de mano, con el objetivo de complementar desde otro enfoque el entrenamiento de modelos para su clasificación. Por otro lado, se está estudiando la forma en que las redes neuronales codifican la invarianza a las transformaciones y otras propiedades transformacionales, con el objetivo de poder analizar y comparar estos modelos, y finalmente mejorarlos. De esta forma se espera poder mejorar los modelos de clasificación de objetos transformados, en particular, de formas de mano. Siguiendo con la línea de reconocimiento de patrones en imágenes, se está llevando a cabo una colaboración con investigadores de la Facultad de Astronomía y Geofísica de la UNLP para crear modelos de clasificación de imágenes de objetos celestes. Además, se está desarrollando un sistema para recuperar la información de placas espectrográficas astronómicas antiguas, con el objetivo de recuperar los espectrogramas que contienen. Por último, se está diseñando un prototipo para crear experiencias interactivas multimedia que incorpore técnicas de aprendizaje profundo tanto para la entrada de datos por parte de los usuarios, como para la generación de una salida en forma de imágenes, videos, sonido y texto.