Generación automática de videos utilizando Deep Learning. Aplicación en reconocimiento de gestos dinámicos

Abstract

El objetivo general de esta beca es la creación de modelos capaces de generar videos artificiales. Estos modelos resultan sumamente útiles en contextos donde se requiere aumentar la cantidad de datos disponibles, en particular aquellas bases de datos con pocos ejemplos. El énfasis estará puesto en la generación de videos de gestos dinámicos, permitiendo de esta forma entrenar modelos de Deep Learning eficientes a partir de pocos datos reales.Como objetivos específicos se proponen los siguientes:a. Estudio y análisis de bases de datos públicas sobre reconocimiento de gestos, incluyendo bases de datos específicas para lengua de señas. Particularmente LSA64, base de datos para la lengua de señas argentina desarrollada en el III-LIDI.b. Creación de nuevos modelos de generación de videos que posean coherencia temporal para complementar las bases de datos existentes. Particularmente se estudiarán las Generative Adversarial Networks (GAN) ya que son los modelos más utilizados en el estado del arte.c. Desarrollo de modelos clasificadores de videos aplicado al reconocimiento de gestos dinámicos. Particularmente, se estudiarán Redes Neuronales Convolucionales (ConvNets) y Redes Neuronales Recurrentes (específicamente LSTM) específicas para problemas de clasificación de objetos en videos.d. Aplicación de los clasificadores desarrollados en el dominio del reconocimiento de gestos dinámicos y la lengua de señas.e. Análisis y comparación de los resultados obtenidos utilizando los nuevos datos generados.