Integración escalable de realidad aumentada basada en imágenes y rostros

Abstract

La Realidad Aumentada (RA) consiste en la creación de un entorno en el que la información y los objetos virtuales se fusionan con la realidad, ofreciendo al usuario una experiencia enriquecida sin interferir con su percepción natural. Esta tesis se centra en la integración de dos tipos particulares de aumentación de la realidad: la basada en imágenes arbitrarias y la basada en rostros humanos, e incluyendo en esta última el reconocimiento facial de individuos y la estimación de parámetros biométricos. Se persigue por una parte la escalabilidad, en el sentido de no tener una limitación en la cantidad de objetivos de aumentación (imágenes o rostros) almacenados en una base de datos, y por otra parte, la independencia de servicios externos en línea a la hora de la explotación. Se propone utilizar descriptores de rostros con ciertas similitudes morfológicas a otros populares descriptores de imágenes. Esta similitud permite tratarlos como un mismo problema. Dado que el cuello de botella identificado en el proceso de RA es la búsqueda de correspondencias, es decir la búsqueda de una imagen o rostro en la base de datos, se propone obtener escalabilidad mediante el uso de algoritmos avanzados de búsqueda aproximada de vecinos más cercanos o ANN. Se realizan estudios cuantitativos de desempeño de diversas implementaciones de algoritmos ANN utilizando un nuevo esquema de evaluación. Como resultado se establece a HNSW como el algoritmo más apropiado para la tarea. Se consigue diseñar, implementar y evaluar una arquitectura integrada y escalable de RA basada en imágenes y reconocimiento de rostros con inferencia biométrica, basada en procesamiento paralelo y asíncrono.

Augmented Reality (AR) consists in the creation of an environment in which information and virtual elements fuse with the physical reality. It offers the user an enriched experience without interfering with its natural perception. This thesis develops around the scalable integration of two types of augmentation: arbitrary image based augmentation and face based augmentation with recognition capabilities and estimation of biometric parameters. It is intended to increase the scalability, that is the number of augmentation targets (images or faces) that a single application can have in its database, and to process without relying on an external online service during the exploitation phase. It is proposed the use of face descriptors with certain morphological similarities to other popular image descriptors. This similarity allows turning the bottlenecks of both image and face based processes into the same problem. Given that the bottleneck identified in the AR process is the search for matches, that is, the search for an image or face in the database, it is proposed to obtain scalability through the use of advanced Approximate Nearest Neighbor (ANN) search algorithms. A series of quantitative performance studies over several ANN algorithms are carried out using a novel benchmarking scheme designed for this particular context. In contrast with other state-of-theart studies HSNW results in the best alternative. The design, prototype implementation and evaluation of an scalable architecture that makes use of parallel and asynchronous execution to achieve scalable augmentation of images, face recognition and biometric inference are presented.