Unsupervised TOF Image Segmentation through Spectral Clustering and Region Merging

Abstract

Time of Flight (TOF) cameras generate two simultaneous images, one of intensity and one of range. This allows to tackle segmentation problems in which the separate use of intensity or range information is not enough to extract objects of interest from the 3D scene. In turn, range information allows to obtain a normal vector estimation of each point of the captured surfaces. This article presents a semi-supervised spectral clustering method which combines intensity and range information as well as normal vector orientations to improve segmentation results. The main contribution of this article consists in the use of a statistical region merging as a final step of the segmentation method. The region merging process combines adjacent regions which satisfy a similarity criterion. The performance of the proposed method was evaluated over real images. The use of this final step presents preliminary improvements in the metrics evaluated.

Las cámaras de tiempo de vuelo (TOF) generan dos imágenes simultáneas, una de intensidad y una de rango. Esto permite abordar problemas de segmentación donde la información de intensidad o de rango separadamente es insuficiente para extraer los objetos de interés de la escena 3D. A su vez, la información de rango permite obtener una aproximación del vector normal de cada punto de las superficies capturadas. En este artículo se presenta un método de clustering espectral no supervisado que combina la información de intensidad, de rango y las orientaciones de los vectores normales para mejorar los resultados de la segmentación. La principal contribución de este artículo consiste en la utilización de un proceso estadístico de unión de regiones como paso final de método de segmentación. El proceso de unión de regiones combina regiones adjacentes que satisfacen un criterio de semejanza. El rendimiento del método propuesto fue evaluado sobre imágenes reales. El uso de este paso final presenta mejoras preliminares en las métricas evaluadas.