ETL for the integration of remote sensing data

Abstract

Modern in-orbit satellites and other available remote sensing tools have generated a huge availability of public data waiting to be exploited in different formats hosted on different servers. In this context, ETL formalism becomes relevant for the integration and analysis of the combined information from all these sources. Throughout this work, we present the theoretical and practical foundations to build a modular analysis infrastructure that allows the creation of ETLs to download, transform and integrate data coming from different instruments in different formats. Part of this work is already implemented in a Python library which is intended to be integrated into already available workflow management tools based on acyclic-directed graphs which also have different adapters to impact the combined data in different warehouses.

Los satélites modernos que están en órbita y otras herramientas de teledetección disponibles han generado una enorme disponibilidad de datos públicos a la espera de ser explotados, los cuales están alojados en diferentes servidores y en distintos formatos. En este contexto, el formalismo ETL (Extracción, Transformación y Carga, por sus siglas en inglés) cobra relevancia para la integración y análisis de la información combinada de todas estas fuentes. A lo largo de este trabajo se presentan los fundamentos teóricos y prácticos para construir una infraestructura de análisis modular que permita la creación de ETLs para descargar, transformar e integrar datos procedentes de diferentes instrumentos en distintos formatos. Parte de este trabajo ya está implementado en una librería Python que se pretende integrar en herramientas de gestión de flujos de trabajo ya disponibles basadas en grafos acíclicos-dirigidos que también disponen de diferentes adaptadores para impactar los datos combinados en diferentes warehouses.