Estudio comparativo entre Apache Spark y Pentaho PDI durante la ejecución de procesos ETL en entornos big data

Abstract

En este trabajo se realizó un estudio comparativo entre Pentaho Data Integration (PDI) y Apache Spark con el propósito de evaluar el rendimiento de ambas tecnologías durante la ejecución de procesos ETL (Extract, Transform, Load) en un ambiente de procesamiento distribuido. Para ello, se midieron cuatro indicadores predefinidos: tiempo de procesamiento, uso de memoria RAM, uso de red y carga del sistema. El enfoque teórico introduce conceptos tales como data warehouse, modelado dimensional, sistemas BI (Business Intelligence) y procesos ETL con el fin de proporcionar al lector el marco de información necesario para facilitar la comprensión del entorno diseñado para ejecutar las pruebas y los resultados obtenidos. La estrategia metodológica incluyó la descripción de ambas tecnologías abordando su funcionamiento interno y destacando las características relacionadas directamente con el desarrollo de procesos ETL. Adicionalmente, en el caso de Apache Spark, se puntualizaron otras características que, si bien no están relacionadas directamente con este tipo de desarrollos, permiten comprender mejor a la herramienta en su totalidad. Se montó un laboratorio experimental para la realización de pruebas y el análisis de los resultados. Además, se ejecutaron dos procesos ETL en un clúster PDI y en un clúster Apache Spark, respectivamente, destinados a alimentar un modelo dimensional estrella almacenado en una base de datos PostgreSQL. Las conclusiones permiten observar que Apache Spark se destaca claramente por sobre PDI en términos de los indicadores definidos para realizar las comparaciones. Sin embargo, se presenta un enfoque alternativo, en el cual, para determinados escenarios, PDI aún puede ser una herramienta valiosa para considerar.