Hacia una plataforma para la gestión de variedad en sistemas Big Data

Abstract

Los Sistemas Big Data (SBDs) son sistemas inherentemente distribuidos, cuyas tecnologías y frameworks evolucionan rapidamente. Consecuentemente, en este contexto existen varios desafíos para arquitectos y diseñadores, particularmente sobre los requerimientos que una arquitectura para SBDs debe cumplir, específicamente las ya conocidas cinco “Vs” que denotan V olumen, V elocidad, V ariedad, V ariabilidad y V eracidad. En particular, la V ariedad se define como la propiedad de los SBD con respecto a diversidad de los datos, como las diferentes fuentes, las diferentes estructuras, formatos, los diferentes contenidos, etc. En nuestro proyecto, ampliamos este requerimiento de variedad definiéndolo como la diversidad o heterogeneidad que puede existir en los datos y al mismo tiempo influir en las decisiones y procesos en el desarrollo de SBD. La variedad, al ser identificada y modelada dentro del desarrollo de estos sistemas permite a su vez promover principios básicos de la ingeniería de software, como la flexibilidad y reusabilidad. En nuestro proyecto trabajamos justamente en la creación de métodos, técnicas, recursos y herramientas que brinden el soporte necesario para implantar la variedad y crear SBD reusables.