CISNE-P: a portable and integral approach for scheduling parallel jobs on non-dedicated clusters

Abstract

In this work, we present an integral scheduling system for non-dedicated clusters, termed CISNE-P, which ensures the performance required by the local applications, while simultaneously allocating cluster resources to parallel jobs. Our approach solves the problem efficiently by using a social contract technique. This kind of technique is based on reserving computational resources, preserving a predetermined response time to local users. CISNE-P is a middleware which includes both a previously developed space-sharing job scheduler and a dynamic coscheduling system, a time sharing scheduling component. The experimentation performed in a Linux cluster shows that these two scheduler components are complementary and a good coordination improves global performance significantly. We also compare two different CISNE-P implementations: one developed inside the kernel, and the other entirely implemented in the user space

En este trabajo presentamos un sistema integral de planificación para clusters no dedicados llamado CISNE-P, el cual asegura el rendimiento especificado por los usuarios locales y al mismo tiempo asegura de forma simultánea recursos del cluster a los trabajos paralelos. Nuestra propuesta soluciona eficientemente el problema usando una técnica de contrato social.Esta clase de técnica se basa en realizar reservas de los recursos de cómputo, preservando de este modo un determinado tiempo de respuesta predeterminado a los usuarios locales. CISNE-P es un midleware que incluye un planificador de espacio compartido desarrollado con anterioridad y un sistema de coplanificación dinámico, un tipo de planificador de tiempo compartido. La experimentación realizada en un cluster Linux muestra como los dos planificadores son complementarios y una buena coordinación entre ellos mejora su rendimiento de forma significativa. También se ha comparado dos implementaciones de CISNE-P: una desarrollada dentro del núcleo y la otra implementada enteramente en el espacio de usuario.