Process tracking for dynamic tuning applications on the grid

Abstract

Los recursos computacionales requeridos por la comunidad científica para solucionar problemas son mayores que los ofrecidos por la infraestructura actual. La necesidad de mayores prestaciones se debe al constante progreso de la investigación, nuevos problemas o aumento del detalle en los problemas corrientes. Usuarios crean nuevos sistemas distribuidos en larga escala como sistemas Grid para lograr prestaciones deseadas. Sistemas Grid son generalmente construidos sobre los recursos computacionales disponibles como clusters, maquinas paralelas o dispositivos de almacenamiento distribuidos en diferentes organizaciones e interconectado por una red. Sintonizar aplicaciones en un sistema Grid no es fácil debido a las características de distribución de procesos en múltiples clusters controlados por diferentes sistemas de colas y heterogeneidad de la red de comunicaciones. Nosotros tenemos un entorno de monitorización, análisis y sintonización (MATE) que permite la sintonización dinámica de aplicaciones en entornos cluster. Debido a las muchas capas de software presente en sistemas Grid, dos ejecuciones de una misma aplicación pueden usar recursos distintos. Para sintonizar los procesos de la aplicación, nuestra herramienta debe localizar y seguir la ejecución de los procesos en el sistema. Nosotros llamamos eso como problema de localización de procesos. Este artículo presenta la integración de MATE con Gris y dos aproximaciones implementadas para solucionar el problema de localización de procesos dentro de sistemas Grid.

The computational resources need by the scientific community to solve problems is beyond the current available infrastructure. Performance requirements are needed due constant research progress, new problems studies or detail increase of the current ones. Users create new wide distributed systems such as computational Grids to achieve desired performance goals. Grid systems are generally built on top of available computational resources as cluster, parallel machines or storage devices distributed within different organizations and those resources are interconnected by a network. Tune applications on Grid environment is a hard task due system characteristics like multi-cluster job distribution among different local schedulers and dynamic network bandwidth behavior. We had a Monitoring, Analysis and Tuning Environment (MATE) that allows dynamic performance tuning applications within a cluster. Due to the many software layers present on the grid, similar job submission may execute on different places. To tune application jobs, our tool needs to locate and follow the jobs execution within the system. We call this a process tracking problem. This paper presents MATE integration to the Grid and the two process tracking approaches implemented in order to solve the process tracking problem within Grid systems