Análisis de paralelización con memoria compartida y memoria distribuida en clusters de nodos con múltiples núcleos

Abstract

En este trabajo se presentan las alternativas y los resultados de rendimiento obtenidos del análisis de las alternativas de paralelización en clusters de nodos con múltiples núcleos. El objetivo final es mostrar si es necesario tener en cuenta los dos modelos de procesamiento y paralelización (memoria compartida y memoria distribuida) o solamente uno de ellos. La aplicación utilizada es clásica en el contexto de cómputo de alto rendimiento: la multiplicación de matrices. Si bien esta operación es representativa de las aplicaciones de álgebra lineal, se muestran los resultados en términos de las condiciones bajo las cuales se puede optimizar rendimiento y hacia dónde debe estar enfocado el esfuerzo de la paralelización de algoritmos en los clusters de nodos con múltiples núcleos. Estos clusters son considerados como los estándares de bajo costo hoy en día, dado que casi cualquier máquina de escritorio con la que se construyen los clusters está basada en un procesador con más de un núcleo e, inclusive con más de un procesador. En cualquier caso, todas las unidades de procesamiento deberían ser utilizadas al máximo para optimizar el rendimiento obtenido por las aplicaciones paralelas

This article presents the alternatives and performance results obtained after analyzing parallelization alternatives in clusters of nodes with multiple cores. The ultimate goal is to show if both processing and parallelization models (shared memory and distributed memory) need to be taken into account, or if only one of them is enough. The application used is classical in the context of highperformance computing: matrix multiplication. Even though this operation is representative of linear algebra applications, results are shown in terms of the conditions under which performance can be optimized and where algorithm parallelization efforts should be focused on for clusters of nodes with multiple cores. These clusters are nowadays considered as low-cost standards, since almost any desktop computer used to build clusters is based on a multi-core processor, and even on multi-processors. In any case, all processing units should be used to their maximum to optimize the performance of parallel applications.