Implementación paralela del algoritmo backpropagation en un cluster de computadoras

Abstract

En la actualidad existe una gran diversidad de arquitecturas paralelas, en donde se han definido muchos modelos de implementación del algoritmo de entrenamiento de redes neuronales backpropagation o propagación hacia atrás. La obtención de una buena performance depende básicamente del modelo de implementación y la arquitectura paralela disponible. El presente trabajo consiste en la definición de un modelo de implementación del algoritmo de backpropagation en un ambiente de programación paralela y su implementación utilizando un cluster de computadoras conectadas entre sí. Esta implementación permite ser utilizada, no necesariamente en una arquitectura paralela especifica en donde la comunicación no introduce un overhead, como ocurre en la utilización de un clustrer de estaciones de trabajo. De esta forma la implementación realizada permite no solo, mejoras en la performance del algoritmo de entrenamiento sino que además mediante la utilización de un parámetro ε que se utiliza para determinar que un cambio en un peso de entrenamiento superior a ε debe ser considerado, en otro caso no.