Improving controllers based on neural networks obtained by parallel evolution strategy

Abstract

La resolución de tareas complejas puede ser llevada cabo descomponiendo el problema original en partes más simples y específicas denominadas subtareas. Varios investigadores han demostrado que las redes neuronales poseen la capacidad de resolver cada una de estas subtareas y que de su accionar coordinado puede lograrse la resolución del problema completo. Este artículo presenta una nueva estrategia que permite mejorar controladores basados en redes neuronales obtenidos a través de estrategias de evolución paralela. Su funcionamiento se basa en la combinación de un método capaz de generar una red neuronal de estructura minima con un algoritmo genético que utiliza selección por torneo y mutación uniforme. Durante el proceso, con la intención de reducir el tiempo de adaptación, la aptitud de los individuos es evaluada en paralelo. El método propuesto ha sido utilizado para generar un controlador que permita a un robot encontrar una pelota, posicionarse correctamente y golpearla en una dirección específica. Las pruebas realizadas en el simulador y en un robot real han dado resultados satisfactorios.

Complex task solving can be carried out by decomposing the original problem into more specific and simpler parts, called subtasks. Several researches have demonstrated that each of these subtasks may be solved by means of a neural network, and that, through the coordinated action of these networks, the full problem can in turn be solved. This paper is focused on the presentation of a new mechanism, which allows improving controllers based on neural networks obtained through parallel evolution strategy. Its operation is based on the combination of a method that is capable of generating a minimum-structure neural network with a genetic algorithm that uses tournament selection and uniform mutation. Throughout the process, in order to reduce adaptation time, individuals fitness is assessed in parallel. The proposed method has been applied to the generation of a controller allowing a robot to find a ball, correctly stand behind it and hit it towards a specific place. Tests performed both in the simulated environment and upon the real robot have given satisfactory results.