Aprendizaje de juegos mediante cúmulos de partículas con tamaño de población variable

Abstract

El aprendizaje de juegos ha motivado el desarrollo de numerosas estrategias de Inteligencia Artificial. Si bien existen diferentes enfoques, la adaptación al entorno de información es una característica deseable cuando se busca resolver un problema complejo ya que hace innecesaria la codificación de cualquier tipo de conocimiento inicial. En esta área, las redes neuronales han brindado excelentes resultados pero generalmente con un costo computacional elevado. Existen trabajos previos donde se han utilizado heurísticas poblacionales, para reducir el tiempo de entrenamiento. En particular, el uso de estrategias evolutivas basadas en cúmulos de partículas de tamaño fijo ha producido resultados satisfactorios. Este artículo propone modificar el tamaño de la población durante el proceso de adaptación, agregando y eliminando individuos en función de su aptitud para resolver el problema planteado. El método propuesto ha sido aplicado en el entrenamiento de una red neuronal para jugar el juego de TaTeTi. Los resultados obtenidos han sido comparados con los de una estrategia basada en cúmulos de partículas con tamaño de población fija. Finalmente se exponen las conclusiones así como algunas líneas de trabajo futuras.

Game learning has encouraged the development of several Artificial Intelligence strategies. Even though there exist different approaches, the adaptation to the information environment is an expected characteristic when we are to solve a complex problem, since it is unnecessary to count with the codification of any type of initial knowledge. In this area, neural networks have provided excellent results though with a generally high computational cost. There exists previous work in which population heuristics have been used to reduce the training times. In particular, the use of evolving strategies based on fixed-size particle swarms has rendered successful results. This paper proposes to modify the size of the population during the adaptation process, adding and deleting individuals in function of their skills to solve the problem. The proposed method has been applied in a neural networks training to play the game TicTaeToe. The results obtained have been compared to those of a strategy based on particle swarms with fixed-size population. Finally, conclusions and some future lines of work are presented.