Aprendizaje por Refuerzo aplicado a la resolución de problemas no triviales

Abstract

El Aprendizaje por Refuerzo (en inglés Reinforcement Learning y de ahora en más AR) ataca el problema de aprender a controlar agentes autónomos, mediante interacciones por prueba y error con un ambiente dinámico, el cual le provee señales de refuerzo por cada acción que realiza. Si los objetivos del agente están definidos por la señal de refuerzo inmediata, la tarea del agente se reduce a aprender una estrategia de control (o política) que permita maximizar la recompensa acumulada a lo largo del tiempo (ver [14] para una formalización de esta tarea) Si bien en sus orígenes el AR sirvió como una herramienta teórica limitada a problemas con pequeños espacios de estados, en la actualidad sus aplicaciones han alcanzado áreas de considerable complejidad tales como robótica, manufacturación industrial, problemas de búsqueda combinatorial, etc. La aplicación del AR a problemas del mundo real, trajo aparejado la necesidad de adaptar las técnicas existentes en el área para manejar características complejas propias de este tipo de ambientes (ambientes estocásticos no estacionarios con grandes espacios de estados y/o acciones). En esta presentación, describimos el trabajo realizado por nuestro grupo de investigación en la aplicación del AR a problemas no triviales del mundo real. Para ello, describimos en las secciones 2 a 4, los 3 factores principales que a nuestro criterio deben ser tenidos en cuenta al trabajar con AR en este tipo de ambientes: balance entre exploración y explotación, aceleración del proceso de aprendizaje y generalización. La sección 5 por su parte, describe cuales son los avances y resultados que hemos logrado en relación a estos 3 ítems, y una breve descripción del plan de trabajo futuro