Marcos teóricos del aprendizaje por refuerzo multiagente

Abstract

El Aprendizaje por Refuerzo (en inglés Reinforcement Learning y de ahora en más AR) ataca el problema de aprender a controlar agentes autónomos, mediante interacciones por prueba y error con un ambiente dinámico desconocido, el cual le provee señales de refuerzo por cada acción que realiza. Si los objetivos del agente están definidos por la señal de refuerzo inmediata, la tarea del agente se reduce a aprender una estrategia de control (o política) que permita maximizar la recompensa acumulada a lo largo del tiempo (ver [11] para una formalización de esta tarea). El AR ha demostrado una considerable eficacia en la resolución de problemas prácticos como robótica y manufacturación industrial, permitiendo encontrar políticas de control óptimas en escenarios de aprendizaje en línea con un único agente. Otro aspecto relevante que ha suscitado el creciente interés en este área, es el hecho de que el AR está basado en un modelo matemático formal conocido como Proceso de Decisión Markoviano (MDP) que ha permitido no sólo una formalización del problema a resolver y de su solución, sino también la integración con otras áreas de Inteligencia Artificial que toman a los MDP´s como uno de sus modelos formales subyacente como por ejemplo decisiontheoretic planning. Por otra parte, en el área de Sistemas Multiagentes (SMA), gran parte de los esfuerzos estuvieron dirigidos a resolver problemas de coordinación entre agentes asumiendo que existía un conocimiento adecuado del dominio e información compartida entre los agentes. Dado que existen muchos dominios en SMA en que los agentes conocen poco sobre los otros agentes y el ambiente cambia en forma dinámica, el AR recibió un importante interés como nueva de técnica de coordinación para este tipo de situaciones [10], debido a que no necesita un modelo del ambiente y puede ser utilizado en línea. En este sentido, este trabajo analiza las limitaciones del marco teórico del AR con un único agente (MDP) cuando aplicado en SMA´s. Se describen además algunas extensiones a este formalismo surgidas del área de teoría de juegos y finalmente se presenta nuestra línea actual de investigación, orientada a aplicar estos nuevos formalismos en dominios no explorados aún por el AR en SMA, como por ejemplo el uso del AR para coordinar agentes que defienden sus intereses personales.