Um modelo neuro-evolutivo de coordenação adaptativa em ambientes dinâmicos

Abstract

Em ambientes dinâmicos e complexos, a política ótima de coordenação não pode ser derivada analiticamente, mas deve ser aprendida através da interação direta com o ambiente. Geralmente, utiliza-se aprendizado por reforço para prover coordenação em tais ambientes. Atualmente, neuroevolução é um dos métodos de aprendizado por reforço mais proeminentes. Neste trabalho, é proposto um modelo de coordenação baseado em neuro-evolução. Foi desenvolvida uma extensão do método neuro-evolutivo conhecido como Enforced Subpopulations (ESP). Na extensão desenvolvida, a rede neural que define o comportamento de cada agente é totalmente conectada. Adicionalmente, é permitido que o algoritmo encontre, em tempo de treinamento, a quantidade de neurônios que deve estar presente na camada oculta da rede neural de cada agente. Esta alteração além de oferecer flexibilidade na definição da topologia da rede de cada agente e diminuir o tempo necessário para treinamento, permite também a constituição de grupos de agentes heterogêneos. Os experimentos realizados mostraram que os agentes treinados com o modelo proposto possuem capacidade de se adaptar a alterações no ambiente em tempo de execução. O modelo foi aplicado no domínio das tarefas de perseguição-evasão.