Evaluación del aprendizaje por refuerzo multiagente para tareas de transporte cooperativo en sistemas de fabricación flexible

Abstract

Los avances en inteligencia artificial y Sistemas Multi-Agente permiten coordinar agentes para cumplir múltiples objetivos, incluso contrapuestos, aplicables en ”fábricas flexibles”. Estas, impulsadas por tecnologías que integran lo físico, digital y biológico, evolucionan hacia ”fábricas inteligentes”. Modelar un proceso productivo como un sistema multi-agente permite optimizar simultáneamente la eficiencia, reducción de desperdicios, sustentabilidad (económica, social y ambiental), ahorro de costos y reducción de tiempos de inactividad. Sin embargo, la flexibilidad requerida en entornos reconfigurables incrementa la complejidad del control descentralizado. Las pequeñas y medianas empresas (PyMEs) son un caso emblemático, ya que suelen producir lotes pequeños o bienes personalizados, lo que exige una adaptación constante. El aprendizaje por refuerzo multi-agente surge como una solución viable, evitando esquemas centralizados poco prácticos ante entornos cambiantes. Este trabajo analiza dicho enfoque para tareas colaborativas en manufactura, como la manipulación de materiales (una operación sin valor agregado donde la eficiencia es clave). Se presenta un caso de estudio preliminar que utiliza entornos virtuales para entrenar múltiples agentes en tareas de manipulación coordinada en escenarios de diversa complejidad.

Advances in artificial intelligence and Multi-Agent Systems enable coordinated agents to achieve multiple, often conflicting, objectives—making them ideal for ”flexible factories.” These factories, driven by technologies merging physical, digital, and biological domains, are evolving into ”smart factories.” Modeling production processes as multi-agent systems allows simultaneous optimization of efficiency, waste reduction, sustainability (economic, social, and environmental), cost savings, and downtime reduction. However, the flexibility needed in reconfigurable environments increases the complexity of decentralized control. Small and medium-sized enterprises (SMEs) are a key example, as they often produce small batches or customized goods, requiring constant adaptation. Multi-agent reinforcement learning provides a viable solution, avoiding impractical centralized control in dynamic settings. This work explores multi-agent reinforcement learning for collaborative manufacturing tasks, such as material handling (a non- value-adding operation where efficiency is critical). A preliminary case study is presented, using virtual environments to train multiple agents in coordinated material manipulation across varying complexity scenarios.