Autoescalado basado en aprendizaje profundo por refuerzo de workflows científicos en la nube

Abstract

Los workflows científicos representan una importante abstracción para el modelado y la ejecución de experimentos de gran envergadura en múltiples disciplinas. El paradigma de computación Cloud facilita el acceso elástico a la infraestructura computacional requerida para la ejecución de este tipo de aplicaciones. Las estrategias de autoescalado buscan explotar la elasticidad de Cloud para lograr ejecuciones eficientes de los workflow. El autoescalado es un problema de toma de decisiones en el cual es necesario establecer cuándo y cómo incrementar o reducir los recursos computacionales, y cómo ajustarlos a la carga de trabajo actual considerando algún criterio de optimización como pueden ser el tiempo y el costo económico asociado. El aprendizaje por Refuerzo (AR) aparece como un enfoque promisorio para el autoescalado en Cloud ya que permite aprender políticas adecuadas para el manejo de recursos que a su vez son transparentes (sin intervención humana), dinámicas (sin planes computados estáticamente) y adaptables (constantemente actualizadas). Luego, el Aprendizaje Profundo por Refuerzo (APR) permite además el manejo de espacios de estados y acciones de grandes dimensiones, una importante limitante en los enfoques más clásicos del AR.