Reinforcement Learning para la optimización de sistemas basados en energía marina

Abstract

La enorme disponibilidad de energía procedente del movimiento de las olas del mar la ha convertido en una fuente relevante en el contexto ambiental y político actual. Aunque hay más de medio siglo de antecedentes de investigación y desarrollo en la conversión de la energía de las olas en otras formas de energía, aún queda un largo camino por recorrer para que esta pueda competir con otras alternativas. A medida que los modelos hidrodinámicos se vuelven cada vez más precisos, los objetivos se tornan cada vez más ambiciosos, dado que permiten extraer más energía, pero también se consideran la durabilidad, el costo, la ubicación, el impacto ambiental y el impacto social. Sin embargo, esto plantea desafíos crecientes para el diseño de controladores a medida que los modelos se vuelven más complejos y no lineales. Ante este problema, en contextos similares, los controladores basados en datos han proporcionado resultados notables, demostrando ser una valiosa alternativa al enfoque basado exclusivamente en primeros principios. En esta tesis se propone un agente entrenado con Reinforcement Learning (RL) con una red neuronal artificial (ANN) que aprende a partir de interactuar con el sistema, con el objetivo de maximizar la extracción de energía. Más concretamente, se presenta una implementación del algoritmo Deep Q-Learning para el entrenamiento en un entorno simulado que imita la dinámica de una versión a escala 1:20 del modelo Wave Star. Además, se describen herramientas específicas para la aplicación, cuyo objetivo es garantizar la convergencia tanto de la ANN como del algoritmo de RL. Por último, se entrenó a un grupo reducido de agentes con diferentes valores de hiperparámetros, lo que resultó en valores promedio de extracción de energía ligeramente variados. En general, los resultados mostraron que los agentes entrenados extraían energía con éxito, además de alcanzar la convergencia en todas las instancias de entrenamiento. No obstante, se observa un margen de mejora al comparar el mejor agente entrenado con un controlador subóptimo dado. Por lo tanto, se discuten futuras líneas de investigación en relación con los resultados obtenidos.

The vast availability of energy from ocean wave motion has made it a relevant source in the current environmental and political context. Even though there is more than half a century of research and development history of converting wave energy into some other form, there is still a long way to go for it to compete with other alternative sources of energy. As hydrodynamic models get progressively more accurate, the goals and objectives have become increasingly more ambitious as more energy is able to be extracted, but also as durability, cost, location and environmental impact, as well as social impact, are taken into consideration. However, this poses growing challenges for controller design as the models get more complex and nonlinear. Given the issue at hand, in similar contexts, data-driven controllers have provided remarkable results, proving to be a valuable alternative to the pure first-principles approach. In this thesis, a reinforcement learning (RL) agent with an artificial neural network (ANN) is proposed that learns from interacting with the system, seeking to maximize energy extraction. In particular, an implementation of the Deep Q-Learning algorithm is presented for training in a simulated environment that mimics the dynamics of a 1:20 scaled version of the Wave Star prototype. Additionally, application-specific tools are described, which aim at ensuring convergence of both the ANN and the RL algorithm. Lastly, a handful of agents are trained with different hyperparameter values, resulting on slightly varied average energy generation values. On the whole, the results showed the trained agents successfully extracting energy as well as convergence in every training instance. Nonetheless, room for improvement is noticed when the best-trained agent is compared with a given sub-optimal controller. Therefore, future research directions are discussed in relation to the obtained results.