On the use of the Novel Zorro Activation Functions in Long Short-Term Memory Neural Networks

Abstract

Activation functions are fundamental components of modern neural networks, including Large Language Models (LLMs). Nonlinear activations regulate the flow of information in most models and determine how data is processed. However, training or even fine-tuning very large and complex models with such activations, like those used in ChatGPT and DeepSeek, remains out of reach for many researchers due to computational constraints. Therefore, traditional architectures such as LSTM remain highly relevant for smallto medium-scale, real-world applications. In this context, the choice of appropriate functions can significantly influence a model’s learning capability, stability, and training efficiency under limited computational resources. In this work, we analyze the behavior of a novel family of activation functions, called Zorro, when used as gating functions in LSTM architectures. We propose replacing traditional activation and gating functions with Zorro variants to improve both model performance and convergence speed. Unlike conventional approaches, our method assigns a different function to each gate or activation, enabling flexible adaptation to different gated architectures. We evaluate the proposed models on widely used benchmark datasets, including Japanese Vowels and Human Activity Recognition for classification, and Chickenpox and Turbofan Degradation for regression. The results show accuracy improvements of up to 10% and reduction in training time of up to 15%, demonstrating that the proposed approach provides a practical and computationally efficient alternative for deploying LSTM-based models in resource-constrained environments and real-world time-series applications.

Las funciones de activación son componentes fundamentales de las redes neuronales modernas, incluidos los modelos de lenguaje a gran escala (LLMs). Las activaciones no lineales regulan el flujo de información en la mayoría de los modelos y determinan cómo se procesan los datos. Sin embargo, entrenar o incluso ajustar modelos muy grandes y complejos con estas activaciones, como los utilizados en Chat- GPT y DeepSeek, sigue estando fuera del alcance de muchos investigadores debido a las limitaciones computacionales. Por esta razón, arquitecturas tradicionales como las LSTM siguen siendo muy relevantes para aplicaciones del mundo real a pequeña y mediana escala. En este contexto, la elección de funciones adecuadas puede influir significativamente en la capacidad de aprendizaje, estabilidad y eficiencia de entrenamiento de un modelo con recursos computacionales limitados. En este trabajo, analizamos el comportamiento de una nueva familia de funciones de activación, llamada Zorro, cuando se utilizan como funciones de compuerta en arquitecturas LSTM. Proponemos reemplazar las funciones de activación y compuerta tradicionales en las LSTM por las variantes Zorro para mejorar el rendimiento del modelo y la velocidad de convergencia. A diferencia de los enfoques convencionales, nuestro método asigna una función diferente a cada compuerta o activación, permitiendo una adaptación flexible a diferentes arquitecturas con compuertas. Evaluamos los modelos propuestos en conjuntos de datos ampliamente utilizados, incluyendo Japanese Vowels y Human Activity Recognition para clasificación, así como Chickenpox y Turbofan Degradation para regresión. Los resultados muestran mejoras de precisión de hasta 10% y reducciones del tiempo de entrenamiento de hasta el 15%, lo que demuestra que el enfoque propuesto ofrece una alternativa práctica y eficiente desde el punto de vista computacional para desplegar modelos basados en LSTM en entornos con recursos limitados y aplicaciones de series de tiempo del mundo real.