Small Language Models: Accesibilidad, eficiencia y sostenibilidad para desarrollar inteligencia artificial escalable

Abstract

Este trabajo analiza los Small Language Models como alternativa viable a los Large Language Models para el desarrollo de soluciones de inteligencia artificial accesibles, eficientes y sostenibles. Se define el concepto de SLM como modelos basados en arquitectura transformer de tipo decoder-only, con menos de aproximadamente 10 mil millones de parámetros, diseñados para ejecutarse en hardware de consumo o dispositivos edge. A través de un análisis comparativo que abarca rendimiento en benchmarks (MMLU, GSM8K, HumanEval), costos de entrenamiento e inferencia, consumo energético, latencia y privacidad, se demuestra que la brecha de rendimiento entre SLMs y LLMs se ha reducido significativamente: modelos como Phi-4 (14B parámetros) alcanzan el 84.8% en MMLU, comparable al 88.1% de GPT-4o con una fracción del costo computacional. Se documentan casos de uso prácticos en dispositivos móviles, salud, análisis de sentimiento y PyMEs, y se vinculan los hallazgos con los Objetivos de Desarrollo Sostenible (ODS 9, 10, 12 y 13). El trabajo concluye que los SLMs representan una alternativa viable y sostenible para una IA escalable y democrática, proponiendo un esquema híbrido SLM+LLM y proporcionando criterios para que organizaciones como Prezano puedan decidir entre uno u otro enfoque según sus necesidades concretas.