Ingeniería de prompts eficiente: optimización del uso de tokens y su impacto en la sostenibilidad de los Modelos de Lenguaje de Gran Escala

Abstract

Los Modelos de Lenguaje de Gran Escala (LLMs) procesan texto mediante tokens, cuyo consumo determina tanto el costo computacional y económico como también el impacto energético de su uso. La Ingeniería de Prompts surge como una disciplina clave para optimizar la formulación de las consultas y buscar un equilibrio entre el consumo de tokens y la calidad de las respuestas. En esta tesina se compararon experimentalmente seis técnicas de prompting sobre nueve tareas de distinto nivel de complejidad, evaluando la calidad de las respuestas mediante un esquema de doble juez automático y una métrica de eficiencia propuesta como cociente entre calidad y tokens consumidos.