Large language model adaptation through few-shots learning and post-hoc calibration

Abstract

En el contexto de adaptación de modelos de lenguaje a una tarea específica, utilizar prompt engineering suele mostrar una ganancia en la performance sin necesitar acceder a los pesos del modelo. Otra forma de adaptación, mucho menos estudiada en la literatura, es a través de técnicas de calibración post-hoc, en donde se accede únicamente a la salida del modelo y se hace una transformación lineal sobre ella que redunda en una mejor performance en la tarea. Este enfoque de “caja gris”, en donde sólo se accede a los valores de la capa de salida del modelo, ofrece una alternativa de adaptación computacionalmente más barata que las técnicas de fine-tuning y no ha sido estudiado en profundidad en la literatura. Este trabajo muestra algunos resultados preliminares en donde la combinación de prompt engineering y calibración post-hoc logran una mejora en tareas de preguntas de opción múltiple sobre comportamiento social en dos modelos de lenguaje grandes, Phi-1.5 y Phi-2.La complementariedad entre estas técnicas abre un camino de investigación más amplio para potenciar la performance del modelo a partir de combinar sistemáticamente prompt engineering y calibración post-hoc.

In the context of adapting language models to a specific task, using prompt engineering often yields performance gains without requiring access to the internal parameters of the model. Another form of adaptation, much less studied in the literature, is achieved through posthoc calibration techniques, where only the model’s output scores are accessed and modified via a function to enhance task performance. This “gray-box” approach, which only utilizes the values from the model’s output layer, offers a computationally inexpensive alternative to supervised learning techniques and has not been thoroughly investigated in the literature. This work presents some preliminary results in which the combination of prompt engineering and post-hoc calibration shows improvements in multiple-choice social behavior question tasks on two large-scale language models (Phi-1.5 and Phi-2). The results obtained so far suggest that these two techniques are complementary, paving the way for the development of techniques that systematically combine prompt engineering with post-hoc calibration to improve model performance.