Fine-tuning y adaptación de modelos de lenguaje abiertos en infraestructura hpc para aplicaciones de dominio específico

Abstract

El lenguaje es una característica distintiva de la humanidad, y la conversación es su ámbito fundamental. La interacción conversacional entre máquinas y humanos ha sido una meta en la informática desde hace más de 70 años. Estas capacidades se investigan en el marco de la Inteligencia Artificial Generativa (IAG), que permite a las máquinas generar contenido nuevo y coherente en función de datos de entrenamiento. Las redes neuronales generativas adversarias y la arquitectura de transformers, que revolucionaron el campo, se destacan en la creación de contenido coherente y relevante. Modelos como GPT-4, LLaMA y DeepSeek-V3 han establecido nuevos estándares, demostrando la capacidad de los modelos de lenguaje a gran escala (LLM) para adaptarse a diversas tareas. Los LLM, al ser pre-entrenados con grandes volúmenes de datos, adquieren habilidades generales que pueden ajustarse a nuevas tareas específicas mediante técnicas de fine-tuning. Entre las técnicas de fine-tuning más relevantes, el método clásico ajusta todos los parámetros del modelo, siendo efectivo pero computacionalmente costoso. Las estrategias basadas en adapter tuning, compacter, BitFit así como LoRA y sus variantes ofrecen alternativas eficientes y modulares. A su vez, enfoques recientes como Mixture of Experts (MoE) se constituyen como alternativas para mejorar la eficiencia, activando solo una parte del modelo en cada inferencia. En este trabajo se describen las acciones emprendidas relacionadas con el fine-tuning y adaptación de modelos de lenguaje abiertos en el marco de la presentación a la categoría “Proyectos de Cálculo Intensivo (PCI)” de la Iniciativa de Proyectos Acelerados de Cálculo (IPAC), por medio de la utilización de la supercomputadora Clementina XXI, a partir de la colaboración interinstitucional entre el LICDIA-UNLu, el LIDIC-UNSL y el IIDII-UNaM.