Uso del análisis de texto estructurado y no estructurado para la generación de material de entrenamiento para modelos de IA

Abstract

El crecimiento sostenido de la inteligencia artificial y, en particular, de los grandes modelos de lenguaje (LLMs), ha incrementado la demanda de material de entrenamiento de alta calidad, así como la necesidad de mecanismos confiables para la detección de similitudes y redundancias en textos y código fuente. La construcción manual de corpus lingüísticos y conjuntos de datos estructurados constituye un proceso complejo, intensivo y propenso a errores, lo que motiva el desarrollo de herramientas que optimicen estas tareas. En este trabajo se presenta un conjunto de herramientas desarrollado en la Universidad Tecnológica Nacional – Facultad Regional Córdoba (UTN-FRC), orientado a la generación, análisis y validación de material de entrenamiento, así como a la detección de similitudes en proyectos de software. El conjunto incluye el Programa de Mapeo de Datos (PMD), el Banco de Pruebas de Algoritmos de Semejanza (BPAS), el Sistema de Detección de Similitudes (SDS) y el Sistema de Recuperación de Datos Web (SRDW). El enfoque integra técnicas de minería de datos, análisis textual y enriquecimiento contextual mediante recuperación de información, facilitando la construcción de corpus y el análisis comparativo de código de manera más eficiente y controlada. Todas estas herramientas tienen como objetivo la generación de material de entrenamiento de calidad para su uso en la creación de modelos de inteligencia artificial.