Comparación de herramientas de procesamiento de textos en español extraídos de una red social para Python

Abstract

El procesamiento de lenguaje natural es un área central en cualquier aplicación de análisis de datos textuales. Muchas de estas aplicaciones se realizan a partir de textos publicados en Internet y muy frecuentemente, a partir de textos de redes sociales. Existen diversas herramientas informáticas de código libre que facilitan el procesamiento de lenguaje natural de diversas lenguas, pero especialmente para el idioma inglés. En este artículo se seleccionaron cinco módulos o librerías para el lenguaje Python, con el objetivo de comparar algunas funciones básicas del procesamiento de textos, aplicadas a textos cortos en español extraídos de una red social. La tokenización y segmentación de oraciones fueron perfectamente realizadas por dichas herramientas. Se encontraron diferencias en etiquetado gramatical pero los resultados se consideran aceptables.