Utilización de modelos de lenguaje basados en redes LSTM y movimientos oculares para la comprensión del proceso de predicción de palabras futuras

Abstract

Los modelos actuales de Procesamiento del Lenguaje Natural son capaces de alcanzar excelentes resultados en tareas lingüísticas. Po rejemplo, los modelos basados en redes LSTM pueden generar abstracciones para hacer predicciones sobre las palabras futuras. Dicha habilidad abre una ventana en el campo de la neurociencia cognitiva. Se sabe que la probabilidad de que un lector sepa una palabra antes de leerla (variable denominada cloze-Predictability) impacta en el tiempo que el lector se posa sobre ella. Sin embargo, poco se sabe acerca de cuando o como estas predicciones son realizadas. Aquí, entrenamos modelos basados en LSTM para predecir palabras futuras y usar sus predicciones para reemplazar la cloze-Predictability en modelos estadísticos del campo de la neurociencia. Observamos que la LSTM-Predictability puede modelar movimientos oculares con un alto solapamiento tanto con cloze-Predictability como con la frecuencia léxica. Además, este rendimiento varía en función del corpus de entrenamiento. Este estudio es un paso más hacia la comprensión de cómo nuestro cerebro realiza predicciones durante la lectura.

Modern Natural Language Processing models can achieve great results on linguistic tasks. For example, LSTM-based models can generate abstractions to make predictions about upcoming words. This ability opens a window in the cognitive neuroscience field. It is known that the probability that a reader knows a word before reading it (i.e., cloze-Predictability) impacts on the time spent on it. Nevertheless, little is known about when or how these predictions are made. Here, we trained LSTM-based models to predict future words and used their predictions to replace cloze-Predictability in statistical models from the neuroscience field. We found that the LSTM-Predictability can model eye movements with high overlap with both cloze-Predictability and the lexical frequency. Also, this performance varies depending on the training corpus. This study is a step forward in understanding how our brain performs predictions during reading.