Using Text Classification to Estimate the Depression Level of Reddit Users

Abstract

Psychologists have used tests and carefully designed survey questions, such as Beck’s Depression Inventory (BDI), to identify the presence of depression and to assess its severity level. On the other hand, methods for automatic depression detection have gained increasing interest since all the information available in social media, such as Twitter and Facebook, enables novel approaches based on language use. More precisely, these methods have focused on learning to detect depressive users through their language usage. However, little effort has been put into going beyond mere detection, towards estimating users’ actual clinical depression level. The present study is a first step towards that direction: we try to develop a model able to estimate Reddit’s users’ clinical depression level by filling in the BDI depression questionnaire on behalf of each user. To carry out his task, the model answers all 21 questions of the questionnaire using the confidence value outputted by a binary text classifier trained to detect depressed users on Reddit. Our proposal was publicly tested in the CLEF’s eRisk 2019 lab obtaining the best and second-best performance among the other 13 submitted models.

Los psicólogos han utilizado cuestionarios cuidadosamente diseñadas, como el “Inventario de Depresión de Beck” (BDI), para identificar la presencia de depresión y evaluar su grado de severidad. Por otro lado, los métodos para automáticamente detectar depresión están ganando un creciente interés debido a la gran cantidad de información disponible en las redes sociales. Mas precisamente, estos métodos se han centrado en aprender a detectar usuarios depresivos a través de su uso del lenguaje. Sin embargo, poco esfuerzo se ha realizado en ir mas allá de la mera detección, hacia la estimación del nivel de depresión clínica real de los usuarios. El presente estudio es un primer paso hacia esa dirección, en donde intentamos desarrollar un modelo capaz de estimar el nivel de depresión clínica de usuarios de Reddit completando el cuestionario de depresión BDI por cada uno de ellos. Para llevar a cabo su tarea, el modelo responde las 21 preguntas del cuestionario utilizando el valor de confianza emitido por un clasificador de texto binario entrenado para detectar usuarios depresivos en Reddit. Nuestra propuesta fue probada públicamente en el eRisk 2019 obteniendo el mejor, y segundo mejor, desempeño entre los otros 13 modelos presentados.