Name-Based Embedding Debiasing: Analyzing Its Impact on Gender, Religious, and Ethnic Biases

Abstract

Las representaciones vectoriales de palabras representaron el punto de inflexión técnico que dio inicio a los métodos actuales del estado del arte para diversas tareas de Procesamiento del Lenguaje Natural (PLN). Las métricas de sesgo y los métodos de mitigación para embeddings estáticos han sido objeto de estudio con un éxito moderado, logrando reducciones de sesgo para grupos y métricas específicos. No obstante, estos métodos frecuentemente no logran optimizar múltiples métricas de manera simultánea ni impactar significativamente en tareas extrínsecas. La investigación reciente en mitigación se ha reorientado principalmente hacia las representaciones contextuales y los grandes modelos de lenguaje (LLMs). En este trabajo se sostiene que las representaciones estáticas proporcionan un entorno experimental más simple y controlado para la validación de hipótesis y técnicas, las cuales pueden ser posteriormente extrapoladas a modelos de mayor complejidad. Se presenta un método que captura múltiples dimensiones demográficas (género, raza, edad, etc.) en representaciones estáticas simultáneamente, eliminando la dependencia de tareas especializadas o de vocabulario demográfico específico.

Word vector representations were the initial building block that started the current state-of-the-art methods for several NLP tasks. Bias metrics and debiasing methods for static embeddings have been studied with moderate success, achieving some bias reductions for specific groups and metrics. However, these methods often fail to improve multiple metrics simultaneously or to meaningfully impact extrinsic tasks. Recent research in debiasing has mainly shifted its focus towards contextual embeddings and large language models (LLMs). Here we argue that static embeddings provide a simpler and more controlled setting for testing hypotheses and techniques, which can then be extended to more complex models. We introduce a method that captures multiple demographic dimensions (gender, race, age, etc.) in static embeddings simultaneously, eliminating the need for specialized tasks or demographic-specific vocabulary.