Análisis y desarrollo de representaciones generales de audio

Abstract

El aprendizaje de representaciones ha sido fundamental para el avance del aprendizaje profundo, permitiendo reutilizar modelos para resolver tareas diversas de manera eficiente en términos de cómputo y datos. En particular, el aprendizaje no supervisado permitió aprovechar la abundancia de datos sin etiquetar para aprender representaciones ricas en escenarios de escasez de datos anotados, simplificando el desarrollo de nuevos modelos, y favoreciendo la democratización de la inteligencia artificial. El objetivo principal de esta tesis doctoral fue el desarrollo de un modelo basado en redes Transformer, cuyas representaciones internas fueran útiles para una gama diversa de tareas de audio, abarcando no solo problemas de habla, sino también relacionados a la música y sonidos ambientales. Este desarrollo culminó con EnCodecMAE, un modelo basado en Masked Autoencoders y preentrenado con señales de audio diversas provenientes de Audioset, LibriLight y Free Music Archive . Este modelo tiene la particularidad de utilizar EnCodec, un codec de audio neuronal, como señal objetivo. EnCodecMAE alcanzó resultados comparables o superiores al estado del arte en un conjunto de 18 tareas diversas abarcando habla, música y audio general, validando la generalidad de las representaciones aprendidas. Además de presentar EnCodecMAE y mostrar los resultados de su evaluación, realizamos un estudio de ablación, explorando el efecto que tienen distintos aspectos de su diseño. Por último, realizamos un análisis del alineamiento entre distintas representaciones de audio, incluyendo EnCodecMAE, y representaciones cerebrales obtenidas a partir de resonancias magnéticas funcionales de la corteza auditiva. Mostramos que estos modelos, a pesar de no ser entrenados explícitamente para aproximar la actividad cerebral, exhiben un alineamiento creciente con la misma durante el pre-entrenamiento, y que el desempeño de las representaciones en distintas tareas se correlaciona con la similaridad con las representaciones cerebrales.