Representaciones Internas de Invarianza a Transformaciones Geométricas y de Color en EfficientNet y FasterViT

Abstract

Presentamos un análisis sistemático de la invarianza en modelos de clasificación de imágenes frente a conjuntos de transformaciones geométricas y de color. Evaluamos dos arquitecturas representativas, EfficientNet y FasterViT, bajo tres enfoques de entrenamiento: desde cero, Fine Tuning y Transfer Learning. Para cada conjunto de transformación, entrenamos un modelo particular con aumentación de datos para brindarle invarianza a dichas transformaciones. Luego, evaluamos la invarianza del modelo ante el mismo conjunto de transformaciones del entrenamiento, y también ante las otras transformaciones. Empleamos la métrica de Varianza Normalizada para cuantificar la invarianza y analizamos su comportamiento a lo largo de los bloques internos de cada arquitectura. Los resultados muestran diferencias significativas según el tipo de modelo, la etapa de la red y el enfoque de entrenamiento, pero sorpresivamente no sucede lo mismo con respecto a la aumentación de datos. Además, mostramos evidencia de que FasterVit obtiene mejores valores de invarianza en todos los casos, y puede recuperar la misma en escenarios de Finetuning y Transfer Learning, a diferencia de EfficientNet. Estos resultados tienen implicancias a la hora de usar un modelo preentrenado para una tarea cuando la misma requiere aprender nuevas invarianzas.