pico-JEPA: Comprendiendo el Video con Modelos Ultra-Ligeros y la Sabiduría Colectiva

Abstract

Basándose en nuestro trabajo previo con nano-JEPA, presentamos pico-JEPA, una adaptación ultraligera de la Joint Embedding Predictive Architecture (JEPA) diseñada para dispositivos con recursos significativamente limitados. Mientras que nano-JEPA demostró la viabilidad de entrenar modelos tipo V-JEPA en ordenadores personales, pico-JEPA va más allá al crear modelos lo suficientemente pequeños como para permitir arquitecturas de conjuntos a través de mecanismos de votación colaborativa. Presentamos un marco integral donde múltiples modelos pico-JEPA, cada uno entrenado en diferentes subconjuntos de datos o con configuraciones arquitectónicas variadas, resuelven colectivamente tareas de clasificación de video mediante estrategias de votación inteligentes. Nuestro enfoque aborda el compromiso fundamental entre el tamaño del modelo y el rendimiento,aprovechando el principio de la sabiduría de las multitudes en el aprendizaje profundo. Los resultados experimentales obtenidos sobre el conjunto de datos Kinetics-700, demuestran que 4 modelos pico-JEPA pueden lograr un rendimiento competitivo, en comparación con modelos únicos, manteniendo la capacidad de ejecutarse en hardware estándar. Este trabajo abre nuevas posibilidades para la comprensión de video distribuida en escenarios de computación de borde y proporciona un camino para el aprendizaje colaborativo en entornos con recursos limitados. Finalmente, el proyecto se publica en un repositorio abierto con el fin de acelerar la colaboración entre investigadores interesados.