MCG-NJU/videomae-base-short-ssv2

VideoMAE es una extensión de los Codificadores Automáticos Enmascarados (MAE) para video. La arquitectura del modelo es muy similar a la de un Transformador de Visión estándar (ViT), con un decodificador en la parte superior para predecir valores de píxeles para parches enmascarados. Los videos se presentan al modelo como una secuencia de parches de tamaño fijo (resolución 16x16), que se incrustan linealmente. También se agrega un token [CLS] al inicio de una secuencia para usarlo en tareas de clasificación. También se agregan incrustaciones de posición sinusoidales/cosinusoidales fijas antes de alimentar la secuencia a las capas del codificador del Transformador. Al preentrenar el modelo, este aprende una representación interna de los videos que luego se puede usar para extraer características útiles para tareas posteriores: si tienes un conjunto de datos de videos etiquetados, por ejemplo, puedes entrenar un clasificador estándar colocando una capa lineal en la parte superior del codificador preentrenado. Usualmente, se coloca una capa lineal en la parte superior del token [CLS], ya que el último estado oculto de este token puede verse como una representación de un video completo.