MCG-NJU/videomae-small-finetuned-kinetics

VideoMAE es una extensión de los Codificadores Automáticos Enmascarados (MAE) para video. La arquitectura del modelo es muy similar a la de un Transformer de Visión estándar (ViT), con un decodificador en la parte superior para predecir valores de píxeles para parches enmascarados. Los videos se presentan al modelo como una secuencia de parches de tamaño fijo (resolución 16x16), los cuales se incrustan linealmente. También se añade un token [CLS] al comienzo de una secuencia para usarlo en tareas de clasificación. Además, se agregan incrustaciones posicionales fijas sinusoides/cosinusoidales antes de alimentar la secuencia a las capas del codificador del Transformer. Al preentrenar el modelo, este aprende una representación interna de los videos que luego se puede usar para extraer características útiles para tareas posteriores. Por ejemplo, si tienes un conjunto de datos etiquetados de videos, puedes entrenar un clasificador estándar colocando una capa lineal sobre el codificador preentrenado.