microsoft/xclip-base-patch16
X-CLIP es una extensión mínima de CLIP para la comprensión general de video-lenguaje. El modelo está entrenado de manera contrastiva en pares (video, texto). Esto permite que el modelo se use para tareas como clasificación de video sin entrenamiento, con poco entrenamiento o completamente supervisada y recuperación de video-texto. Fue introducido en el documento Expanding Language-Image Pretrained Models for General Video Recognition por Ni et al. y fue lanzado por primera vez en este repositorio. Este modelo fue entrenado utilizando 8 fotogramas por video, a una resolución de 224x224. El equipo que lanzó X-CLIP no escribió una tarjeta de modelo para este modelo, por lo que esta tarjeta de modelo ha sido escrita por el equipo de Hugging Face.
Como usar
Para ejemplos de código, nos referimos a la documentación.
# Código de ejemplo
from transformers import AutoModel, AutoProcessor
model = AutoModel.from_pretrained('microsoft/xclip-base-patch16')
processor = AutoProcessor.from_pretrained('microsoft/xclip-base-patch16')
Funcionalidades
- Clasificación de video sin entrenamiento
- Clasificación de video con poco entrenamiento
- Clasificación de video completamente supervisada
- Recuperación de video-texto
Casos de uso
- Determinar qué tan bien el texto se relaciona con un video dado