Athit_Timesformer_32PS

mbushee

Clasificación de video

Modelo TimeSformer preentrenado en Kinetics-400. Fue presentado en el artículo 'TimeSformer: Is Space-Time Attention All You Need for Video Understanding?' por Tong et al. y lanzado por primera vez en este repositorio. Puedes utilizar el modelo para la clasificación de videos en una de las 400 etiquetas posibles de Kinetics-400.

Como usar

Aquí te mostramos cómo usar este modelo para clasificar un video:
from transformers import AutoImageProcessor, TimesformerForVideoClassification
import numpy as np
import torch

video = list(np.random.randn(8, 3, 224, 224))

processor = AutoImageProcessor.from_pretrained("facebook/timesformer-base-finetuned-k400")
model = TimesformerForVideoClassification.from_pretrained("facebook/timesformer-base-finetuned-k400")

inputs = processor(video, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    logits = outputs.logits

predicted_class_idx = logits.argmax(-1).item()
print("Predicted class:", model.config.id2label[predicted_class_idx])

Funcionalidades

Clasificación de videos
Transformers
PyTorch
TimeSformer

Casos de uso

Clasificación de videos en uno de los 400 posibles en Kinetics-400