timm/vit_srelpos_small_patch16_224.sw_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes Vision Transformer (ViT). Esta es una variación específica de timm de la arquitectura ViT con incrustaciones de posición relativa compartidas, sin token de clase y representación final a través de un promedio global de tokens. Entrenado en ImageNet-1k en timm usando la plantilla de receta descrita a continuación. Receta basada en la receta de entrenamiento/preentrenamiento del Swin Transformer con modificaciones (relacionadas con las recetas de DeiT y ConvNeXt), optimizador AdamW, recorte de gradiente, promedio de peso EMA, y programación de LR coseno con calentamiento.

Como usar

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('vit_srelpos_small_patch16_224.sw_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # añadir una dimensión para convertir en un batch de 1 imagen

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('vit_srelpos_small_patch16_224.sw_in1k', pretrained=True, num_classes=0) # eliminar el clasificador nn.Linear
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor con forma (batch_size, num_features)

# o de manera equivalente (sin necesidad de establecer num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no está agrupada, es un tensor con forma (1, 196, 384)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor con forma (1, num_features)

Funcionalidades

Clasificación de imagen / columna vertebral de características
Parámetros (M): 22.0
GMACs: 4.2
Activaciones (M): 8.5
Tamaño de la imagen: 224 x 224

Casos de uso

Clasificación de imágenes
Generación de incrustaciones de imágenes