convit_base.fb_in1k

timm
Clasificación de imagen

Un modelo de clasificación de imágenes ConViT. Entrenado en ImageNet-1k por los autores del artículo. Este modelo mejora los Transformers de Visión (ViT) con sesgos inductivos convolucionales suaves.

Como usar

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('convit_base.fb_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # añadir una dimensión para crear un lote de tamaño 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('convit_base.fb_in1k', pretrained=True, num_classes=0) # eliminar clasificador nn.Linear
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # el resultado es un tensor de forma (batch_size, num_features)

# o equivalentemente (sin necesidad de configurar num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0)) # el resultado es un tensor de forma (1, 197, 768)

output = model.forward_head(output, pre_logits=True) # el resultado es un tensor de forma (1, num_features)

Funcionalidades

Tipo de modelo: Clasificación de imágenes / columna vertebral de características
Parámetros (M): 86.5
GMACs: 17.5
Activaciones (M): 31.8
Tamaño de la imagen: 224 x 224
Sesgos inductivos convolucionales suaves

Casos de uso

Clasificación de imágenes
Generación de incrustaciones de imágenes