convit_base.fb_in1k
timm
Clasificación de imagen
Un modelo de clasificación de imágenes ConViT. Entrenado en ImageNet-1k por los autores del artículo. Este modelo mejora los Transformers de Visión (ViT) con sesgos inductivos convolucionales suaves.
Como usar
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))
model = timm.create_model('convit_base.fb_in1k', pretrained=True)
model = model.eval()
# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # añadir una dimensión para crear un lote de tamaño 1
top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))
model = timm.create_model('convit_base.fb_in1k', pretrained=True, num_classes=0) # eliminar clasificador nn.Linear
model = model.eval()
# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # el resultado es un tensor de forma (batch_size, num_features)
# o equivalentemente (sin necesidad de configurar num_classes=0)
output = model.forward_features(transforms(img).unsqueeze(0)) # el resultado es un tensor de forma (1, 197, 768)
output = model.forward_head(output, pre_logits=True) # el resultado es un tensor de forma (1, num_features)
Funcionalidades
- Tipo de modelo: Clasificación de imágenes / columna vertebral de características
- Parámetros (M): 86.5
- GMACs: 17.5
- Activaciones (M): 31.8
- Tamaño de la imagen: 224 x 224
- Sesgos inductivos convolucionales suaves
Casos de uso
- Clasificación de imágenes
- Generación de incrustaciones de imágenes