levit_128.fb_dist_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes LeViT usando un modo convolucional (usando nn.Conv2d y nn.BatchNorm2d). Entrenado previamente en ImageNet-1k utilizando destilación por los autores del artículo. Este modelo es un transformer de visión en la ropa de ConvNet para una inferencia más rápida.

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(
urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('levit_128.fb_dist_in1k', pretrained=True)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # añadir la imagen simple a un lote de 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Embeddings de Imagen
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(
urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model(
'levit_128.fb_dist_in1k',
pretrained=True,
num_classes=0, # quitar el clasificador nn.Linear
)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor con forma (tamaño_lote, num_features)

# o equivalentemente (sin necesidad de configurar num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida es un tensor sin pooling (es decir, un tensor con forma (tamaño_lote, num_features, H, W)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor con forma (tamaño_lote, num_features)

Funcionalidades

Tipo de modelo: Clasificación de imágenes / columna vertebral de características
Params (M): 9.2
GMACs: 0.4
Activaciones (M): 2.7
Tamaño de imagen: 224 x 224

Casos de uso

Clasificación de imágenes
Embeddings de imágenes