timm/semnasnet_075.rmsp_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes MNasNet con atención de canal Squeeze-and-Excitation. Entrenado en ImageNet-1k en timm utilizando una plantilla de receta descrita a continuación. Detalles de la receta: Una receta simple basada en RmsProp sin RandAugment. Usando RandomErasing, mixup, dropout, y una ampliación estándar de recorte aleatorio de tamaño. Optimizador RMSProp (comportamiento de TF 1.0), EMA promediado de pesos Horario de LR de paso (decadencia exponencial con escalones) con calentamiento

Como usar

Clasificación de imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('semnasnet_075.rmsp_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, redimensionamiento)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # unsqueeze una imagen individual en un lote de 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción de mapa de características
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('semnasnet_075.rmsp_in1k', pretrained=True, features_only=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, redimensionamiento)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # unsqueeze una imagen individual en un lote de 1

for o in output:
    print(o.shape)  # imprimir la forma de cada mapa de características en la salida
    # por ej.:
    #  torch.Size([1, 16, 112, 112])
    #  torch.Size([1, 24, 56, 56])
    #  torch.Size([1, 32, 28, 28])
    #  torch.Size([1, 88, 14, 14])
    #  torch.Size([1, 240, 7, 7])

Incrustaciones de imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('semnasnet_075.rmsp_in1k', pretrained=True, num_classes=0)  # eliminar nn.Linear del clasificador
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, redimensionamiento)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0))  # la salida es un tensor con forma (batch_size, num_features)

# o equivalentemente (sin necesidad de establecer num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no está agrupada, es un tensor con forma (1, 1280, 7, 7)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor con forma (1, num_features)

Funcionalidades

Clasificación de imágenes
Extracción de mapa de características
Incrustaciones de imágenes
Comparación de modelos

Casos de uso

Clasificación de imágenes
Extracción de características de imágenes
Generación de incrustaciones de imágenes para comparar y buscar similitudes