timm/efficientnet_b5.sw_in12k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes EfficientNet. Entrenado en ImageNet-12k por Ross Wightman en timm utilizando la plantilla de receta descrita a continuación. Detalles de la receta: Basado en la receta de entrenamiento/preentrenamiento de Swin Transformer con modificaciones (relacionadas con las recetas de DeiT y ConvNeXt), optimizador AdamW, recorte de gradiente, promedio de peso EMA y programación de LR cosenoidal con calentamiento previo.

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('efficientnet_b5.sw_in12k', pretrained=True)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # añadir imagen única al batch de 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción de Mapas de Características
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'efficientnet_b5.sw_in12k',
pretrained=True,
features_only=True,
)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # añadir imagen única al batch de 1

for o in output:
# imprimir la forma de cada mapa de características en la salida
# e.g.:
# torch.Size([1, 24, 208, 208])
# torch.Size([1, 40, 104, 104])
# torch.Size([1, 64, 52, 52])
# torch.Size([1, 176, 26, 26])
# torch.Size([1, 512, 13, 13])

print(o.shape)

Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'efficientnet_b5.sw_in12k',
pretrained=True,
num_classes=0, # eliminar clasificador nn.Linear
)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor de forma (batch_size, num_features)

# o de manera equivalente (sin la necesidad de establecer num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no está agrupada, es un tensor de forma (1, 2048, 13, 13)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor de forma (1, num_features)

Funcionalidades

Clasificación de imágenes
Extracción de mapas de características
Embeddings de imágenes

Casos de uso

Clasificación de imágenes en diferentes categorías
Extracción de características de imágenes para análisis adicional
Generación de embeddings de imágenes para tareas de comparación o búsqueda