timm/swinv2_cr_small_224.sw_in1k

timm
Clasificación de imagen

Una implementación independiente del Swin Transformer V2 lanzada antes de la liberación del código oficial. Una colaboración entre Christoph Reich y Ross Wightman, el modelo difiere de la implementación oficial en algunos aspectos: - El sesgo de posición relativo de MLP utiliza un logaritmo natural sin normalizar sin escalado frente a normalizado, comprimido por sigmoide y escalado log2. - Opción para aplicar LayerNorm al final de cada etapa (variantes 'ns'). - Por defecto, la disposición de tensor NCHW en la salida de cada etapa y características finales. Preentrenado en ImageNet-1k por Ross Wightman.

Como usar

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('swinv2_cr_small_224.sw_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # agregar una dimensión para el batch de 1 imagen

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'swinv2_cr_small_224.sw_in1k',
pretrained=True,
features_only=True,
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # agregar una dimensión para el batch de 1 imagen

for o in output:
# imprimir la forma de cada mapa de características en la salida
# ejemplo para swin_base_patch4_window7_224 (salida NHWC)
# torch.Size([1, 56, 56, 128])
# torch.Size([1, 28, 28, 256])
# torch.Size([1, 14, 14, 512])
# torch.Size([1, 7, 7, 1024])
# ejemplo para swinv2_cr_small_ns_224 (salida NCHW)
# torch.Size([1, 96, 56, 56])
# torch.Size([1, 192, 28, 28])
# torch.Size([1, 384, 14, 14])
# torch.Size([1, 768, 7, 7])
print(o.shape)
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'swinv2_cr_small_224.sw_in1k',
pretrained=True,
num_classes=0, # eliminar clasificador nn.Linear
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor con forma (batch_size, num_features)

# o equivalentemente (sin necesidad de establecer num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no está agrupada (es decir, un tensor con forma (batch_size, H, W, num_features) para swin/swinv2
# o (batch_size, num_features, H, W) para swinv2_cr

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor con forma (batch_size, num_features)

Funcionalidades

Clasificación de Imágenes
Extracción de Mapas de Características
Embeimientos de Imágenes
Preentrenado en ImageNet-1k
Sesgo de posición relativo de MLP sin escalado
Opción para aplicar LayerNorm al final de cada etapa
Disposición de tensor NCHW en las salidas

Casos de uso

Clasificación de imágenes
Extracción de mapas de características
Generación de embeddings de imágenes