resnet18.tv_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes ResNet-B. Este modelo cuenta con activaciones ReLU, una capa de convolución 7x7 con agrupamiento, y un acceso directo de muestreo por convolución 1x1. Entrenado en ImageNet-1k, con el peso del modelo original de torchvision.

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('resnet18.tv_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # añadir dimensión para un lote de 1 imagen

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción del Mapa de Características
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'resnet18.tv_in1k',
pretrained=True,
features_only=True,
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # añadir dimensión para un lote de 1 imagen

for o in output:
    # imprimir la forma de cada mapa de características en la salida
    # por ejemplo:
    #  torch.Size([1, 64, 112, 112])
    #  torch.Size([1, 64, 56, 56])
    #  torch.Size([1, 128, 28, 28])
    #  torch.Size([1, 256, 14, 14])
    #  torch.Size([1, 512, 7, 7])

    print(o.shape)

Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'resnet18.tv_in1k',
pretrained=True,
num_classes=0, # eliminar el clasificador nn.Linear
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor con forma (tamaño_del_lote, número_de_características)

# o de forma equivalente (sin necesidad de ajustar num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no agrupada, es un tensor de forma (1, 512, 7, 7)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor con forma (1, número_de_características)

Funcionalidades

Activaciones ReLU
Capa de convolución única de 7x7 con agrupamiento
Atajo de convolución 1x1 para muestreo

Casos de uso

Clasificación de imágenes
Extracción del mapa de características
Generación de embeddings de imágenes