timm/resnet32ts.ra2_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes ResNet. Este modelo presenta un tallo de 3 capas en niveles sin agrupación y activaciones SiLU. Entrenado en ImageNet-1k por Ross Wightman en timm. Esta arquitectura de modelo está implementada usando BYOBNet (Bring-Your-Own-Blocks Network) de timm, que permite la configuración de: diseño de bloques/etapas, diseño de tallo, stride de salida (dilación), capas de activación y normalización, y capas de canal y atención espacial/autónoma. También incluye características comunes a otras arquitecturas de timm, como profundidad estocástica, checkpointing de gradientes, decaimiento de LR por capas y extracción de características por etapas.

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('resnet32ts.ra2_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # aplicar batch de 1 imagen

probabilidades_top5, indices_clase_top5 = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción de Mapa de Características
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'resnet32ts.ra2_in1k',
pretrained=True,
features_only=True,
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # aplicar batch de 1 imagen

for o in output:
  # imprimir forma de cada mapa de características en la salida
  print(o.shape)

Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'resnet32ts.ra2_in1k',
pretrained=True,
num_classes=0, # eliminar clasificador nn.Linear
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor

# o equivalentemente (sin necesidad de establecer num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no agrupada es un tensor de forma (1, 1536, 8, 8)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor de forma (1, num_features)

Funcionalidades

diseño de bloques/etapas configurable
diseño de tallo configurable
stride de salida (dilación) configurable
capas de activación y normalización configurables
capas de canal y atención espacial/autónoma configurables
profundidad estocástica
checkpointing de gradientes
decaimiento de LR por capas
extracción de características por etapas

Casos de uso

Clasificación de imágenes
Extracción de mapas de características
Generación de embeddings de imágenes