timm/resnext101_32x4d.fb_ssl_yfcc100m_ft_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes ResNeXt-B. Este modelo cuenta con: activaciones ReLU, convolución de una sola capa 7x7 con pooling, downsizing de atajos de convolución 1x1, y convoluciones engargoladas como cuellos de botella de 3x3. Preentrenado con un subconjunto de YFCC100M usando aprendizaje semisupervisado y afinado en ImageNet-1k por los autores del artículo.

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('resnext101_32x4d.fb_ssl_yfcc100m_ft_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # unsqueeze para una sola imagen en batch de 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción de Mapa de Características
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'resnext101_32x4d.fb_ssl_yfcc100m_ft_in1k',
pretrained=True,
features_only=True,
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # unsqueeze para una sola imagen en batch de 1

for o in output:
# imprimir la forma de cada mapa de características en la salida
# por ejemplo:
#  torch.Size([1, 64, 112, 112])
#  torch.Size([1, 256, 56, 56])
#  torch.Size([1, 512, 28, 28])
#  torch.Size([1, 1024, 14, 14])
#  torch.Size([1, 2048, 7, 7])

print(o.shape)

##Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'resnext101_32x4d.fb_ssl_yfcc100m_ft_in1k',
pretrained=True,
num_classes=0, # eliminar clasificador nn.Linear
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor con forma (batch_size, num_features)

# o equivalentemente (sin necesidad de establecer num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida es no agrupada, un tensor con forma (1, 2048, 7, 7)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor con forma (1, num_features)

Funcionalidades

Activaciones ReLU
Convolución de una sola capa 7x7 con pooling
Atajo de convolución 1x1 para reducción de tamaño
Convoluciones engargoladas como cuellos de botella de 3x3

Casos de uso

Clasificación de imágenes
Extracción de mapas de características
Generación de embeddings de imágenes