resnext101_32x8d.fb_swsl_ig1b_ft_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes ResNeXt-B. Este modelo presenta activaciones ReLU, convolución de una sola capa de 7x7 con agrupamiento, atajo de convolución 1x1 para muestreo descendente y convoluciones embotelladas agrupadas 3x3. Preentrenado en el conjunto de datos de hashtags de Instagram-1B usando aprendizaje semi-supervisado débilmente y ajustado en ImageNet-1k por los autores del artículo.

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('resnext101_32x8d.fb_swsl_ig1b_ft_in1k', pretrained=True)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, redimensionar)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # descomprimir imagen única en lote de 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción de Mapa de Características
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('resnext101_32x8d.fb_swsl_ig1b_ft_in1k', pretrained=True, features_only=True)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, redimensionar)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # descomprimir imagen única en lote de 1

for o in output:
# imprimir forma de cada mapa de características en la salida
print(o.shape)

Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('resnext101_32x8d.fb_swsl_ig1b_ft_in1k', pretrained=True, num_classes=0)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, redimensionar)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor de forma (batch_size, num_features)

# o equivalentemente (sin necesidad de configurar num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida está sin agrupamiento, es un tensor de forma (1, 2048, 7, 7)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor de forma (1, num_features)

Funcionalidades

Activaciones ReLU
Convolución de una sola capa 7x7 con agrupamiento
Atajo de convolución 1x1 para muestreo descendente
Convoluciones embotelladas agrupadas 3x3

Casos de uso

Clasificación de Imágenes
Extracción de Mapa de Características
Embeddings de Imágenes