timm/convnext_large.fb_in22k_ft_in1k

timm
Clasificación de imagen

Un modelo de clasificación de imágenes ConvNeXt. Preentrenado en ImageNet-22k y afinado en ImageNet-1k por los autores del artículo.

Como usar

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('convnext_large.fb_in22k_ft_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # un solo lote de imagenes

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'timm.create_model('convnext_large.fb_in22k_ft_in1k', pretrained=True)
model = model.eval()
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # un solo lote de imagenes

for o in output:
# imprimir la forma de cada mapa de características en la salida
# ej.:
#  torch.Size([1, 192, 56, 56])
#  torch.Size([1, 384, 28, 28])
#  torch.Size([1, 768, 14, 14])
#  torch.Size([1, 1536, 7, 7])

print(o.shape)
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'convnext_large.fb_in22k_ft_in1k',
pretrained=True,
num_classes=0, # eliminar clasificador nn.Linear
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor de forma (tamaño de lote, número de características)

# o equivalentes (sin necesidad de establecer num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no está agrupada, es un tensor de forma (1, 1536, 7, 7)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor de forma (1, número de características)

Funcionalidades

Clasificación de imágenes
Extracción de mapas de características
Embeddings de imágenes
Comparación de modelos

Casos de uso

Clasificación de imágenes
Extracción de características de mapas
Generación de embeddings de imágenes