timm/cs3se_edgenet_x.c2ns_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes CS3-SE-EdgeNet (Cross-Stage-Partial con 3 convoluciones y atención de canal Squeeze-and-Excitation). Los modelos EdgeNet son similares a DarkNet pero utilizan un bloque residual 3x3 + 1x1 al estilo MobileNet-V1 en lugar de un bloque 1x1 + 3x3. Entrenado en ImageNet-1k en timm usando la plantilla de receta descrita a continuación. Detalles de la receta: Basado en las recetas de ResNet Strikes Back C sin augmentación repetida y con mixup más fuerte. Optimizador SGD (con Nesterov) y AGC (recorte de gradiente adaptativo). No se utilizó profundidad estocástica en esta variación ns de la receta. Programa LR coseno con calentamiento.

Como usar

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('cs3se_edgenet_x.c2ns_in1k', pretrained=True)
model = model.eval()

# get model specific transforms (normalization, resize)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # unsqueeze single image into batch of 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'cs3se_edgenet_x.c2ns_in1k',
pretrained=True,
features_only=True,
)
model = model.eval()

# get model specific transforms (normalization, resize)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # unsqueeze single image into batch of 1

for o in output:
# print shape of each feature map in output
# e.g.:
#  torch.Size([1, 80, 128, 128])
#  torch.Size([1, 160, 64, 64])
#  torch.Size([1, 320, 32, 32])
#  torch.Size([1, 640, 16, 16])
#  torch.Size([1, 1280, 8, 8])

print(o.shape)

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'cs3se_edgenet_x.c2ns_in1k',
pretrained=True,
num_classes=0, # remove classifier nn.Linear
)
model = model.eval()

# get model specific transforms (normalization, resize)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # output is (batch_size, num_features) shaped tensor

# or equivalently (without needing to set num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# output is unpooled, a (1, 1280, 8, 8) shaped tensor

output = model.forward_head(output, pre_logits=True)
# output is a (1, num_features) shaped tensor

Funcionalidades

Clasificación de imágenes
Extracción de mapa de características
Incrustaciones de imágenes

Casos de uso

Clasificación de imágenes
Extracción de mapas de características
Generación de incrustaciones de imágenes