mobilenetv4_conv_aa_large.e600_r384_in1k

timm
Clasificación de imagen

Un modelo de clasificación de imágenes MobileNet-V4 (con Anti-Aliasing de Promedio de Pool). Entrenado en ImageNet-1k por Ross Wightman. Entrenado con scripts de timm usando hiperparámetros inspirados en el artículo de MobileNet-V4 con mejoras de timm. NOTA: Hasta ahora, estos son los únicos pesos conocidos de MNV4. Los pesos oficiales para los modelos de TensorFlow no han sido liberados.

Como usar

from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('mobilenetv4_conv_aa_large.e600_r384_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # agregar una única imagen en un bate de 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'mobilenetv4_conv_aa_large.e600_r384_in1k',
pretrained=True,
features_only=True,
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # agregar una única imagen en un bate de 1

for o in output:
# imprimir forma de cada mapa de características en la salida
# por ejemplo:
#  torch.Size([1, 24, 192, 192])
#  torch.Size([1, 48, 96, 96])
#  torch.Size([1, 96, 48, 48])
#  torch.Size([1, 192, 24, 24])
#  torch.Size([1, 960, 12, 12])

print(o.shape)
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'mobilenetv4_conv_aa_large.e600_r384_in1k',
pretrained=True,
num_classes=0, # eliminar clasificador nn.Linear
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor de forma (batch_size, num_features)

# o de manera equivalente (sin necesidad de configurar num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no está agrupada, es un tensor de forma (1, 960, 12, 12)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor de forma (1, num_features)

Funcionalidades

Clasificación de imágenes
Extracción de mapas de características
Incrustaciones de imágenes

Casos de uso

Clasificación de imágenes
Extracción de mapas de características
Generación de incrustaciones de imágenes