timm/eca_nfnet_l2.ra3_in1k
Un modelo de clasificación de imágenes ECA-NFNet-Lite (NFNet ligero con atención ECA). Entrenado en timm por Ross Wightman. Las Redes Libre de Normalización son modelos similares a ResNet (pre-activación) sin capas de normalización. En lugar de Batch Normalization u otras alternativas, utilizan Estandarización de Peso Escalada y ganancias escalares específicamente colocadas en la ruta residual y en las no linealidades basadas en el análisis de propagación de señales. Los NFNets ligeros son variantes específicas de timm que reducen la relación SE y de cuello de botella de 0.5 a 0.25 (reduciendo anchuras) y usan un tamaño de grupo más pequeño manteniendo la misma profundidad. Activaciones SiLU usadas en lugar de GELU. Esta variante de NFNet también usa ECA (Atención de Canal Eficiente) en lugar de SE (Compresión y Excitación).
Como usar
Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))
model = timm.create_model('eca_nfnet_l2.ra3_in1k', pretrained=True)
model = model.eval()
# obtener las transformaciones específicas del modelo (normalización, redimensionar)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # unsqueeze una imagen en un lote de 1
top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)
Extracción de Mapas de Características
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))
model = timm.create_model(
'eca_nfnet_l2.ra3_in1k',
pretrained=True,
features_only=True,
)
model = model.eval()
# obtener las transformaciones específicas del modelo (normalización, redimensionar)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # unsqueeze una imagen en un lote de 1
for o in output:
# print forma de cada mapa de características en la salida
# e.g.:
# torch.Size([1, 64, 160, 160])
# torch.Size([1, 256, 80, 80])
# torch.Size([1, 512, 40, 40])
# torch.Size([1, 1536, 20, 20])
# torch.Size([1, 3072, 10, 10])
print(o.shape)
Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))
model = timm.create_model(
'eca_nfnet_l2.ra3_in1k',
pretrained=True,
num_classes=0, # eliminar clasificador nn.Linear
)
model = model.eval()
# obtener las transformaciones específicas del modelo (normalización, redimensionar)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # la salida es un tensor con forma (batch_size, num_features)
# o de manera equivalente (sin necesidad de establecer num_classes=0)
output = model.forward_features(transforms(img).unsqueeze(0))
# la salida es sin pooling, un tensor con forma (1, 3072, 10, 10)
output = model.forward_head(output, pre_logits=True)
# la salida es un tensor con forma (1, num_features)
Funcionalidades
- Clasificación de imágenes
- Extracción de mapas de características
- Embeddings de imágenes
Casos de uso
- Clasificación de imágenes
- Extracción de características de las imágenes
- Generación de embeddings de imágenes