timm/eca_nfnet_l1.ra2_in1k
Un modelo de clasificación de imágenes ECA-NFNet-Lite (NFNet ligero con atención ECA). Entrenado en timm por Ross Wightman. Las Redes sin Normalización (Normalization Free Networks) son modelos similares a ResNet sin capas de normalización. En lugar de Batch Normalization u otras alternativas, usan Scaled Weight Standardization y ganancias escalares colocadas específicamente en la ruta residual y en las no linealidades basadas en análisis de propagación de señales. Los NFNets ligeros son variantes específicas de timm que reducen la ratio SE y de cuello de botella de 0.5 a 0.25 (reduciendo anchos) y utilizan un tamaño de grupo más pequeño manteniendo la misma profundidad. Activaciones SiLU utilizadas en lugar de GELU. Esta variante de NFNet también usa ECA (Efficient Channel Attention) en lugar de SE (Squeeze-and-Excitation).
Como usar
Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))
model = timm.create_model('eca_nfnet_l1.ra2_in1k', pretrained=True)
model = model.eval()
# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # julio único a lote de 1
top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)
Extracción de Mapas de Características
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))
model = timm.create_model('eca_nfnet_l1.ra2_in1k', pretrained=True, features_only=True)
model = model.eval()
# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # julio único a lote de 1
for o in output:
print(o.shape)
Incrustaciones de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))
model = timm.create_model('eca_nfnet_l1.ra2_in1k', pretrained=True, num_classes=0) # eliminar classificador nn.Linear
model = model.eval()
# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # salida es un tensor de forma (batch_size, num_features)
# o equivalente (sin necesidad de establecer num_classes=0)
output = model.forward_features(transforms(img).unsqueeze(0))
# salida sin agrupamiento, un tensor de forma (1, 3072, 8, 8)
output = model.forward_head(output, pre_logits=True)
# salida es un tensor de forma (1, num_features)
Funcionalidades
- Clasificación de imágenes
- Extracción de mapas de características
- Incrustaciones de imágenes
Casos de uso
- Clasificación de imágenes
- Extracción de características de imágenes
- Generación de incrustaciones de imágenes