timm/eca_nfnet_l0.ra2_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes ECA-NFNet-Lite (NFNet ligero con atención ECA). Entrenado en timm por Ross Wightman. Las Redes sin Normalización son modelos similares a ResNet (pre-activación) sin capas de normalización. En lugar de la Normalización por Lotes u otras alternativas, usan la Estandarización de Pesos Escalados y ganancias escalares específicamente colocadas en la ruta residual y en las no linealidades basadas en el análisis de la propagación de señales. Los NFNet ligeros son variantes específicas de timm que reducen la relación SE y del cuello de botella de 0.5 -> 0.25 (reduciendo anchos) y usan un tamaño de grupo más pequeño mientras mantienen la misma profundidad. Se utilizan activaciones SiLU en lugar de GELU. Esta variante de NFNet también usa ECA (Atención de Canal Eficiente) en lugar de SE (Compresión y Excitación).

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('eca_nfnet_l0.ra2_in1k', pretrained=True)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # re-dimensiona la imagen a un lote de 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción de Mapas de Características
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'eca_nfnet_l0.ra2_in1k',
pretrained=True,
features_only=True,
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # re-dimensiona la imagen a un lote de 1

for o in output:
    # imprimir la forma de cada mapa de características en la salida
    print(o.shape)

Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'eca_nfnet_l0.ra2_in1k',
pretrained=True,
num_classes=0, # eliminar el clasificador nn.Linear
)
model = model.eval()

# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor de forma (batch_size, num_features)

# o equivalentemente (sin necesidad de configurar num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no está agrupada, es un tensor con forma (1, 2304, 7, 7)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor de forma (1, num_features)

Funcionalidades

Clasificación de imágenes
Extracción de mapas de características
Embeddings de imágenes
Modelo específico timm que reduce la relación SE y del cuello de botella
Uso de activaciones SiLU en lugar de GELU
Atención de Canal Eficiente (ECA) en lugar de Compresión y Excitación (SE)

Casos de uso

Clasificación avanzada de imágenes
Extracción eficiente de características para análisis de imagen
Generación de embeddings de imágenes para tareas de recuperación de información y similitud