gernet_l.idstcv_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes GENet (GPU-Efficient-Networks). Entrenado en ImageNet-1k por los autores del artículo. Esta arquitectura de modelo se implementa utilizando la flexible BYOBNet (Bring-Your-Own-Blocks Network) de timm. BYOBNet permite la configuración de diseño de bloques/etapas, diseño de tallo, salida escalonada (dilación), capas de activación y normalización, capas de atención de canal y espacial/propia, e incluye características comunes en muchas otras arquitecturas de timm como profundidad estocástica, checkpointing de gradiente, decaimiento de LR por capa, y extracción de características por etapa.

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))
model = timm.create_model('gernet_l.idstcv_in1k', pretrained=True)
model = model.eval()
# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # expandir una sola imagen en un lote de 1
top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción de Mapa de Características
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))
model = timm.create_model('gernet_l.idstcv_in1k', pretrained=True, features_only=True)
model = model.eval()
# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # expandir una sola imagen en un lote de 1
for o in output: print(o.shape)

Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))
model = timm.create_model('gernet_l.idstcv_in1k', pretrained=True, num_classes=0) # eliminar la clasificación nn.Linear
model = model.eval()
# obtener transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # la salida es un tensor de forma (batch_size, num_features)
# o equivalentemente (sin necesidad de configurar num_classes=0)
output = model.forward_features(transforms(img).unsqueeze(0)) # la salida es sin pool, un tensor de forma (1, 2560, 8, 8)
output = model.forward_head(output, pre_logits=True) # la salida es un tensor de forma (1, num_features)

Funcionalidades

Diseño de bloques/etapas configurables
Diseño de tallo configurable
Salida escalonada (dilación) configurable
Capas de activación y normalización configurables
Capas de atención de canal y espacial/propia configurables
Profundidad estocástica
Checkpointing de gradiente
Decaimiento de LR por capa
Extracción de características por etapa

Casos de uso

Clasificación de imágenes
Extracción de mapas de características
Generación de embeddings de imágenes