regnety_064.ra3_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes RegNetY-6.4GF. Entrenado en ImageNet-1k por Ross Wightman en timm. La implementación de RegNet en timm incluye una serie de mejoras que no están presentes en otras implementaciones, incluyendo: profundidad estocástica, punto de control de gradiente, decaimiento de LR por capa, paso de salida configurable (dilatación), capas de activación y normalización configurables, opción para un bloque de cuello de botella de pre-activación utilizado en la variante RegNetV, únicas definiciones de modelos RegNetZ conocidas con pesos preentrenados.

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('regnety_064.ra3_in1k', pretrained=True)
model = model.eval()

# get model specific transforms (normalization, resize)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # unsqueeze single image into batch of 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción de Mapas de Características
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('regnety_064.ra3_in1k', pretrained=True, features_only=True)
model = model.eval()

# get model specific transforms (normalization, resize)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # unsqueeze single image into batch of 1

for o in output:
    print(o.shape)

Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen('https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'))

model = timm.create_model('regnety_064.ra3_in1k', pretrained=True, num_classes=0) # quita el clasificador nn.Linear
model = model.eval()

# get model specific transforms (normalization, resize)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor de tamaño (batch_size, num_features)

# o equivalentemente (sin necesidad de configurar num_classes=0)
output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no está agrupada, es un tensor de tamaño (1, 1296, 7, 7)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor de tamaño (1, num_features)

Funcionalidades

profundidad estocástica
punto de control de gradiente
decaimiento de LR por capa
paso de salida configurable (dilatación)
capas de activación y normalización configurables
opción para un bloque de cuello de botella de pre-activación en la variante RegNetV
únicas definiciones de modelos RegNetZ conocidas con pesos preentrenados

Casos de uso

Clasificación de imágenes
Extracción de mapas de características
Generación de embeddings de imágenes
Comparación de modelos