regnety_160.swag_lc_in1k

timm

Clasificación de imagen

Un modelo de clasificación de imágenes RegNetY-16GF. Preentrenado según SWAG: aprendizaje débilmente supervisado en ~3.6B imágenes de Instagram y hashtags asociados. Clasificador lineal ajustado en ImageNet-1k por los autores del artículo. Las ponderaciones de este modelo están restringidas para uso comercial por su licencia CC-BY-NC-4.0. La implementación de RegNet en timm incluye una serie de mejoras no presentes en otras implementaciones, incluidas: profundidad estocástica, punto de control de gradiente, decaimiento de LR por capa, paso de salida configurable (dilación), capas de activación y normalización configurables, opción para un bloque cuello de botella de pre-activación usado en la variante RegNetV, y las únicas definiciones de modelo RegNetZ conocidas con pesos preentrenados.

Como usar

Clasificación de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model('regnety_160.swag_lc_in1k', pretrained=True)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # agregar una dimensión para convertir la imagen única en un lote de 1

top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)

Extracción de Mapa de Características
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'regnety_160.swag_lc_in1k',
pretrained=True,
features_only=True,
)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, es_training=False)

output = model(transforms(img).unsqueeze(0)) # agregar una dimensión para convertir la imagen única en un lote de 1

for o in output:
print(o.shape)

Embeddings de Imágenes
from urllib.request import urlopen
from PIL import Image
import timm

img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))

model = timm.create_model(
'regnety_160.swag_lc_in1k',
pretrained=True,
num_classes=0, # eliminar el clasificador nn.Linear
)
model = model.eval()

# obtener las transformaciones específicas del modelo (normalización, cambio de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)

output = model(transforms(img).unsqueeze(0)) # la salida es un tensor con forma (batch_size, num_features)

# o de manera equivalente (sin necesidad de establecer num_classes=0)

output = model.forward_features(transforms(img).unsqueeze(0))
# la salida no está agrupada, es un tensor con forma (1, 3024, 7, 7)

output = model.forward_head(output, pre_logits=True)
# la salida es un tensor con forma (1, num_features)

Funcionalidades

Profundidad estocástica
Punto de control de gradiente
Decaimiento de LR por capa
Paso de salida configurable (dilación)
Capas de activación y normalización configurables
Opción para un bloque cuello de botella de pre-activación usado en la variante RegNetV
Únicas definiciones de modelo RegNetZ conocidas con pesos preentrenados.

Casos de uso

Clasificación de imágenes
Extracción de mapas de características
Generación de embebidos de imágenes