timm/coatnet_rmlp_2_rw_384.sw_in12k_ft_in1k
Un modelo específico de timm llamado CoAtNet (con un MLP Log-CPB, una posición relativa continua motivada por Swin-V2) para clasificación de imágenes. Preentrenado en timm con ImageNet-12k (un subconjunto de 11821 clases del full ImageNet-22k) y afinado con ImageNet-1k por Ross Wightman. El entrenamiento en ImageNet-12k se realizó en TPU gracias al soporte del programa TRC. El afinado se realizó en instancias en la nube de Lambda Labs con 8 GPUs.
Como usar
Clasificación de imágenes ```python
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))
model = timm.create_model('coatnet_rmlp_2_rw_384.sw_in12k_ft_in1k', pretrained=True)
model = model.eval()
obtener transformaciones específicas del modelo (normalización, cambios de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # añadir una dimensión al lote
top5_probabilities, top5_class_indices = torch.topk(output.softmax(dim=1) * 100, k=5)
Extracción de mapas de características ```python
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))
model = timm.create_model('coatnet_rmlp_2_rw_384.sw_in12k_ft_in1k', pretrained=True, features_only=True)
model = model.eval()
# obtener transformaciones específicas del modelo (normalización, cambios de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # añadir una dimensión al lote
for o in output:
# imprimir forma de cada mapa de características en la salida
# ej.: torch.Size([1, 128, 192, 192])
# torch.Size([1, 128, 96, 96])
# torch.Size([1, 256, 48, 48])
# torch.Size([1, 512, 24, 24])
# torch.Size([1, 1024, 12, 12])
print(o.shape)
Generación de incrustaciones de imágenes ```python
from urllib.request import urlopen
from PIL import Image
import timm
img = Image.open(urlopen(
'https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/beignets-task-guide.png'
))
model = timm.create_model('coatnet_rmlp_2_rw_384.sw_in12k_ft_in1k', pretrained=True, num_classes=0)
model = model.eval()
obtener transformaciones específicas del modelo (normalización, cambios de tamaño)
data_config = timm.data.resolve_model_data_config(model)
transforms = timm.data.create_transform(**data_config, is_training=False)
output = model(transforms(img).unsqueeze(0)) # la salida es un tensor (tamaño de lote, número de funciones)
output = model.forward_features(transforms(img).unsqueeze(0))
la salida no está agrupada, es un tensor con forma (1, 1024, 12, 12)
output = model.forward_head(output, pre_logits=True)
la salida es un tensor con la forma (1, número de funciones)
Funcionalidades
- Clasificación de imágenes
- Extracción de mapas de características
- Generación de incrustaciones de imágenes
- Comparación de modelos por Top-1 y rendimiento (muestras/seg)
Casos de uso
- Clasificación de imágenes
- Extracción de características de imágenes para tareas de visión por computadora
- Generación de incrustaciones de imágenes para usar en sistemas de recomendación o búsqueda visual