detección de objetos de moda

yainage90

Detección de objetos

Este modelo es una versión ajustada de microsoft/conditional-detr-resnet-50. Puede encontrar detalles del modelo en este repositorio de github -> fashion-visual-search. Este modelo fue entrenado usando una combinación de dos conjuntos de datos: modanet y fashionpedia. En la época 96 de un total de 100 épocas, se logró la mejor puntuación con un mAP de 0.7542. Por lo tanto, se cree que hay un pequeño margen para mejorar el rendimiento.

Como usar

from PIL import Image
import torch
from transformers import AutoImageProcessor, AutoModelForObjectDetection

ckpt = 'yainage90/fashion-object-detection'
image_processor = AutoImageProcessor.from_pretrained(ckpt)
model = AutoModelForObjectDetection.from_pretrained(ckpt).to(device)

image = Image.open(' ').convert('RGB')

with torch.no_grad():
    inputs = image_processor(images=[image], return_tensors="pt")
    outputs = model(**inputs.to(device))
    target_sizes = torch.tensor([[image.size[1], image.size[0]]])
    results = image_processor.post_process_object_detection(outputs, threshold=0.4, target_sizes=target_sizes)[0]

items = []
for score, label, box in zip(results["scores"], results["labels"], results["boxes"]):
    score = score.item()
    label = label.item()
    box = [i.item() for i in box]
    print(f"{model.config.id2label[label]}: {round(score, 3)} at {box}")
    items.append((score, label, box))

Funcionalidades

Basado en Transformers
Utiliza pesas de Safetensors
Soporte de detección de objetos
Entrenado con los conjuntos de datos modanet y fashionpedia
Etiquetas del modelo: ['bolsa', 'inferior', 'vestido', 'sombrero', 'zapatos', 'exterior', 'superior']

Casos de uso

Detección de objetos en imágenes de moda
Etiqueta y clasificación de prendas y accesorios en imágenes
Asistencia en búsquedas visuales de moda