facebook/detr-resnet-101-dc5
El modelo DEtection TRansformer (DETR) entrenado de extremo a extremo en la detección de objetos COCO 2017 (118k imágenes anotadas). Fue introducido en el artículo 'End-to-End Object Detection with Transformers' por Carion et al. Este modelo es un transformador de codificador-decodificador con una columna vertebral convolucional. Se agregan dos cabezales en la parte superior de las salidas del decodificador para realizar la detección de objetos: una capa lineal para las etiquetas de clase y un MLP (perceptrón multicapa) para las cajas delimitadoras. El modelo utiliza consultas de objetos para detectar objetos en una imagen. Cada consulta de objeto busca un objeto particular en la imagen. Para COCO, el número de consultas de objetos se establece en 100.
Como usar
Aquí está cómo usar este modelo:
from transformers import DetrFeatureExtractor, DetrForObjectDetection
from PIL import Image
import requests
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
feature_extractor = DetrFeatureExtractor.from_pretrained('facebook/detr-resnet-101-dc5')
model = DetrForObjectDetection.from_pretrained('facebook/detr-resnet-101-dc5')
inputs = feature_extractor(images=image, return_tensors="pt")
outputs = model(**inputs)
# model predicts bounding boxes and corresponding COCO classes
logits = outputs.logits
bboxes = outputs.pred_boxes
Funcionalidades
- Transformador de codificador-decodificador con columna vertebral convolucional.
- Dos cabezales: una capa lineal para etiquetas de clase y un MLP para cajas delimitadoras.
- Utiliza consultas de objetos para detectar objetos en una imagen.
- Entrenado de extremo a extremo en la detección de objetos COCO 2017.
- Algoritmo de coincidencia húngara para una asignación óptima uno a uno.
- Pérdida de emparejamiento bipartito para clases y cajas delimitadoras.
- Optimización con entropía cruzada estándar y combinación lineal de L1 e IoU generalizada.
Casos de uso
- Detección de objetos
- Análisis de imágenes
- Sistema de vigilancia inteligente
- Automatización de etiquetado y anotación de imágenes
- Aplicaciones en robótica
- Asistencia en conducción autónoma