onnx-community/rtdetr_r50vd
El modelo rtdetr_r50vd de onnx-community es un modelo de detección de objetos compatible con Transformers.js. Utiliza pesos ONNX para garantizar la compatibilidad y su soporte es experimental, requiriendo la instalación de Transformers.js v3.
Como usar
Uso (Transformers.js)
NOTA: El soporte de RT-DETR es experimental y requiere la instalación de Transformers.js v3 desde el código fuente.
Si aún no lo has hecho, puedes instalar la biblioteca JavaScript de Transformers.js desde GitHub usando:
npm install xenova/transformers.js#v3
Ejemplo: Realizar detección de objetos con onnx-community/rtdetr_r50vd.
import { pipeline } from '@xenova/transformers';
const detector = await pipeline('object-detection', 'onnx-community/rtdetr_r50vd');
const img = 'https://huggingface.co/datasets/Xenova/transformers.js-docs/resolve/main/cats.jpg';
const output = await detector(img, { threshold: 0.9 });
// [{
// score: 0.9720445871353149,
// label: 'cat',
// box: { xmin: 14, ymin: 54, xmax: 319, ymax: 472 }
// },
// ...
// {
// score: 0.9795005917549133,
// label: 'sofa',
// box: { xmin: 0, ymin: 0, xmax: 640, ymax: 472 }
// }]
Nota: Tener un repositorio separado para los pesos ONNX es una solución temporal hasta que WebML gane más tracción. Si deseas hacer que tus modelos sean compatibles con la web, recomendamos convertir a ONNX usando 🤗 Optimum y estructurar tu repositorio de manera similar a este (con los pesos ONNX ubicados en una subcarpeta llamada onnx).
Funcionalidades
- Detección de objetos
- Compatibilidad con ONNX
- Interoperabilidad con Transformers.js
Casos de uso
- Detección de gatos en imágenes
- Identificación de ubicaciones de objetos como sofás en imágenes