swulling/bge-reranker-large-onnx-o4

swulling

Clasificación de texto

El modelo 'bge-reranker-large-onnx-o4' es un modelo de clasificación de texto basado en ONNX y compatible con AutoTrain y Inference Endpoints. Utiliza la biblioteca 'transformers' y está optimizado para la inferencia con GPU. Este modelo es especialmente útil para la clasificación de secuencias y ha sido entrenado con el modelo 'xlm-roberta'.

Como usar

# pip install "optimum[onnxruntime-gpu]" transformers

from optimum.onnxruntime import ORTModelForSequenceClassification
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained('swulling/bge-reranker-large-onnx-o4')
model = ORTModelForSequenceClassification.from_pretrained('swulling/bge-reranker-large-onnx-o4')
model.to("cuda")

pairs = [['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']]
with torch.no_grad():
    inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)
    scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
print(scores)

Funcionalidades

Clasificación de texto
Basado en ONNX
Compatible con AutoTrain
Compatible con Puntos de Inferencia
Optimizado para inferencia con GPU
Entrenado con xlm-roberta
Licencia MIT

Casos de uso

Clasificación de secuencias de texto
Reclasificación de respuestas
Optimización de respuestas en sistemas de preguntas y respuestas