cross-encoder/ms-marco-MiniLM-L-12-v2

cross-encoder

Clasificación de texto

Este modelo se entrenó en la tarea de clasificación de pasajes de MS Marco. Se puede utilizar para la Recuperación de Información: dado una consulta, codifica la consulta con todos los pasajes posibles (por ejemplo, recuperados con ElasticSearch). Luego ordena los pasajes en orden decreciente.

Como usar

Uso con Transformers
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch

model = AutoModelForSequenceClassification.from_pretrained('model_name')
tokenizer = AutoTokenizer.from_pretrained('model_name')

features = tokenizer(['How many people live in Berlin?', 'How many people live in Berlin?'], ['Berlin has a population of 3,520,031 registered inhabitants in an area of 891.82 square kilometers.', 'New York City is famous for the Metropolitan Museum of Art.'],  padding=True, truncation=True, return_tensors="pt")

model.eval()
with torch.no_grad():
  scores = model(**features).logits
print(scores)

Uso con SentenceTransformers
from sentence_transformers import CrossEncoder
model = CrossEncoder('model_name', max_length=512)
scores = model.predict([('Query', 'Paragraph1'), ('Query', 'Paragraph2'), ('Query', 'Paragraph3')])

Funcionalidades

Clasificación de texto
Transformers
PyTorch
JAX
bert
Puntos de Inferencia

Casos de uso

Recuperación de Información
Clasificación de Pasajes