crossencoder-electra-base-french-mmarcoFR

antoinelouis

Clasificación de texto

Este es un modelo de cross-encoder para el francés. Realiza atención cruzada entre un par de pregunta-párrafo y produce un puntaje de relevancia. El modelo debe ser usado como un reranker de búsqueda semántica: dado una consulta y un conjunto de pasajes potencialmente relevantes obtenidos por un eficiente sistema de recuperación de primera etapa (por ejemplo, BM25 o un biecoder denso ajustado con un solo vector), codifica cada par consulta-párrafo y ordena los pasajes en orden decreciente de relevancia según los puntajes predichos por el modelo.

Como usar

Uso con Sentence-Transformers
from sentence_transformers import CrossEncoder

pairs = [('Question', 'Paragraphe 1'), ('Question', 'Paragraphe 2') , ('Question', 'Paragraphe 3')]

model = CrossEncoder('antoinelouis/crossencoder-electra-base-french-mmarcoFR')
scores = model.predict(pairs)
print(scores)

Uso con FlagEmbedding
from FlagEmbedding import FlagReranker

pairs = [('Question', 'Paragraphe 1'), ('Question', 'Paragraphe 2') , ('Question', 'Paragraphe 3')]

reranker = FlagReranker('antoinelouis/crossencoder-electra-base-french-mmarcoFR')
scores = reranker.compute_score(pairs)
print(scores)

Uso con HuggingFace Transformers
import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

pairs = [('Question', 'Paragraphe 1'), ('Question', 'Paragraphe 2') , ('Question', 'Paragraphe 3')]

tokenizer = AutoTokenizer.from_pretrained('antoinelouis/crossencoder-electra-base-french-mmarcoFR')
model = AutoModelForSequenceClassification.from_pretrained('antoinelouis/crossencoder-electra-base-french-mmarcoFR')
model.eval()

with torch.no_grad():
  inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)
  scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
  print(scores)

Funcionalidades

Clasificación de texto
sentence-transformers
safetensors
unicamp-dl/mmarco
francés
reranking de pasajes
resultados de evaluación

Casos de uso

Reordenar resultados de búsqueda semántica
Rankeo de pasajes en función de su relevancia
Evaluación de la pertinencia de los documentos recuperados en búsquedas