gte-multilingual-reranker-base
El modelo gte-multilingual-reranker-base es el primer modelo reranker de la familia de modelos GTE, con varias características clave: - Alto rendimiento: logra resultados de última generación (SOTA) en tareas de recuperación multilingües y evaluaciones de modelos de representación multitarea en comparación con modelos reranker de tamaño similar. - Arquitectura de entrenamiento: entrenado usando una arquitectura de transformadores solo de codificación, resultando en un tamaño de modelo menor. A diferencia de modelos anteriores basados en arquitectura LLM solo de decodificación (por ejemplo, gte-qwen2-1.5b-instruct), este modelo tiene menores requisitos de hardware para la inferencia, ofreciendo un aumento de 10 veces en la velocidad de inferencia. - Contexto largo: soporta longitudes de texto de hasta 8192 tokens. - Capacidad multilingüe: soporta más de 70 idiomas.
Como usar
Es recomendable instalar xformers y habilitar 'unpadding' para la aceleración, referente a enable-unpadding-and-xformers.
Cómo usarlo sin conexión:
Cómo usarlo sin conexión: new-impl/discussions/2
Usando transformers de Huggingface (transformers>=4.36.0)
import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
model_name_or_path = "Alibaba-NLP/gte-multilingual-reranker-base"
tokenizer = AutoTokenizer.from_pretrained(model_name_or_path)
model = AutoModelForSequenceClassification.from_pretrained(
model_name_or_path, trust_remote_code=True,
torch_dtype=torch.float16
)
model.eval()
pairs = [["中国的首都在哪儿","北京"], ["what is the capital of China?", "北京"], ["how to implement quick sort in python?","Introduction of quick sort"]]
with torch.no_grad():
inputs = tokenizer(pairs, padding=True, truncation=True, return_tensors='pt', max_length=512)
scores = model(**inputs, return_dict=True).logits.view(-1, ).float()
print(scores)
# tensor([1.2315, 0.5923, 0.3041])
Funcionalidades
- Alto rendimiento
- Arquitectura de entrenamiento eficiente
- Soporte para contextos largos (8192 tokens)
- Capacidad multilingüe
Casos de uso
- Recuperación de información multilingüe
- Evaluaciones de modelos de representación multitarea
- Reranking en tareas de recuperación de texto