apohllo/albert-xxl-squad-sentences
apohllo
Similitud de oraciones
El modelo fue entrenado como un modelo de clasificación de codificación cruzada con el objetivo de reordenar los resultados en una canalización de preguntas y respuestas. Los datos fueron divididos en oraciones a partir de SQuAD 2.0. La pregunta más la oración que contiene la respuesta fueron consideradas como ejemplos positivos. La pregunta más las oraciones restantes del mismo pasaje de Wikipedia fueron tratadas como ejemplos negativos difíciles.
Como usar
from transformers import AutoModelForSequenceClassification, AutoTokenizer
model = AutoModelForSequenceClassification.from_pretrained("apohllo/albert-xxl-squad-sentences", num_labels=2)
tokenizer = AutoTokenizer.from_pretrained("apohllo/albert-xxl-squad-sentences")
from transformers import pipeline
# Añadir device=0 si desea utilizar GPU!
classifier = pipeline("text-classification", model=model, tokenizer=tokenizer, batch_size=16) #, device=0)
sentences = [...] # algunas oraciones a reranquear, respecto a la pregunta
question = "..." # una pregunta a ser formulada contra las oraciones
samples = [{"text": s, "text_pair": question} for s in sentences]
results = classifier(samples)
results = [(idx, r["score"]) if r["label"] == 'LABEL_1' else (idx, 1 - r["score"])
for idx, r in enumerate(results)]
top_k = 5
keys_values = sorted(results, key=lambda e: -e[1])[:top_k]
Funcionalidades
- Clasificación de secuencias
- Reordenamiento de resultados en una canalización de QA
- Utiliza datos de SQuAD 2.0
Casos de uso
- Reordenar respuestas en sistemas de preguntas y respuestas
- Clasificación de texto
- Mejorar la precisión de respuestas utilizando SQuAD 2.0