CogComp/bart-faithful-summary-detector
CogComp
Clasificación de texto
Un modelo BART (base) entrenado para clasificar si un resumen es fiel al artículo original. Vea nuestro artículo en NAACL'21 para más detalles.
Como usar
Concatene un resumen y un documento fuente como entrada (tenga en cuenta que el resumen debe ser la primera oración). Aquí hay un ejemplo de uso (con PyTorch):
from transformers import AutoTokenizer, AutoModelForSequenceClassification
tokenizer = AutoTokenizer.from_pretrained("CogComp/bart-faithful-summary-detector")
model = AutoModelForSequenceClassification.from_pretrained("CogComp/bart-faithful-summary-detector")
article = "Ban Ki-Moon fue reelegido para un segundo mandato por la Asamblea General de la ONU, sin oposición y por unanimidad, el 21 de junio de 2011."
bad_summary = "Ban Ki-moon fue elegido para un segundo mandato en 2007."
good_summary = "Ban Ki-moon fue elegido para un segundo mandato en 2011."
bad_pair = tokenizer(text=bad_summary, text_pair=article, return_tensors='pt')
good_pair = tokenizer(text=good_summary, text_pair=article, return_tensors='pt')
bad_score = model(**bad_pair)
good_score = model(**good_pair)
print(good_score[0][:, 1] > bad_score[0][:, 1]) # True, mapeo de etiquetas: "0" -> "Alucinado" "1" -> "Fiel"
Funcionalidades
- Clasificación de secuencias utilizando BART
- Compatible con PyTorch y JAX
- Compatible con AutoTrain
- Compatible con Endpoints de Inferencia
Casos de uso
- Clasificación de la fidelidad de los resúmenes a los artículos originales
- Evaluación de la calidad del resumen producido automáticamente
- Integración en sistemas de resúmenes automáticos para mejora de precisión