roberta-large-faithcritic
McGill-NLP
Clasificación de texto
roberta-large-faithcritic es un modelo grande de RoBERTa afinado en FaithCritic, un derivado del conjunto de datos FaithDial. El objetivo es predecir si una declaración es fiel o no, dada la fuente de conocimiento.
Como usar
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("McGill-NLP/roberta-large-faithcritic")
model = AutoModel.from_pretrained("McGill-NLP/roberta-large-faithcritic")
knowledge = "A cardigan is a type of knitted garment (sweater) that has an open front."
response = "The old version is the regular one, knitted garment that has open front and buttons!"
input = tokenizer(knowledge, response)
output = model(**input)
Funcionalidades
- Clasificación de texto
- Precisión del 86.51% en FaithCritic
- Precisión del 74.72% en MNLI
- Precisión del 71.56% en BEGIN
Casos de uso
- Clasificación de la fidelidad de diálogos.
- Evaluación de la precisión y consistencia en sistemas de generación de textos.
- Research en NLP para medir la exactitud de la información proporcionada.