deberta-v3-large-finetuned-squadv2
ahotrod
Pregunta y respuesta
Este modelo es una versión de microsoft/deberta-v3-large afinado en el conjunto de datos SQuAD versión 2.0. La afinación y evaluación en una GPU NVIDIA Titan RTX - 24GB tomó 15 horas. Resultados del artículo de 2023 ICLR, 'DeBERTaV3: Mejorando DeBERTa utilizando Pre-Entrenamiento al Estilo ELECTRA con Compartición de Embeddings Desentrelazados por Gradiente', por Pengcheng He, et. al.
Como usar
Extractive question answering given a context.
Código de uso
# Ejemplo de uso del modelo
metrics = evaluate.load("squad_v2")
squad_v2_metrics = metrics.compute(predictions = formatted_predictions, references = references)
Resultados de la afinación:
{
'exact' : 88.70,
'f1' : 91.52,
'total' : 11873,
'HasAns_exact' : 83.70,
'HasAns_f1' : 89.35,
'HasAns_total' : 5928,
'NoAns_exact' : 93.68,
'NoAns_f1' : 93.68,
'NoAns_total' : 5945,
'best_exact' : 88.70,
'best_exact_thresh' : 0.0,
'best_f1' : 91.52,
'best_f1_thresh' : 0.0
}
Funcionalidades
- Afinado en el conjunto de datos SQuAD versión 2.0
- Evaluado con métricas: EM (89.0) y F1 (91.5)
- Hyperparámetros de afinación: tasa de aprendizaje (1e-05), tamaño del lote de entrenamiento (8), tamaño del lote de evaluación (8), semilla (42), pasos de acumulación de gradiente (8)
Casos de uso
- Responder preguntas extraídas basadas en un contexto dado