deberta-base-finetuned-squad-pruned0.1
zhangfx7
Pregunta y respuesta
Este modelo es una versión ajustada de microsoft/deberta-base en el conjunto de datos squad. Este modelo no tiene suficiente actividad para ser desplegado en la API de inferencia (serverless) aún. Aumenta su visibilidad social y vuelve a verificar más tarde, o despliega en los Puntos de Inferencia (dedicados).
Como usar
Este modelo se puede utilizar para tareas de respuesta a preguntas. Fue entrenado y evaluado con los siguientes hiperparámetros:
learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 1
Resultados de entrenamiento:
Pérdida de Entrenamiento
Época
Paso
Pérdida de Validación
2.4425
1.0
5533
2.3741
Funcionalidades
- Pérdida de evaluación: 2.3741
- Versión ajustada del modelo: microsoft/deberta-base
- Conjunto de datos utilizado: rajpurkar/squad
- Hiperparámetros de entrenamiento detallados
- Resultados de la evaluación
- Compatibilidad con Transformers 4.24.0, Pytorch 1.12.1+cu113, Datasets 2.6.1 y Tokenizers 0.13.2
Casos de uso
- Respuestas a preguntas en contextos de texto largo
- Implementación en aplicaciones de chatbots
- Sistemas de atención al cliente automatizados