roberta-base-finetuned-squad8000

HASAN55

Pregunta y respuesta

Este modelo es una versión ajustada de roberta-base en el conjunto de datos SQuAD. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 0.8537

Como usar

Parámetros de entrenamiento
Los siguientes hiperparámetros fueron usados durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Resultados del entrenamiento
Pérdida de entrenamiento
| Época | Paso | Pérdida de Validación |
|-------|------|-----------------------|
| 0.8461 | 1.0 | 6063 | 0.8284 |
| 0.6586 | 2.0 | 12126 | 0.8036 |
| 0.5178 | 3.0 | 18189 | 0.8537 |
Versiones del marco

Transformers: 4.28.1
Pytorch: 2.0.0+cu118
Datasets: 2.11.0
Tokenizers: 0.13.3

Funcionalidades

Transformers
PyTorch
TensorBoard
Roberta
Respuesta a preguntas
Generado desde Entrenador
Compatible con puntos de inferencia
Licencia MIT
Región: EE.UU.

Casos de uso

Respuesta a preguntas