distilbert-base-uncased-finetuned-squad

El modelo se puede usar con los siguientes hiperparámetros de entrenamiento:

- learning_rate: 2e-05
- train_batch_size: 16
- eval_batch_size: 16
- seed: 42
- optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 3

Resultados del entrenamiento:

| Pérdida de Entrenamiento | Época | Paso | Pérdida de Validación |
|--------------------------|-------|------|----------------------|
| 1.2251                   | 1.0   | 5533  | 1.1707               |
| 0.9554                   | 2.0   | 11066 | 1.1211               |
| 0.7645                   | 3.0   | 16599 | 1.1642               |

Versiones del Framework:

• Transformers 4.16.2
• Pytorch 1.10.0+cu111
• Datasets 1.18.3
• Tokenizers 0.11.0