Procedimiento de entrenamiento

Los siguientes hiperparámetros se utilizaron durante el entrenamiento:

learning_rate: 5e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.1
training_steps: 5952

Resultados del entrenamiento

Pérdida de Entrenamiento    Época    Paso    Pérdida de Validación    Precisión
1.3492                      0.13     745     1.3353                   0.5127
0.9541                      1.13     1490    0.9004                   0.6849
0.7073                      2.13     2235    0.7946                   0.7236
0.8417                      3.13     2980    0.8516                   0.6876
0.3899                      4.13     3725    0.7319                   0.7450
0.3669                      5.13     4470    0.7200                   0.7490
0.5429                      6.13     5215    0.6304                   0.7864
0.2831                      7.12     5952    0.6373                   0.7931

Versiones del framework

Transformers 4.38.2
Pytorch 2.1.0+cu121
Datasets 2.18.0
Tokenizers 0.15.2