bart_medical_quad_model

Procedimiento de entrenamiento

Hiperparámetros de entrenamiento

Los siguientes hiperparámetros fueron utilizados durante el entrenamiento:

learning_rate: 3.7185140364032e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
gradient_accumulation_steps: 2
total_train_batch_size: 64
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
training_steps: 820

Resultados del entrenamiento

Training Loss
Epoch
Step
Validation Loss

0.0
0.1220
100
0.0000

0.0004
0.2439
200
0.0000

0.0
0.3659
300
0.0000

0.0004
0.4878
400
0.0000

0.0002
1.1091
500
0.0000

0.0
1.2311
600
0.0000

0.0001
1.3530
700
0.0000

0.0001
1.475
800
0.0000

Versiones del marco

Transformers 4.40.2
Pytorch 2.2.1+cu121
Datasets 2.19.1
Tokenizers 0.19.1