GISchat-weibo-100k-fine-tuned-bert

Este modelo es un versión afinada de bert-base-chinese en el conjunto de datos weibo-100k.
Repositorio de Github: https://github.com/GISChat/Fine-tune-bert

Los siguientes hiperparámetros fueron utilizados durante el entrenamiento:

learning_rate: 1e-05
train_batch_size: 8
eval_batch_size: 16
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_steps: 500
num_epochs: 1

Resultados del entrenamiento:

Pérdida en el entrenamiento
Época
Paso
Pérdida en la validación
Precisión

No hay registro
0.08
100
0.6573
0.606

0.647
0.16
200
0.2447
0.9507

0.647
0.24
300
0.0914
0.9807

0.1276
0.32
400
0.0609
0.9843

0.1276
0.4
500
0.0607
0.9843

0.0921
0.48
600
0.1053
0.98

0.0921
0.56
700
0.0487
0.9853

0.0885
0.64
800
0.0523
0.9853

0.0885
0.72
900
0.0484
0.986

0.0579
0.8
1000
0.0549
0.985

0.0579
0.88
1100
0.0495
0.9867

0.0507
0.96
1200
0.0458
0.9867