kobigbird-pure8-12864671
alphahg
Pregunta y respuesta
Este modelo es una versión afinada de monologg/kobigbird-bert-base en el conjunto de datos custom_squad_v2. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 5.2394. Se necesita más información sobre la descripción del modelo, sus usos previstos y limitaciones, así como los datos de entrenamiento y evaluación.
Como usar
Los siguientes hiperparámetros se utilizaron durante el entrenamiento:
learning_rate: 3e-05
train_batch_size: 32
eval_batch_size: 32
seed: 8
distributed_type: tpu
gradient_accumulation_steps: 16
total_train_batch_size: 512
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3
Los resultados del entrenamiento fueron los siguientes:
Training Loss
Epoch
Step
Validation Loss
No log
0.99
21
5.7961
No log
1.99
42
5.3740
No log
2.99
63
5.2394
Las versiones de los frameworks utilizados fueron:
Transformers 4.25.1
Pytorch 1.13.0+cu116
Datasets 2.8.0
Tokenizers 0.13.2
Funcionalidades
- Token [CLS]
- Token [MASK]
- Token [PAD]
- Token [SEP]
- Token [UNK]
Casos de uso
- Respuesta a preguntas