kobigbird-base28-47999573
susooo
Pregunta y respuesta
Este modelo es una versión ajustada de monologg/kobigbird-bert-base en el conjunto de datos custom_squad_v2. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 1.4225.
Como usar
Los siguientes hiperparámetros se usaron durante el entrenamiento:
learning_rate: 0.0005
train_batch_size: 32
eval_batch_size: 32
seed: 28
gradient_accumulation_steps: 8
total_train_batch_size: 256
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: cosine
num_epochs: 2
mixed_precision_training: Native AMP
Funcionalidades
- Transformers
- PyTorch
- TensorBoard
- big_bird
- Question Answering
- Generated from Trainer
- Inference Endpoints
- custom_squad_v2
- region:us
Casos de uso
- Responde a preguntas basado en textos de contexto proporcionados.