awsome_bigbird_24387490
alphahg
Pregunta y respuesta
Este modelo es una versión ajustada de monologg/kobigbird-bert-base en el conjunto de datos custom_squad_v2. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 1.1222.
Como usar
Los siguientes hiperparámetros se utilizaron durante el entrenamiento:
- learning_rate: 2e-05
- train_batch_size: 32
- eval_batch_size: 32
- seed: 30
- gradient_accumulation_steps: 16
- total_train_batch_size: 512
- optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 3
- mixed_precision_training: Native AMP
Resultados del Entrenamiento
- Sin registro, Epoch 0.99, Step 21, Pérdida de validación: 1.2008
- Sin registro, Epoch 1.99, Step 42, Pérdida de validación: 1.1138
- Sin registro, Epoch 2.99, Step 63, Pérdida de validación: 1.1222
Versiones del Framework
- Transformers 4.25.1
- Pytorch 1.13.0+cu116
- Datasets 2.8.0
- Tokenizers 0.13.2
Funcionalidades
- Transformers
- PyTorch
- TensorBoard
- big_bird
- Question Answering
- Generado desde Trainer
- Compatibilidad con puntos de inferencia
- Región: EE.UU.
Casos de uso
- Responder preguntas
- Analizar textos largos
- Procesamiento de lenguaje natural