longformer-base-4096-ajustado-squad2-longitud-1024-128ventana
ChuVN
Pregunta y respuesta
Este modelo es una versión ajustada de allenai/longformer-base-4096 en el conjunto de datos squad_v2. Logra los siguientes resultados en el conjunto de evaluación: Loss: 0.9057
Como usar
Los siguientes hiperparámetros se utilizaron durante el entrenamiento:
- learning_rate: 2e-05
- train_batch_size: 4
- eval_batch_size: 4
- seed: 42
- optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 1
Resultados del Entrenamiento
- Training Loss: 0.8641
- Epoch: 1.0
- Step: 32580
- Validation Loss: 0.9057
Versiones del Marco de Trabajo
- Transformers 4.20.1
- Pytorch 1.12.0+cu113
- Datasets 2.3.2
- Tokenizers 0.12.1
Funcionalidades
- Transformers
- Pytorch
- TensorBoard
- Longformer
- Question Answering
- Generated from Trainer
- Inference Endpoints
- Dataset: squad_v2
- Region: US
Casos de uso
- Respuestas a preguntas