kobigbird-base29-22139144
KJIM
Pregunta y respuesta
Este modelo es una versión ajustada de monologg/kobigbird-bert-base en el conjunto de datos custom_squad_v2. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 6.2075
Como usar
Los siguientes hiperparámetros se utilizaron durante el entrenamiento:
learning_rate: 0.0005
train_batch_size: 32
eval_batch_size: 32
seed: 29
gradient_accumulation_steps: 8
total_train_batch_size: 256
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: coseno
num_epochs: 2
mixed_precision_training: AMP nativa
Versión de frameworks:
Transformers 4.25.1
Pytorch 1.13.0+cu116
Datasets 2.8.0
Tokenizers 0.13.2
Funcionalidades
- Respuesta a preguntas
- Transformers
- PyTorch
- TensorBoard
- big_bird
- Generado desde Trainer
- Compatible con Endpoints
- Compatible con región: US
Casos de uso
- Responder a preguntas específicas.
- Utilización en aplicaciones que requieren respuestas precisas a preguntas basadas en contexto.
- Integración con herramientas de Machine Learning que emplean PyTorch y Transformers.