distilbert-base-uncased-finetuned-squad

fadhilarkan
Pregunta y respuesta

Este modelo es una versión ajustada de distilbert-base-uncased en el conjunto de datos SQuAD. Alcanzó los siguientes resultados en el conjunto de evaluación: Pérdida: 1.1523. Más información necesaria sobre la descripción del modelo.

Como usar

Hiperparámetros de entrenamiento

Los siguientes hiperparámetros se usaron durante el entrenamiento:

  • learning_rate: 2e-05
  • train_batch_size: 16
  • eval_batch_size: 16
  • seed: 42
  • optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 3

Resultados del entrenamiento

  • Pérdida de entrenamiento
    • Epoch 1: 1.2171
    • Pasos 5533: 1.1511
    • Epoch 2: 0.952
    • Pasos 11066: 1.1180
    • Epoch 3: 0.7707
    • Pasos 16599: 1.1523

Funcionalidades

Version ajustada de distilbert-base-uncased
Entrenamiento en el dataset SQuAD
Resultados de evaluación: Pérdida: 1.1523

Casos de uso

Responder preguntas en el conjunto de datos SQuAD.