xtremedistil-l6-h256-uncased-finetuned_lr-2e-05_epochs-3

husnu

Pregunta y respuesta

Este modelo es una versión ajustada de microsoft/xtremedistil-l6-h256-uncased en el conjunto de datos squad. Alcanza los siguientes resultados en el conjunto de evaluación: Pérdida: 1.2864.

Como usar

Los siguientes hiperparámetros fueron utilizados durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 16
eval_batch_size: 16
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Funcionalidades

Cuestionario de respuestas
Transformadores
PyTorch
TensorBoard

Casos de uso

Cuestionario de respuestas en el conjunto de datos SQuAD