electra-small-discriminator-finetuned-squad

hankzhong

Pregunta y respuesta

Este modelo es una versión afinada del modelo google/electra-small-discriminator en el conjunto de datos squad. Alcanza los siguientes resultados en el conjunto de evaluación: Pérdida: 1.2174

Como usar

Los siguientes hiperparámetros fueron utilizados durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 32
eval_batch_size: 32
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 3

Resultados del entrenamiento:
Pérdida durante el entrenamiento
Época  Paso  Pérdida de validación

1.5751  1.0  2767  1.3952

1.2939  2.0  5534  1.2458

1.1866  3.0  8301  1.2174

Versiones del framework:
Transformers 4.12.5
Pytorch 1.10.0+cu111
Datasets 1.16.1
Tokenizers 0.10.3

Funcionalidades

Transformers
PyTorch
TensorBoard
squad
electra
Generado a partir del Trainer
Entrenamiento del modelo
Evaluación del modelo

Casos de uso

Respuesta a preguntas