bert-base-french-europeana-cased-squad-fr

Nadav
Pregunta y respuesta

Este modelo es una versión ajustada de dbmdz/bert-base-french-europeana-cased en el conjunto de datos None. Es un modelo de respuesta a preguntas basado en Transformers y PyTorch, generado a partir de Trainer.

Como usar

Este modelo se puede utilizar para tareas de respuesta a preguntas. Los siguientes hiperparámetros se usaron durante el entrenamiento:

  • learning_rate: 3e-05
  • train_batch_size: 32
  • eval_batch_size: 32
  • seed: 42
  • optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
  • lr_scheduler_type: lineal
  • lr_scheduler_warmup_ratio: 0.2
  • num_epochs: 2

Resultados del entrenamiento:

Training Loss
Epoch
Step
Validation Loss

1.9069
1.0
3539
1.7853

1.6263
2.0
7078
1.7031

Versiones del marco de trabajo:

  • Transformers: 4.24.0
  • Pytorch: 1.13.0+cu117
  • Datasets: 2.7.1
  • Tokenizers: 0.13.2

Funcionalidades

Transformers
PyTorch
Ajustado en conjunto de datos None
Licencia MIT

Casos de uso

Respondiendo a preguntas en francés