rinna-AraBert-qa-ar3

Echiguerkh

Pregunta y respuesta

Este modelo es una versión perfeccionada de aubmindlab/bert-base-arabertv2 sobre el conjunto de datos arcd. Logra los siguientes resultados en el conjunto de evaluación: Pérdida: 3.7678.

Como usar

Este modelo está pensado para responder preguntas. Aquí están los hiperparámetros utilizados durante el entrenamiento:
{
  "learning_rate": 2e-05,
  "train_batch_size": 2,
  "eval_batch_size": 1,
  "seed": 42,
  "gradient_accumulation_steps": 16,
  "total_train_batch_size": 32,
  "optimizer": "Adam with betas=(0.9,0.999) and epsilon=1e-08",
  "lr_scheduler_type": "linear",
  "lr_scheduler_warmup_steps": 100,
  "num_epochs": 30
}

Funcionalidades

Responde a preguntas
Utiliza la arquitectura Transformers
Implementado en PyTorch

Casos de uso

Responder preguntas en árabe