QA_FineTuned_ArabianGpt-01B

gp-tar4

Pregunta y respuesta

Este modelo es una versión afinada de riotu-lab/ArabianGPT-01B en un conjunto de datos arcd (conjunto de datos en árabe). Logra los siguientes resultados en el conjunto de evaluación: Pérdida (Loss): 3.0808.

Como usar

Los siguientes hiperparámetros fueron usados durante el entrenamiento:
learning_rate: 0.0003
train_batch_size: 8
eval_batch_size: 8
seed: 42
gradient_accumulation_steps: 4
total_train_batch_size: 32
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: cosine
num_epochs: 3

Funcionalidades

Modelo afinado para la respuesta a preguntas
Basado en el modelo ArabianGPT-01B
Utiliza transformadores y safetensors

Casos de uso

Responder preguntas basadas en contexto dado
Generación de respuestas en árabe
Evaluación del conocimiento en un conjunto de datos en árabe