Persian-QA-Bert-V1

SeyedAli

Pregunta y respuesta

Este modelo es una versión ajustada de HooshvareLab/bert-fa-base-uncased en el conjunto de datos SeyedAli/Persian-Text-QA. Este modelo se utiliza principalmente para responder preguntas en persa. El rendimiento del modelo en el conjunto de evaluación tiene una pérdida de 5.0331.

Como usar

Parámetros de entrenamiento

learning_rate: 3e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 10

Resultados del entrenamiento

Pérdida Entrenamiento
Epoch
Paso
Pérdida de Validación

{
  "2.3247": "1.0",
  "1126": "1.7615",
  "1.4445": "2.0",
  "2252": "1.8002",
  "0.7653": "3.0",
  "3378": "2.0806",
  "0.4247": "4.0",
  "4504": "2.6624",
  "0.2502": "5.0",
  "5630": "3.2961",
  "0.168": "6.0",
  "6756": "3.7767",
  "0.0809": "7.0",
  "7882": "4.3288",
  "0.0544": "8.0",
  "9008": "4.8516",
  "0.0398": "9.0",
  "10134": "4.9091",
  "0.0102": "10.0",
  "11260": "5.0331"
}

Versiones del Framework

Transformers 4.33.1
Pytorch 2.0.1+cu118
Datasets 2.14.5
Tokenizers 0.13.3

Funcionalidades

Ajustado a partir del modelo HooshvareLab/bert-fa-base-uncased
Optimizado para responder preguntas en persa
Basado en Transformers y PyTorch
Utiliza Safetensors

Casos de uso

Responder preguntas en persa
Aplicaciones en chatbots que requieren procesamiento del lenguaje natural en persa