qa-persian

AliBagherz
Pregunta y respuesta

Este modelo es una versión ajustada de HooshvareLab/bert-fa-base-uncased en los conjuntos de datos persian_qa y pquad. El modelo se utiliza para la tarea de respuesta a preguntas en idioma persa.

Como usar

Los siguientes hiperparámetros fueron utilizados durante el entrenamiento:

- learning_rate: 3e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam con betas=(0.9, 0.999) y epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 1

Versión del Framework

  • Transformers 4.33.2
  • Pytorch 2.0.1+cu118
  • Datasets 2.14.5
  • Tokenizers 0.13.3

Ejemplo de uso:

from transformers import AutoModelForQuestionAnswering, AutoTokenizer

model_name = "AliBagherz/qa-persian"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForQuestionAnswering.from_pretrained(model_name)

question = "تختی پس از چه رویدادی به امدادرسانی و کمک به مردم پرداخت؟" 
context = "غُلام‌رضا تَختی (۵ شهریور ۱۳۰۹ – ۱۷ دی ۱۳۴۶) که با عنوان جهان‌پهلوان تَختی نیز شناخته می‌شود؛ ورزشکار ایرانی رشته کشتی آزاد بود..."

inputs = tokenizer(question, context, add_special_tokens=True, return_tensors="pt")
outputs = model(**inputs)

answer_start_index = outputs.start_logits.argmax()
answer_end_index = outputs.end_logits.argmax()

answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(inputs.input_ids[0][answer_start_index:answer_end_index+1]))
print('Respuesta:', answer)

Funcionalidades

Responde preguntas en idioma persa
Basado en Transformers y PyTorch
Afinado utilizando los conjuntos de datos Gholamreza/pquad y SajjadAyoubi/persian_qa
Compatibilidad con puntos de inferencia

Casos de uso

Responder preguntas basadas en texto en idioma persa
Aplicaciones en sistemas de búsqueda y recuperación de información
Asistencia virtual y chatbots enfocados en el idioma persa