avishkaarak-ekta-hindi

En Haystack

Haystack es un marco de trabajo NLP de deepset. Puedes usar este modelo en un pipeline de Haystack para hacer preguntas y respuestas a escala (sobre muchos documentos). Para cargar el modelo en Haystack:

reader = FARMReader(model_name_or_path="AVISHKAARAM/avishkaarak-ekta-hindi")
# o
reader = TransformersReader(model_name_or_path="AVISHKAARAM/avishkaarak-ekta-hindi", tokenizer="deepset/roberta-base-squad2")

Para un ejemplo completo de AVISHKAARAM/avishkaarak-ekta-hindi siendo utilizado para responder preguntas, consulta los Tutoriales en la Documentación de Haystack.

En Transformers

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "AVISHKAARAM/avishkaarak-ekta-hindi"

# a) Obtener predicciones
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
QA_input = {
  'question': '¿Por qué es importante la conversión de modelos?',
  'context': 'La opción de convertir modelos entre FARM y transformers da libertad al usuario y permite a las personas cambiar fácilmente entre marcos de trabajo.'
}
res = nlp(QA_input)

# b) Cargar modelo y tokenizador
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

Hiperparámetros

batch_size = 4
n_epochs = 50
base_LM_model = "roberta-base"
max_seq_len = 512
learning_rate = 9e-5
lr_schedule = LinearWarmup
warmup_proportion = 0.2
doc_stride=128
max_query_length=64