bert-tiny-finetuned-squad

Para usar este modelo, puedes cargarlo utilizando las siguientes bibliotecas y configuraciones:

from transformers import AutoModelForQuestionAnswering, AutoTokenizer

model_name = "anas-awadalla/bert-tiny-finetuned-squad"
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

question, text = "¿Qué es bert-tiny?", "Bert-tiny es una versión reducida del modelo BERT."
input_dict = tokenizer(question, text, return_tensors='pt')
outputs = model(**input_dict)
start_scores, end_scores = outputs.start_logits, outputs.end_logits

Los hiperparámetros utilizados durante el entrenamiento fueron:

• learning_rate: 3e-05
• train_batch_size: 64
• eval_batch_size: 8
• seed: 42
• distributed_type: multi-GPU
• optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
• lr_scheduler_type: lineal
• num_epochs: 2.0