BERT Base Uncased Finetuned en NewsQA
mirbostani
Pregunta y respuesta
El modelo BERT (Base) está ajustado finamente en el conjunto de datos NewsQA utilizando una versión modificada del script legacy run_squad.py en Transformers. El script está proporcionado en este repositorio. Ejemplos con noAnswer y badQuestion no están incluidos en el proceso de entrenamiento.
Como usar
$ cd ~/projects/transformers/examples/legacy/question-answering
$ mkdir bert_base_uncased_finetuned_newsqa
$ python run_newsqa.py \
--model_type bert \
--model_name_or_path 'bert-base-uncased' \
--do_train \
--do_eval \
--do_lower_case \
--num_train_epochs 2 \
--per_gpu_train_batch_size 8 \
--per_gpu_eval_batch_size 32 \
--max_seq_length 384 \
--max_grad_norm inf \
--doc_stride 128 \
--train_file '~/projects/data/newsqa/combined-newsqa-data-v1.json' \
--predict_file '~/projects/data/newsqa/combined-newsqa-data-v1.json' \
--output_dir './bert_base_uncased_finetuned_newsqa' \
--save_steps 20000
Funcionalidades
- Finetuned en el dataset NewsQA
- Usa Transformers y PyTorch
- Incluye ejemplos con noAnswer y badQuestion excluidos en el entrenamiento
Casos de uso
- Responder preguntas basado en texto.
- Evaluación del modelo ajustado finamente.