twmkn9/bert-base-uncased-squad2
twmkn9
Pregunta y respuesta
Este modelo es BERT base uncased entrenado en SQuAD v2. Su rendimiento en un subconjunto de desarrollo es cercano al del artículo original.
Como usar
export SQUAD_DIR=../../squad2
python3 run_squad.py
--model_type bert
--model_name_or_path bert-base-uncased
--do_train
--do_eval
--overwrite_cache
--do_lower_case
--version_2_with_negative
--save_steps 100000
--train_file $SQUAD_DIR/train-v2.0.json
--predict_file $SQUAD_DIR/dev-v2.0.json
--per_gpu_train_batch_size 8
--num_train_epochs 3
--learning_rate 3e-5
--max_seq_length 384
--doc_stride 128
--output_dir ./tmp/bert_fine_tuned/
Funcionalidades
- Aproximación exacta: 72.35932872655479
- Puntuación F1: 75.75355132564763
- Número total: 6078
- Aproximación exacta con respuesta: 74.29553264604812
- Puntuación F1 con respuesta: 81.38490892002987
- Total con respuesta: 2910
- Aproximación exacta sin respuesta: 70.58080808080808
- Puntuación F1 sin respuesta: 70.58080808080808
- Total sin respuesta: 3168
- Mejor aproximación exacta: 72.35932872655479
- Umbral de mejor aproximación exacta: 0.0
- Mejor puntuación F1: 75.75355132564766
- Umbral de mejor puntuación F1: 0.0
Casos de uso
- Respuesta a preguntas