twmkn9/bert-base-uncased-squad2

twmkn9
Pregunta y respuesta

Este modelo es BERT base uncased entrenado en SQuAD v2. Su rendimiento en un subconjunto de desarrollo es cercano al del artículo original.

Como usar

export SQUAD_DIR=../../squad2
python3 run_squad.py 
--model_type bert 
--model_name_or_path bert-base-uncased 
--do_train 
--do_eval 
--overwrite_cache 
--do_lower_case 
--version_2_with_negative 
--save_steps 100000 
--train_file $SQUAD_DIR/train-v2.0.json 
--predict_file $SQUAD_DIR/dev-v2.0.json 
--per_gpu_train_batch_size 8 
--num_train_epochs 3 
--learning_rate 3e-5 
--max_seq_length 384 
--doc_stride 128 
--output_dir ./tmp/bert_fine_tuned/

Funcionalidades

Aproximación exacta: 72.35932872655479
Puntuación F1: 75.75355132564763
Número total: 6078
Aproximación exacta con respuesta: 74.29553264604812
Puntuación F1 con respuesta: 81.38490892002987
Total con respuesta: 2910
Aproximación exacta sin respuesta: 70.58080808080808
Puntuación F1 sin respuesta: 70.58080808080808
Total sin respuesta: 3168
Mejor aproximación exacta: 72.35932872655479
Umbral de mejor aproximación exacta: 0.0
Mejor puntuación F1: 75.75355132564766
Umbral de mejor puntuación F1: 0.0

Casos de uso

Respuesta a preguntas