distilbert-base-uncased-squad2

twmkn9

Pregunta y respuesta

Este modelo es una versión de Distilbert base uncased entrenada en SQuAD v2. Su rendimiento en un subconjunto de desarrollo está cerca del paper original. Esperamos que este modelo pueda ahorrarle tiempo, energía y computo.

Como usar

export SQUAD_DIR=../../squad2
python3 run_squad.py \
--model_type distilbert \
--model_name_or_path distilbert-base-uncased \
--do_train \
--do_eval \
--overwrite_cache \
--do_lower_case \
--version_2_with_negative \
--save_steps 100000 \
--train_file $SQUAD_DIR/train-v2.0.json \
--predict_file $SQUAD_DIR/dev-v2.0.json \
--per_gpu_train_batch_size 8 \
--num_train_epochs 3 \
--learning_rate 3e-5 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir ./tmp/distilbert_fine_tuned/

Funcionalidades

Transformers
PyTorch
Distilbert
Puntos finales de inferencia
Entrenado en SQuAD v2

Casos de uso

Respuesta a preguntas