albert-base-v2-squad2

twmkn9

Pregunta y respuesta

Este modelo es ALBERT base v2 entrenado en SQuAD v2. ALBERT (A Lite BERT) es una variante del modelo BERT, con menos parámetros y menor consumo de recursos. Este modelo está diseñado para tareas de Preguntas y Respuestas (Question Answering) y ha sido ajustado usando el conjunto de datos SQuAD v2.

Como usar

export SQUAD_DIR=../../squad2
python3 run_squad.py \
--model_type albert \
--model_name_or_path albert-base-v2 \
--do_train \
--do_eval \
--overwrite_cache \
--do_lower_case \
--version_2_with_negative \
--save_steps 100000 \
--train_file $SQUAD_DIR/train-v2.0.json \
--predict_file $SQUAD_DIR/dev-v2.0.json \
--per_gpu_train_batch_size 8 \
--num_train_epochs 3 \
--learning_rate 3e-5 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir ./tmp/albert_fine/

Funcionalidades

Transformers
PyTorch
Ajuste fino en SQuAD v2

Casos de uso

Responder preguntas basadas en un contexto dado
Mejorar la comprensión lectora automatizada
Desarrollo de chatbots inteligentes