mrm8488/bert-base-spanish-wwm-cased-finetuned-spa-squad2-es
mrm8488
Pregunta y respuesta
Este modelo es proporcionado por el equipo de BETO y está afinado en SQuAD-es-v2.0 para la tarea de preguntas y respuestas (Q&A). BETO es un modelo BERT entrenado en un gran corpus en español. BETO tiene un tamaño similar a un BERT-Base y fue entrenado con la técnica de enmascaramiento de palabras completas. A continuación, se encuentran los puntos de control de Tensorflow y Pytorch para las versiones uncased y cased, así como algunos resultados de benchmarks en español comparando BETO con BERT Multilingüe y otros modelos (que no son basados en BERT).
Como usar
El modelo fue entrenado en una GPU Tesla P100 con 25GB de RAM con el siguiente comando:
export SQUAD_DIR=path/to/nl_squad
python transformers/examples/question-answering/run_squad.py \
--model_type bert \
--model_name_or_path dccuchile/bert-base-spanish-wwm-cased \
--do_train \
--do_eval \
--do_lower_case \
--train_file $SQUAD_DIR/train_nl-v2.0.json \
--predict_file $SQUAD_DIR/dev_nl-v2.0.json \
--per_gpu_train_batch_size 12 \
--learning_rate 3e-5 \
--num_train_epochs 2.0 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir /content/model_output \
--save_steps 5000 \
--threads 4 \
--version_2_with_negative
Funcionalidades
- Afinado en SQuAD-es-v2.0 para Q&A
- Comparado con BERT Multilingüe
- Puntos de control disponibles en Tensorflow y Pytorch
- Aplicable en benchmarks en español
Casos de uso
- Responder preguntas en contextos en español