mrm8488/mobilebert-uncased-finetuned-squadv2
mrm8488
Pregunta y respuesta
MobileBERT + SQuAD v2 es una versión delgada de BERT_LARGE, equipada con estructuras de embudo y un equilibrio cuidadosamente diseñado entre autoatenciones y redes de avance. Está optimizado con un punto de control no capitalizado (uncased_L-24_H-128_B-512_A-4_F-4_OPT) y ha sido afinado en el conjunto de datos SQuAD v2.0 para la tarea de preguntas y respuestas.
Como usar
Uso rápido con pipelines:
from transformers import pipeline
QnA_pipeline = pipeline('question-answering', model='mrm8488/mobilebert-uncased-finetuned-squadv2')
QnA_pipeline({
'context': 'Una nueva cepa de gripe que tiene el potencial de convertirse en una pandemia ha sido identificada en China por científicos.',
'question': '¿Quién la identificó?'
})
# Salida: {'answer': 'científicos.', 'end': 106, 'score': 0.41531604528427124, 'start': 96}
El modelo fue entrenado en una GPU Tesla P100 y 25GB de RAM con el siguiente comando:
python transformers/examples/question-answering/run_squad.py \
--model_type bert \
--model_name_or_path 'google/mobilebert-uncased' \
--do_eval \
--do_train \
--do_lower_case \
--train_file '/content/dataset/train-v2.0.json' \
--predict_file '/content/dataset/dev-v2.0.json' \
--per_gpu_train_batch_size 16 \
--learning_rate 3e-5 \
--num_train_epochs 5 \
--max_seq_length 384 \
--doc_stride 128 \
--output_dir '/content/output' \
--overwrite_output_dir \
--save_steps 1000 \
--version_2_with_negative
Funcionalidades
- Versión delgada de BERT_LARGE
- Estructuras de embudo
- Equilibrio entre autoatenciones y redes de avance
- Afinado en el conjunto de datos SQuAD v2.0
- Optimizado para tareas de preguntas y respuestas
Casos de uso
- Responder preguntas basadas en un contexto dado
- Determinar cuándo una pregunta no tiene respuesta en el contexto proporcionado