BioM-ELECTRA-Base-SQuAD2-BioASQ8B
BioM-Transformers: Construcción de Modelos de Lenguaje Biomédico de Gran Tamaño con BERT, ALBERT y ELECTRA. El impacto de las elecciones de diseño en el rendimiento de los modelos de lenguaje biomédico ha sido recientemente objeto de investigación. En este documento, estudiamos empíricamente la adaptación del dominio biomédico con grandes modelos transformadores utilizando diferentes opciones de diseño. Evaluamos el rendimiento de nuestros modelos preentrenados contra otros modelos de lenguaje biomédico existentes en la literatura. Nuestros resultados muestran que logramos resultados de vanguardia en varias tareas del dominio biomédico a pesar de usar un costo computacional similar o menor en comparación con otros modelos en la literatura. Nuestros hallazgos destacan el efecto significativo de las elecciones de diseño en la mejora del rendimiento de los modelos de lenguaje biomédico.
Como usar
python3 run_squad.py --model_type electra --model_name_or_path sultan/BioM-ELECTRA-Base-SQuAD2 \
--train_file BioASQ8B/train.json \
--predict_file BioASQ8B/dev.json \
--do_lower_case \
--do_train \
--do_eval \
--threads 20 \
--version_2_with_negative \
--num_train_epochs 3 \
--learning_rate 3e-5 \
--max_seq_length 512 \
--doc_stride 128 \
--per_gpu_train_batch_size 8 \
--gradient_accumulation_steps 2 \
--per_gpu_eval_batch_size 128 \
--logging_steps 50 \
--save_steps 5000 \
--fp16 \
--fp16_opt_level O1 \
--overwrite_output_dir \
--output_dir BioM-ELECTRA-Base-SQuAD-BioASQ \
--overwrite_cache
Funcionalidades
- Modelo ajustado en el conjunto de datos SQuAD2.0 y luego en el conjunto de datos de entrenamiento BioASQ8B-Factoid.
- Capacidad de predicción directa sin necesidad de ajuste fino adicional.
- Útil para crear un sistema de preguntas y respuestas pandémico (por ejemplo, COVID-19).
- Utiliza PyTorch, que es diferente de la versión utilizada en BioASQ9B que emplea TensorFlow con Decaimiento por Capas.
Casos de uso
- Predicción biomédica directa sin ajuste fino adicional.
- Creación de sistemas de preguntas y respuestas relacionados con pandemias, como COVID-19.