sultan/BioM-ELECTRA-Large-SQuAD2-BioASQ8B
sultan
Pregunta y respuesta
El modelo BioM-ELECTRA-Large-SQuAD2-BioASQ8B está ajustado en el conjunto de datos SQuAD2.0 y luego en el conjunto de entrenamiento BioASQ8B-Factoid. Este modelo se ha utilizado para estudiar la adaptación del dominio biomédico con grandes modelos transformadores. Nuestros resultados demuestran que logramos resultados de vanguardia en varias tareas del dominio biomédico, resaltando el impacto significativo de las decisiones de diseño en la mejora del rendimiento de los modelos de lenguaje biomédico.
Como usar
python3 run_squad.py --model_type electra --model_name_or_path sultan/BioM-ELECTRA-Large-SQuAD2 \
--train_file BioASQ8B/train.json \
--predict_file BioASQ8B/dev.json \
--do_lower_case \
--do_train \
--do_eval \
--threads 20 \
--version_2_with_negative \
--num_train_epochs 3 \
--learning_rate 5e-5 \
--max_seq_length 512 \
--doc_stride 128 \
--per_gpu_train_batch_size 8 \
--gradient_accumulation_steps 2 \
--per_gpu_eval_batch_size 128 \
--logging_steps 50 \
--save_steps 5000 \
--fp16 \
--fp16_opt_level O1 \
--overwrite_output_dir \
--output_dir BioM-ELECTRA-Large-SQuAD-BioASQ \
--overwrite_cache
Funcionalidades
- Adaptación de dominio biomédico con modelos grandes de transformadores
- Evaluación empírica de modelos pre-entrenados comparados con otros modelos de lenguaje biomédico existentes
- Resultados de vanguardia en varias tareas del dominio biomédico
- Menor costo computacional en comparación con otros modelos en la literatura
Casos de uso
- Predicción directa sin necesitar ajuste fino
- Creación de un sistema de QA para la pandemia (e.g., COVID-19)