xlm-roberta-base-finetune-qa
airesearch
Pregunta y respuesta
Fine-tuning de xlm-roberta-base con el conjunto de entrenamiento de iapp_wiki_qa_squad, thaiqa_squad y nsc_qa (se eliminaron ejemplos que tienen una similitud coseno con los ejemplos de validación y prueba por encima de 0.8; los contextos de los dos últimos se recortaron para tener alrededor de 300 palabras newmm). Benchmarks compartidos en wandb utilizando conjuntos de validación y prueba de iapp_wiki_qa_squad. Entrenado con thai2transformers.
Como usar
Para entrenar el modelo, usa el siguiente script en markdown:
export WANDB_PROJECT=wangchanberta-qa
export MODEL_NAME=xlm-roberta-base
python train_question_answering_lm_finetuning.py \
--model_name $MODEL_NAME \
--dataset_name chimera_qa \
--output_dir $MODEL_NAME-finetune-chimera_qa-model \
--log_dir $MODEL_NAME-finetune-chimera_qa-log \
--pad_on_right \
--fp16
Funcionalidades
- Arquitectura: xlm-roberta-base
- Función de ajuste fino basada en transformadores
- Compatible con PyTorch
- Capacidades de pregunta-respuesta
- Puntos de referencia compartidos en wandb
Casos de uso
- Respuesta a preguntas
- Extracción de información
- Consulta automatizada
- Mejoras en sistemas de diálogo