bert-base-entrenado-en-múltiples-idiomas-finetune-qa
airesearch
Pregunta y respuesta
Modelado refinado del modelo bert-base-entrenado-en-múltiples-idiomas utilizando el conjunto de datos iapp_wiki_qa_squad, thaiqa_squad y nsc_qa (se eliminaron ejemplos que tienen similitud coseno con los ejemplos de validación y prueba por encima de 0.8; los contextos de los dos últimos se recortaron a alrededor de 300 palabras newmm). Los puntos de referencia se compartieron en wandb utilizando conjuntos de validación y prueba de iapp_wiki_qa_squad.
Como usar
Ejecute con:
export MODEL_NAME=bert-base-entrenado-en-múltiples-idiomas
python train_question_answering_lm_finetuning.py --model_name $MODEL_NAME --dataset_name chimera_qa --output_dir $MODEL_NAME-finetune-chimera_qa-model --log_dir $MODEL_NAME-finetune-chimera_qa-log --pad_on_right --fp16
Funcionalidades
- Soporta múltiples idiomas
- Afinado para tareas de respuesta a preguntas
- Compatibilidad con Transformers y PyTorch
- Puntos de referencia compartidos en wandb
Casos de uso
- Responder preguntas en múltiples idiomas
- Clasificación y análisis de contexto multilingüe
- Recuperación de información