roberta-base-fiqa-flm-sq-flit
Este modelo es una versión afinada de roberta-base en un conjunto de datos personalizado para responder preguntas en el dominio financiero. RoBERTa es un modelo de transformers preentrenado en un gran corpus de datos en inglés de manera autodidacta. El modelo se procesó aún más como se describe a continuación para la tarea específica de responder preguntas. Preentrenado para la adaptación al dominio con el objetivo de modelado de idioma enmascarado (MLM) con la tarea de preguntas y respuestas basadas en opiniones del desafío FIQA disponible aquí - https://drive.google.com/file/d/1BlWaV-qVPfpGyJoWQJU9bXQgWCATgxEP/view Preentrenado con el objetivo de MLM con un conjunto de datos personalizado generado para la banca y las finanzas. Afinado con el conjunto de datos SQuAD V2 para la adaptación a tareas de preguntas y respuestas. Afinado con el conjunto de datos etiquetado personalizado en formato SQuAD para la adaptación a tareas y dominios.
Como usar
El modelo está destinado a ser usado para un sistema de preguntas y respuestas personalizado en el dominio BFSI (Banca, Finanzas y Servicios de Seguros).
Procedimiento de entrenamiento
Hiperparámetros del entrenamiento
Los siguientes hiperparámetros se utilizaron durante el entrenamiento:
learning_rate: 2e-05
train_batch_size: 8
eval_batch_size: 8
seed: 42
optimizer: Adam con betas=(0.9,0.999) y epsilon=1e-08
lr_scheduler_type: linear
lr_scheduler_warmup_ratio: 0.2
num_epochs: 2.0
Resultados del entrenamiento
Versiones del framework
- Transformers 4.15.0.dev0
- Pytorch 1.10.0+cu111
- Datasets 1.16.1
- Tokenizers 0.10.3
Funcionalidades
- transformers
- pytorch
- roberta
- question-answering
- generated_from_trainer
- endpoints_compatible
- region:us
Casos de uso
- Sistema de preguntas y respuestas personalizado en el dominio de Banca, Finanzas y Servicios de Seguros (BFSI).