deepset/xlm-roberta-large-squad2
deepset
Pregunta y respuesta
Multilingual XLM-RoBERTa grande para preguntas y respuestas en varios idiomas. Este modelo está entrenado con SQuAD 2.0 y evaluado en conjuntos de datos como SQuAD, MLQA y XQuAD. Utiliza PyTorch y es compatible con Transformadores y Safetensors. Ideal para tareas de Preguntas y Respuestas extractivas.
Como usar
En Haystack
Para realizar preguntas y respuestas a escala (es decir, muchos documentos en lugar de un solo párrafo), se puede cargar el modelo también en haystack:
reader = FARMReader(model_name_or_path="deepset/xlm-roberta-large-squad2")
# o
reader = TransformersReader(model="deepset/xlm-roberta-large-squad2",tokenizer="deepset/xlm-roberta-large-squad2")
En Transformadores
Para realizar predicciones:
from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline
model_name = "deepset/xlm-roberta-large-squad2"
# a) Obtener predicciones
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
QA_input = {
'question': '¿Por qué es importante la conversión de modelos?',
'context': 'La opción de convertir modelos entre FARM y transformers ofrece libertad al usuario y permite cambiar fácilmente de marco.'
}
res = nlp(QA_input)
Para cargar modelo y tokenizer:
model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)
Funcionalidades
- Modelo de lenguaje: xlm-roberta-large
- Idioma: Multilingüe
- Tarea: Preguntas y Respuestas extractivas
- Datos de entrenamiento: SQuAD 2.0
- Datos de evaluación: SQuAD dev set en inglés, MLQA en alemán, XQuAD en alemán
- Infraestructura: 4x Tesla v100
- batch_size = 32
- n_epochs = 3
- base_LM_model = "xlm-roberta-large"
- max_seq_len = 256
- learning_rate = 1e-5
- lr_schedule = LinearWarmup
- warmup_proportion = 0.2
- doc_stride = 128
- max_query_length = 64
Casos de uso
- Realizar preguntas y respuestas sobre documentos grandes.
- Integrar sistemas de preguntas y respuestas en aplicaciones multilingües.
- Entrenar modelos específicos de dominio para tareas de respuesta a preguntas extractivas.