deepset/xlm-roberta-large-squad2

deepset
Pregunta y respuesta

Multilingual XLM-RoBERTa grande para preguntas y respuestas en varios idiomas. Este modelo está entrenado con SQuAD 2.0 y evaluado en conjuntos de datos como SQuAD, MLQA y XQuAD. Utiliza PyTorch y es compatible con Transformadores y Safetensors. Ideal para tareas de Preguntas y Respuestas extractivas.

Como usar

En Haystack

Para realizar preguntas y respuestas a escala (es decir, muchos documentos en lugar de un solo párrafo), se puede cargar el modelo también en haystack:

reader = FARMReader(model_name_or_path="deepset/xlm-roberta-large-squad2")
# o
reader = TransformersReader(model="deepset/xlm-roberta-large-squad2",tokenizer="deepset/xlm-roberta-large-squad2")

En Transformadores

Para realizar predicciones:

from transformers import AutoModelForQuestionAnswering, AutoTokenizer, pipeline

model_name = "deepset/xlm-roberta-large-squad2"

# a) Obtener predicciones
nlp = pipeline('question-answering', model=model_name, tokenizer=model_name)
QA_input = {
  'question': '¿Por qué es importante la conversión de modelos?',
  'context': 'La opción de convertir modelos entre FARM y transformers ofrece libertad al usuario y permite cambiar fácilmente de marco.'
}
res = nlp(QA_input)

Para cargar modelo y tokenizer:

model = AutoModelForQuestionAnswering.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

Funcionalidades

Modelo de lenguaje: xlm-roberta-large
Idioma: Multilingüe
Tarea: Preguntas y Respuestas extractivas
Datos de entrenamiento: SQuAD 2.0
Datos de evaluación: SQuAD dev set en inglés, MLQA en alemán, XQuAD en alemán
Infraestructura: 4x Tesla v100
batch_size = 32
n_epochs = 3
base_LM_model = "xlm-roberta-large"
max_seq_len = 256
learning_rate = 1e-5
lr_schedule = LinearWarmup
warmup_proportion = 0.2
doc_stride = 128
max_query_length = 64

Casos de uso

Realizar preguntas y respuestas sobre documentos grandes.
Integrar sistemas de preguntas y respuestas en aplicaciones multilingües.
Entrenar modelos específicos de dominio para tareas de respuesta a preguntas extractivas.