xlmroberta-squadv2
aware-ai
Pregunta y respuesta
Este es el modelo xlm-roberta-large afinado con el conjunto de datos SQuADv2 para la tarea de respuesta a preguntas. XLM-Roberta fue propuesto en el artículo XLM-R: State-of-the-art cross-lingual understanding through self-supervision.
Como usar
from transformers import XLMRobertaTokenizer, XLMRobertaForQuestionAnswering
import torch
tokenizer = XLMRobertaTokenizer.from_pretrained('a-ware/xlmroberta-squadv2')
model = XLMRobertaForQuestionAnswering.from_pretrained('a-ware/xlmroberta-squadv2')
question, text = "Who was Jim Henson?", "Jim Henson was a nice puppet"
encoding = tokenizer(question, text, return_tensors='pt')
input_ids = encoding['input_ids']
attention_mask = encoding['attention_mask']
start_scores, end_scores = model(input_ids, attention_mask=attention_mask, output_attentions=False)[:2]
all_tokens = tokenizer.convert_ids_to_tokens(input_ids[0])
answer = ' '.join(all_tokens[torch.argmax(start_scores) : torch.argmax(end_scores)+1])
answer = tokenizer.convert_tokens_to_ids(answer.split())
answer = tokenizer.decode(answer)
#answer => 'a nice puppet'
Funcionalidades
- Respuesta a preguntas
- Compatibilidad con Transformers
- Compatibilidad con PyTorch
- Compatibilidad con Safetensors
- Conjunto de datos SQuADv2
- Modelo XLM-Roberta
- Compatibilidad con endpoints de inferencia
- Referencia arxiv:1911.02116
Casos de uso
- Respuesta a preguntas
- Entendimiento cruzado multilingüe
- Aplicaciones de chatbot
- Sistemas de busca de información