ybelkada/japanese-roberta-question-answering
ybelkada
Pregunta y respuesta
Un modelo de Respuesta a Preguntas en japonés afinado en JaQuAD. Consulte RoBERTa base Japanese para obtener detalles sobre el modelo de preentrenamiento. Los códigos para la afinación están disponibles en este cuaderno.
Como usar
from transformers import AutoModelForQuestionAnswering, AutoTokenizer
question = 'アレクサンダー・グラハム・ベルは、どこで生まれたの?'
context = 'アレクサンダー・グラハム・ベルは、スコットランド生まれの科学者、発明家、工学者である。世界初の>実用的電話の発明で知られている。'
model = AutoModelForQuestionAnswering.from_pretrained(
'ybelkada/japanese-roberta-question-answering')
tokenizer = AutoTokenizer.from_pretrained(
'ybelkada/japanese-roberta-question-answering')
inputs = tokenizer(
question, context, add_special_tokens=True, return_tensors="pt")
input_ids = inputs["input_ids"].tolist()[0]
outputs = model(**inputs)
answer_start_scores = outputs.start_logits
answer_end_scores = outputs.end_logits
# Get the most likely beginning of answer with the argmax of the score.
answer_start = torch.argmax(answer_start_scores)
# Get the most likely end of answer with the argmax of the score.
# 1 is added to `answer_end` because the index pointed by score is inclusive.
answer_end = torch.argmax(answer_end_scores) + 1
answer = tokenizer.convert_tokens_to_string(
tokenizer.convert_ids_to_tokens(input_ids[answer_start:answer_end]))
# answer = 'スコットランド'
Funcionalidades
- Token desconocido
- Token de relleno
- Token de inicio de secuencia
- Token de clasificación
- Token de separación
- Token de máscara
Casos de uso
- Responder preguntas en japonés
- Búsqueda de información contextualmente relevante
- Aplicaciones de asistencia virtual en japonés