Dynamic-TinyBERT

Aquí se explica cómo importar este modelo en Python:

import torch
from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained("Intel/dynamic_tinybert")
model = AutoModelForQuestionAnswering.from_pretrained("Intel/dynamic_tinybert")

context = "recuerda el número 123456, te lo preguntaré más tarde."
question = "¿Cuál es el número que te dije?"

# Tokenizar el contexto y la pregunta
tokens = tokenizer.encode_plus(question, context, return_tensors="pt", truncation=True)

# Obtener las IDs de entrada y la máscara de atención
input_ids = tokens["input_ids"]
attention_mask = tokens["attention_mask"]

# Realizar la respuesta a preguntas
outputs = model(input_ids, attention_mask=attention_mask)
start_scores = outputs.start_logits
end_scores = outputs.end_logits

# Encontrar las posiciones de inicio y fin de la respuesta
answer_start = torch.argmax(start_scores)
answer_end = torch.argmax(end_scores) + 1
answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(input_ids[0][answer_start:answer_end]))

# Imprimir la respuesta
print("Respuesta:", answer)