google/bigbird-base-trivia-itc

Aquí está cómo usar este modelo para obtener las características de un texto dado en PyTorch:

from transformers import BigBirdForQuestionAnswering

# por defecto está en modo `block_sparse` con num_random_blocks=3, block_size=64
model = BigBirdForQuestionAnswering.from_pretrained("google/bigbird-base-trivia-itc")

# puedes cambiar `attention_type` a atención completa así:
model = BigBirdForQuestionAnswering.from_pretrained("google/bigbird-base-trivia-itc", attention_type="original_full")

# puedes cambiar `block_size` y `num_random_blocks` así:
model = BigBirdForQuestionAnswering.from_pretrained("google/bigbird-base-trivia-itc", block_size=16, num_random_blocks=2)

question = "Reemplázame por cualquier texto que desees."
context = "Pon algo de contexto para responder"
encoded_input = tokenizer(question, context, return_tensors='pt')
output = model(**encoded_input)