bert-large-uncased-squadv1.1-sparse-80-1x4-block-pruneofa

Intel

Pregunta y respuesta

Este modelo es el resultado de ajustar fino un modelo preentrenado BERT-Large escaso en bloques 1x4 al 80% combinado con la destilación de conocimiento. Este modelo proporciona los siguientes resultados en el conjunto de desarrollo de SQuADv1.1: - Exact match: 84.673 - F1: 91.174 Para más detalles, consulte nuestro artículo, 'Prune Once for All: Sparse Pre-Trained Language Models', y nuestra implementación de código abierto disponible aquí.

Como usar

Para utilizar este modelo, puede seguir las instrucciones en la documentación de Hugging Face. Aquí hay un ejemplo de cómo utilizar el modelo para la tarea de respuesta a preguntas:

```python
from transformers import AutoTokenizer, AutoModelForQuestionAnswering

tokenizer = AutoTokenizer.from_pretrained('Intel/bert-large-uncased-squadv1.1-sparse-80-1x4-block-pruneofa')
model = AutoModelForQuestionAnswering.from_pretrained('Intel/bert-large-uncased-squadv1.1-sparse-80-1x4-block-pruneofa')

question = "What's the capital of France?"
context = "Paris is the capital of France."
inputs = tokenizer(question, context, return_tensors='pt')
outputs = model(**inputs)
answer_start = outputs.start_logits.argmax()
answer_end = outputs.end_logits.argmax()
answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(inputs.input_ids[0][answer_start:answer_end+1]))
print(f'Answer: {answer}')

Funcionalidades

Ajustado fino en SQuADv1.1
80% escaso en bloques 1x4
Modelo preentrenado BERT-Large
Destilación de conocimiento

Casos de uso

Responder a preguntas en textos en inglés
Extracción de información de documentos en inglés
Asistente virtual
Sistemas de búsqueda