bert-tiny-5-finetuned-squadv2
BERT-Tiny (5) creado por Google Research y afinado en SQuAD 2.0 para la tarea downstream de preguntas y respuestas. El tamaño del modelo (después del entrenamiento) es de 24.33 MB. Este modelo es parte de 24 modelos BERT más pequeños (solo en inglés, sin mayúsculas, entrenados con enmascaramiento WordPiece) mencionados en el artículo Well-Read Students Learn Better: On the Importance of Pre-training Compact Models. Los modelos BERT más pequeños están destinados a entornos con recursos computacionales limitados. Pueden ser afinados de la misma manera que los modelos BERT originales, pero son más efectivos en el contexto de la destilación de conocimiento, donde las etiquetas de ajuste fino son producidas por un maestro más grande y preciso.
Como usar
Uso rápido con pipelines:
from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="mrm8488/bert-tiny-5-finetuned-squadv2",
tokenizer="mrm8488/bert-tiny-5-finetuned-squadv2")
qa_pipeline({
'context': "Manuel Romero has been working hardly in the repository hugginface/transformers lately",
'question': "Who has been working hard for hugginface/transformers lately?"
})
Funcionalidades
- Modelo BERT-Tiny creado por Google Research
- Afinado en SQuAD 2.0 para tareas de Preguntas y Respuestas
- Tamaño del modelo después del entrenamiento: 24.33 MB
- Parte de 24 modelos BERT más pequeños
- Destinado a entornos con recursos computacionales limitados
- Efectivo en la destilación de conocimiento
Casos de uso
- Responder preguntas basadas en un contexto dado
- Determinar cuándo una pregunta no tiene respuesta apoyada por el párrafo