mrm8488/bert-mini-finetuned-squadv2
BERT-Mini creado por Google Research y afinado en SQuAD 2.0 para la tarea descendente de Preguntas y Respuestas. Este modelo es parte de 24 modelos BERT más pequeños (solo en inglés, sin mayúsculas, entrenados con enmascaramiento de WordPiece) referenciados en el artículo 'Well-Read Students Learn Better: On the Importance of Pre-training Compact Models'. Estos modelos BERT más pequeños están destinados a entornos con recursos computacionales limitados. Pueden ser afinados de la misma manera que los modelos BERT originales. Sin embargo, son más efectivos en el contexto de la destilación de conocimiento, donde las etiquetas de afinación son producidas por un profesor más grande y preciso. El tamaño del modelo (después de entrenar) es de 42.63 MB.
Como usar
Uso rápido con pipelines:
from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="mrm8488/bert-mini-finetuned-squadv2",
tokenizer="mrm8488/bert-mini-finetuned-squadv2")
qa_pipeline({
'context': "Manuel Romero ha estado trabajando arduamente en el repositorio hugginface/transformers últimamente",
'question': "¿Quién ha estado trabajando duro en hugginface/transformers últimamente?"
})
# Salida:
{
"answer": "Manuel Romero",
"end": 13,
"score": 0.9676484207783673,
"start": 0
}
¡Sí! ¡Eso fue fácil 🎉 Probemos con otro ejemplo!
qa_pipeline({
'context': "Manuel Romero ha estado trabajando arduamente en el repositorio hugginface/transformers últimamente",
'question': "¿Para qué empresa ha trabajado Manuel Romero?"
})
# Salida:
{
"answer": "hugginface/transformers",
"end": 79,
"score": 0.5301655914731853,
"start": 56
}
¡Funciona! 🎉 🎉 🎉
Funcionalidades
- Afinado en SQuAD 2.0 para Preguntas y Respuestas
- Parte de 24 modelos BERT más pequeños
- Entrenado con enmascaramiento de WordPiece
- Diseñado para entornos con recursos computacionales limitados
- Efectivo en la destilación de conocimiento
Casos de uso
- Responder preguntas en un contexto dado
- Determinar cuándo una pregunta no tiene respuesta soportada en el contexto
- Implementación en entornos con recursos computacionales limitados