bert-tiny-finetuned-squadv2
mrm8488
Pregunta y respuesta
BERT-Tiny creado por Google Research y ajustado en SQuAD 2.0 para la tarea de Q&A. Los modelos BERT más pequeños están destinados a entornos con recursos computacionales restringidos. Se pueden ajustar de la misma manera que los modelos BERT originales, pero son más efectivos en el contexto de la destilación del conocimiento, donde las etiquetas de ajuste fino son producidas por un maestro más grande y más preciso.
Como usar
Uso rápido con pipelines:
from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="mrm8488/bert-tiny-finetuned-squadv2",
tokenizer="mrm8488/bert-tiny-finetuned-squadv2")
qa_pipeline({
'context': "Manuel Romero ha estado trabajando arduamente en el repositorio hugginface/transformers últimamente",
'question': "¿Quién ha estado trabajando arduamente para hugginface/transformers últimamente?"
})
# Salida:
{
"answer": "Manuel Romero",
"end": 13,
"score": 0.05684709993458714,
"start": 0
}
¡Sí! Eso fue fácil 🎉 Probemos con otro ejemplo
qa_pipeline({
'context': "Manuel Romero ha estado trabajando arduamente en el repositorio hugginface/transformers últimamente",
'question': "¿Para qué empresa ha trabajado Manuel Romero?"
})
# Salida:
{
"answer": "hugginface/transformers",
"end": 79,
"score": 0.11613431826808274,
"start": 56
}
Funcionalidades
- Modelo de tamaño pequeño: 16.74 MB
- Entrenamiento en GPU Tesla P100 con 25GB de RAM
- Soporte para múltiples entornos de desarrollo
- Ajuste fino utilizando el dataset SQuAD2.0
- Resultados en métricas de EM y F1
Casos de uso
- Responder preguntas basadas en un contexto dado
- Adquisición de conocimiento mediante destilación
- Implementación en entornos con recursos computacionales limitados