madlag/bert-base-uncased-squad1.1-block-sparse-0.13-v1
madlag
Pregunta y respuesta
Modelo BERT-base sin mayúsculas afinado en SQuAD v1. Este modelo es block sparse: las capas lineales contienen un 12.5% de los pesos originales. El modelo contiene en total un 32.1% de los pesos originales. El entrenamiento utilizó una versión modificada del método de Pruning de Movimiento de Victor Sanh. Esto significa que con la ejecución block-sparse funcionó 1.65 veces más rápido que las redes densas en la evaluación, a costa de algún impacto en la precisión. Este modelo fue afinado desde el punto de control BERT base uncased de HuggingFace en SQuAD1.1, y se destiló del modelo equivalente csarron/bert-base-uncased-squad-v1. Este modelo no distingue entre mayúsculas y minúsculas: no hace diferencia entre "english" e "English".
Como usar
from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="madlag/bert-base-uncased-squad1.1-block-sparse-0.13-v1",
tokenizer="madlag/bert-base-uncased-squad1.1-block-sparse-0.13-v1")
predictions = qa_pipeline({
'context': "Frédéric François Chopin, nacido Fryderyk Franciszek Chopin (1 de marzo de 1810 - 17 de octubre de 1849), fue un compositor polaco y pianista virtuoso de la era Romántica que escribió principalmente para piano solo.",
'question': "¿Quién es Frederic Chopin?",
})
print(predictions)
Funcionalidades
- Pruned block sparse: las capas lineales contienen 12.5% de los pesos originales
- El modelo contiene 32.1% de los pesos originales en total
- Entrenamiento con método de Pruning de Movimiento de Victor Sanh modificado
- Corre 1.65 veces más rápido que redes densas en evaluación
- Modelo destilado de csarron/bert-base-uncased-squad-v1
Casos de uso
- Respuestas a preguntas
- Aplicaciones de procesamiento de lenguaje natural
- Aplicaciones de entendimiento de contexto