bert-tiny-finetuned-squadv2

mrm8488
Pregunta y respuesta

BERT-Tiny creado por Google Research y ajustado en SQuAD 2.0 para la tarea de Q&A. Los modelos BERT más pequeños están destinados a entornos con recursos computacionales restringidos. Se pueden ajustar de la misma manera que los modelos BERT originales, pero son más efectivos en el contexto de la destilación del conocimiento, donde las etiquetas de ajuste fino son producidas por un maestro más grande y más preciso.

Como usar

Uso rápido con pipelines:

from transformers import pipeline
qa_pipeline = pipeline(
"question-answering",
model="mrm8488/bert-tiny-finetuned-squadv2",
tokenizer="mrm8488/bert-tiny-finetuned-squadv2")

qa_pipeline({
'context': "Manuel Romero ha estado trabajando arduamente en el repositorio hugginface/transformers últimamente",
'question': "¿Quién ha estado trabajando arduamente para hugginface/transformers últimamente?"
})

# Salida:

{
"answer": "Manuel Romero",
"end": 13,
"score": 0.05684709993458714,
"start": 0
}

¡Sí! Eso fue fácil 🎉 Probemos con otro ejemplo

qa_pipeline({
'context': "Manuel Romero ha estado trabajando arduamente en el repositorio hugginface/transformers últimamente",
'question': "¿Para qué empresa ha trabajado Manuel Romero?"
})

# Salida:

{
"answer": "hugginface/transformers",
"end": 79,
"score": 0.11613431826808274,
"start": 56
}

Funcionalidades

Modelo de tamaño pequeño: 16.74 MB
Entrenamiento en GPU Tesla P100 con 25GB de RAM
Soporte para múltiples entornos de desarrollo
Ajuste fino utilizando el dataset SQuAD2.0
Resultados en métricas de EM y F1

Casos de uso

Responder preguntas basadas en un contexto dado
Adquisición de conocimiento mediante destilación
Implementación en entornos con recursos computacionales limitados